【データ基盤エンジニア】Databricks×Azure／大規模データ処理最適化／商用車ロジスティクス領域／リモート併用

トラック製造販売メーカー向けの商用車ロジスティクス可視化基盤において、Databricksを中心としたデータ処理基盤のパフォーマンス改善を担当するポジションです。車両から発信される膨大なGPSログをリアルタイムに近い形で可視化するため、既存の大規模データ処理基盤に対するチューニングや改善実装を進めます。物流の効率化や業務改善を支える、社会的意義の高いデータ基盤の構築・改善に携われます。

業務内容

• 既存データ処理基盤の調査・分析
• Databricks（PySpark／Scala）を用いた処理の最適化
• 大規模データ処理ロジックの実装・改修
• Azureデータ基盤全体のパフォーマンス改善
• リファクタリング、保守・構成管理
• 既存メンバーと連携し、技術検討・実装・改善提案を行いながらプロジェクトを推進

求める人物像

• Databricks上でのPySparkを用いた開発・運用経験をお持ちの方
• Sparkを用いた大規模データ処理の実務経験をお持ちの方
• Azureでのデータ基盤に関わった経験をお持ちの方
• 既存のデータ処理ロジックやジョブを理解し、改善・修正できる方
• チーム内でのレビューや情報共有を通じて開発を進めた経験がある方
• 新しい技術や業務領域にも積極的に挑戦したい方
• チームの雰囲気を大切にし、メンバーと一緒に成果を出せる方

待遇・働き方

勤務地は東京都で、お客様先は都内23区および都内近郊です。現在はリモート併用の勤務形態です。勤務時間は10:00～19:00で、フレックスタイム制（コアタイム10:00～15:00）を採用しています。想定年収は700万円〜1000万円です。資格手当制度、書籍購入補助、評価制度があり、スクラムマスター資格取得の全額補助も用意されています。休日は完全週休2日制（土日祝）で、夏季休暇、年末年始休暇、有給休暇、特別休暇、設立記念日があります。

使用技術

• Databricks
• PySpark
• Scala
• Apache Spark
• Azure Data Factory
• SQL Server
• SQL Database
• Azure Functions
• Azure DevOps