【データ基盤エンジニア】Databricks×Azure／大規模データ処理最適化／商用車ロジスティクス領域／リモート併用

概要

トラック製造販売メーカー向けの商用車ロジスティクス可視化基盤において、Databricksを中心としたデータ処理基盤のパフォーマンス改善を担当するポジションです。車両から発信される膨大なGPSログをリアルタイムに近い形で可視化するため、既存の大規模データ処理基盤に対する調査、分析、チューニング、改善実装を進めます。物流の効率化や業務改善を支える、社会的意義の高いデータ基盤の構築・改善に携われます。

業務内容

• 既存データ処理基盤の調査・分析
• Databricks（PySpark／Scala）を用いた処理の最適化
• 大規模データ処理ロジックの実装・改修
• Azureデータ基盤全体のパフォーマンス改善
• リファクタリング、保守・構成管理
• 既存メンバーと連携した技術検討、実装、改善提案

主な使用技術は、Databricks、PySpark、Scala、Apache Spark、Azure、Data Factory、SQL Server、SQL Database、Functions、Azure DevOpsです。大量データを前提とした処理設計や、処理遅延の原因分析、改善ポイントの特定といった技術的な検討を重ねながら、最適な解決策を導き出していくことが求められます。

求める人物像

• Databricks上でのPySpark開発・運用経験をお持ちの方
• Sparkを用いた大規模データ処理の実務経験をお持ちの方
• Azureでのデータ基盤に関わった経験をお持ちの方
• 既存ロジックやジョブを理解し、改善・修正できる方
• チーム内でのレビューや情報共有を通じて開発を進めた経験がある方
• 新しい技術や業務領域にも積極的に挑戦したい方
• チームの雰囲気を大切にし、周囲と協力して成果を出せる方

将来的には、データ基盤スペシャリスト／アーキテクト、テックリード／技術責任者、PM／PMOなどのキャリアパスも示されています。

待遇・働き方の要約

• 雇用形態は正社員です
• 勤務地は東京都で、お客様先は都内23区および都内近郊です
• 現在はリモート併用の勤務形態です
• 勤務時間は10:00～19:00、フレックスタイム制（コアタイム12:00～15:00）です
• 想定年収は700万円〜1000万円です
• 完全週休2日制（土日休み）・祝日休みです
• 夏季休暇、年末年始休暇、有給休暇、特別休暇、設立記念日があります
• 資格手当制度、書籍購入補助、評価制度、スクラムマスター資格取得全額補助があります

プロジェクトを通してスキルを高めていける環境があり、データ基盤領域を中心に専門性を深めたい方に適した求人です。