Data Engineer - Dispatch

【Responsibilities/ 担当業務】Spark、Kafka、Spark-Streaming、Google Cloud Platformなどのデータ処理フレームワークやテクノロジーを用いて、大規模なバッチデータパイプラインを構築を行い、データパイプラインを活用して、プラットフォームのガイドラインに沿ったデータチェック、顧客獲得、その他の主要なビジネスパフォーマンス指標についての重要な意思決定データの提供を行いますデータパイプライン管理：大規模なeコマースプラットフォームのデータパイプラインを構築・維持自動化：データ取り込みプロセスを自動化し、手動データ処理を削減クラウド移行：オンプレミスのデータインフラをGoogle Cloud Platformに移行アプリケーション管理：大量のデータを取り込み・処理するプラットフォーム上のアプリケーションを管理複雑なデータストレージおよび取得問題の解決：ビッグデータパイプラインにおける複雑なデータストレージおよび取得問題を解決し、明確に説明します本番環境でのアプリケーションのデバッグと保守：ロギング、アラート、モニタリングツールを使用して本番環境でのアプリケーションをデバッグおよび保守しますチームおよびクロスチームメンバーとの効果的なコラボレーション：他のチームおよびクロスチームメンバーと効果的に協力しますチームリーダーシップ：ソフトウェアエンジニアのチームをリードし、プロジェクト目標を達成 ■必須要件:・SparkおよびKafkaのアプリケーション開発・運用経験・Python、Java、Scalaのいずれかでの開発経験・データエンジニアとしての実務経験（5年以上）・GCPおよびBigQueryの開発・運用実務経験・SQLの高度知識およびRDB・データモデリング経験・Linux開発経験およびデータ処理の高度な分析能力・ビジネスレベル以上の日本語力 ■歓迎要件:・ビッグデータ開発およびデータベースの運用・チューニング経験・Docker、Kubernetes等を用いたインフラ管理経験・DevOps、Microservices、Scrum/Agile環境での経験・エンジニアチームのリードおよび指導経験 ■想定年収600万円 ～ 800万円 *求人エントリーの際は上記の「応募」ボタンをクリックし必要事項を入力の上、ご応募ください。