【基本リモート】KubernetesログをAWS Databricksへ連携するインフラ基盤構築案件

  • ~ 750,000 円 /月
  • 東京都

フルリモート ハイブリッド型

職種
プロジェクトリーダー インフラエンジニア/SRE データエンジニア 情シス/社内SE/セキュリティエンジニア | 【基本リモート】KubernetesログをAWS Databricksへ連携するインフラ基盤構築案件
業務内容
■案件概要
通信業界向けに、オンプレミス環境のKubernetesログをAWS上のDatabricksへ蓄積する基盤構築案件です。
現在はSplunkでシステム基盤ログのセキュリティ分析・監視を実施していますが、将来的にはDatabricks上でも分析・監視を行える体制を構築することを目的としています。
本案件では、オンプレミスのKubernetesログをDatabricksのBronzeテーブルへ取り込む基盤の設計・構築を担当します。
対象データは約2TB/日の大量ログであり、高性能かつ高可用性を考慮したアーキテクチャ設計が求められます。

■案件の目的/スコープ
・現状: システム基盤ログのセキュリティ分析・監視にSplunkを利用している。
・将来: Splunkだけでなく、Databricksでもセキュリティ分析/監視をできるようにしたい。
・オンプレのコンテナ基盤ログ(Kubernatesログ)をDatabricksに収集して、Splunk相当以上のセキュリティ分析に使えるようにすること
・本案件のスコープは、オンプレKubernatesログをDatabricksブロンズテーブルに格納するところまで(27年3月末まで)※27年4月以降も継続の可能性あり
・オンプレのKubernetesのログデータ(2TB/日)を、Databricksのbronzeテーブルに転送したい
・bronzeテーブルは、KubernetesログデータのcsvをそのままSTRING型で格納するだけでよい(※データ加工・BIはスコープ外)
・対象となるログデータには、個人情報は含まない
・2027年1月までに少量データでのデータ疎通テストを成功させ、2027年3月までにドキュメントを揃えるイメージをしている
・Databricks on AWSの構築だけでなくオンプレサーバのデータ送信基盤の提案までがスコープ

■プロダクトやサービスの概要
Databricks on AWSをデータ分析基盤として活用し、オンプレミスKubernetes環境から収集したログデータを蓄積します。
ログデータはCSV形式をそのままSTRING型でBronzeテーブルへ格納する想定で、データ加工やBI領域はスコープ外です。

■役割/期待値
・インフラリーダーorインフラメンバー
・顧客要望を受けて、顧客インフラ担当者と具体的な基盤構築要件を詰められること
・非機能要件を考慮した基盤設計の知見があること(2TB/日のデータ転送に耐えうる性能設計および耐障害設計)
・基盤設計書やパラメータシート、運用手順書等のドキュメントを作成できること

■担当フェーズ
・基本設計、詳細設計、構築、テスト、運用設計まで

■作業内容(主担当・範囲)
・下記の作業をチーム内で分担して実施
-アーキテクチャ検討(fluentd, kafka等)
-基盤パラメータ設計
-顧客運用ルールに合わせた基盤構築作業
-テスト実施(テストケース設計、テスト準備と実施)
-各種ドキュメント作成

■アウトプット
・下記ドキュメントをチームメンバと協力して作成
・業務要件定義書、基本/詳細設計書、テスト計画/結果、運用設計書など

■体制
・PM:1名
・Databricks on AWS技術者:2名 (Databricks)
・インフラ技術者:2~3名(Kubernetes, Fluentd, Linux)←うち1,2名を募集

■その他補足
・基本リモート(オンプレ作業時のみ神谷町へ出社想定)
求めるスキル
■必須スキル
・Linuxサーバの構築経験があること
・「dbt」「Snowflake」「Fivetran」「Tableau」等の知見
・基本的なネットワーク知識があること(TCP/IP, ルーティングなど)
・syslog, fluentd, kafka, kubernetesに対する基本的な技術理解があること
・顧客要望を受けて、顧客インフラ担当者と具体的な基盤構築要件を詰められること
・基盤設計書やパラメータシート、運用手順書等のドキュメントを作成できること

■尚可スキル
・syslog, Fluentd, Kafkaに類するシステムログ転送処理の機能設計/開発に関する経験があること
・非機能要件を考慮した基盤設計の知見があること(2TB/日のデータ転送に耐えうる性能設計および耐障害設計)
・AWSのネットワーク知見(AWS Direct Connect, AWS Transit Gateway, AWS VPCなど)
・Databricks on AWSに関する知見

■人物像
・顧客折衝ができる方
・設計書や運用ドキュメント作成が得意な方
・主体的にインフラ設計を推進できる方
開発経験
活かせる
スキル
契約形態
業務委託(準委任契約)
契約元
株式会社LASSIC
単価
下限:550,000 円/月 ~ 上限:750,000 円/月
作業開始・終了時間
9:00-18:00(休憩1時間)想定
勤務地
基本リモート/神谷町(オンプレ作業時のみ出社想定)(東京都)

企業情報

企業名
ソフトウェア開発支援・DX化支援

おすすめポイント

エージェントから
◎リモート中心の働き方で、必要時のみオンプレ作業対応となるため柔軟な勤務が可能です!
◎Kubernetes・Fluentd・Kafka・Databricksを組み合わせた大規模ログ基盤案件で、市場価値の高い経験を積めます!
◎1日約2TB規模のログ転送基盤設計に携われるため、性能設計や耐障害設計のスキルを磨けます!
◎基本設計から運用設計まで一貫して担当でき、上流工程経験を積みたいインフラエンジニアにおすすめです!

ここに掲載されている案件はごく一部です。
Remoguで扱う案件の約80%は
非公開案件(Web公開NG)です。

80%が非公開案件
非公開の理由
Remoguが扱う案件の多くは、秘匿性の高いプロジェクト、開発案件です。
案件情報を介して企業の機密情報が競合企業に流出しないよう、情報の扱いに注意が必要と指導されている案件が多くを占めます。
Remoguサイトで検索できる案件は、ご紹介可能な案件のごく一部の事例として参考にしていただき、
あなたのご希望に添った案件は、無料会員登録の後、エージェントから直接ご紹介させてください。

希望する案件が無い場合、「エージェントにオーダー」してください。

エージェントがあなたの営業代行として、希望する条件のポジションを探してきます。

早めのエントリーで
理想的な仕事が見つかる可能性アップ!

時間に余裕を持って、
早期にエージェントへ希望条件を伝えましょう。
あなたに代わって、理想的な仕事を探してきます。