Deskripsi pekerjaan
Perusahaan ini berfokus pada pengembangan infrastruktur data yang andal dan scalable. Sebagai Lead Data Engineer, Anda akan bertanggung jawab untuk merancang, membangun, dan meningkatkan infrastruktur Data Platform yang mendukung pemrosesan data berkecepatan tinggi serta streaming real-time. Anda akan berperan dalam mengarsitektur model data yang efisien, seperti Star Schema atau Data Vault, serta mengelola solusi infrastruktur menggunakan Google Kubernetes Engine (GKE). Selain aspek teknis, peran ini mencakup implementasi framework Data Quality dan kebijakan Data Governance menggunakan tools GCP. Anda akan berkolaborasi dengan tim data untuk memastikan skalabilitas platform, memberikan rekomendasi arsitektur, serta mengoptimalkan efisiensi biaya operasional, khususnya pada BigQuery, sambil menjaga standar keamanan data di seluruh organisasi.
Tanggung jawab: Menganalisis, merancang, dan meningkatkan infrastruktur Data Platform untuk mendukung pemrosesan data berkecepatan tinggi dan streaming data secara real-time; Merancang, mengembangkan, dan menyediakan solusi serta infrastruktur data yang andal menggunakan Google Kubernetes Engine (GKE); Merancang dan mengarsitektur model data yang scalable (seperti Star Schema, Snowflake Schema, atau Data Vault); Mengimplementasikan dan memastikan penerapan framework Data Quality serta kebijakan Data Governance menggunakan tools bawaan GCP; Berkolaborasi dengan tim Data untuk memastikan platform data tetap andal, scalable, dan mudah digunakan; Memberikan rekomendasi terkait arsitektur data, efisiensi biaya (khususnya BigQuery), serta keamanan data di seluruh organisasi; Mengelola dan mengotomatisasi provisioning resource cloud menggunakan Terraform (Infrastructure as Code).
Kualifikasi: Memiliki pengalaman minimal 5 tahun sebagai Data Engineer, dengan fokus kuat pada Data Platform atau Infrastruktur Data; Menguasai Google Cloud Platform (GCP), khususnya BigQuery, Datastream, dan Pub/Sub; Memiliki kemampuan pemrograman tingkat lanjut menggunakan Python dan Go; Berpengalaman dalam mengelola dan mengoptimalkan Google Kubernetes Engine (GKE) untuk kebutuhan workload data; Memiliki pengalaman langsung menggunakan Terraform untuk otomasi infrastruktur; Memiliki kemampuan troubleshooting yang baik, baik di level infrastruktur maupun aplikasi; Mampu bekerja sama dalam tim dan memiliki kemampuan komunikasi yang baik; Berpengalaman dalam implementasi data governance, data catalog, dan data quality menggunakan tools bawaan GCP (seperti Dataplex dan Data Catalog); Memiliki kemampuan kuat dalam menulis dan mengoptimalkan query SQL yang kompleks; Memiliki pengalaman dengan Apache Iceberg, Debezium, dan Apache Kafka untuk arsitektur data streaming tingkat lanjut serta modern data lakehouse menjadi nilai tambah.
Tanggung jawab
- Menganalisis, merancang, dan meningkatkan infrastruktur Data Platform untuk mendukung pemrosesan data berkecepatan tinggi dan streaming data secara real-time
- Merancang, mengembangkan, dan menyediakan solusi serta infrastruktur data yang andal menggunakan Google Kubernetes Engine (GKE)
- Merancang dan mengarsitektur model data yang scalable (seperti Star Schema, Snowflake Schema, atau Data Vault)
- Mengimplementasikan dan memastikan penerapan framework Data Quality serta kebijakan Data Governance menggunakan tools bawaan GCP
- Berkolaborasi dengan tim Data untuk memastikan platform data tetap andal, scalable, dan mudah digunakan
- Memberikan rekomendasi terkait arsitektur data, efisiensi biaya (khususnya BigQuery), serta keamanan data di seluruh organisasi
- Mengelola dan mengotomatisasi provisioning resource cloud menggunakan Terraform (Infrastructure as Code)
Kualifikasi
- Memiliki pengalaman minimal 5 tahun sebagai Data Engineer, dengan fokus kuat pada Data Platform atau Infrastruktur Data
- Menguasai Google Cloud Platform (GCP), khususnya BigQuery, Datastream, dan Pub/Sub
- Memiliki kemampuan pemrograman tingkat lanjut menggunakan Python dan Go
- Berpengalaman dalam mengelola dan mengoptimalkan Google Kubernetes Engine (GKE) untuk kebutuhan workload data
- Memiliki pengalaman langsung menggunakan Terraform untuk otomasi infrastruktur
- Memiliki kemampuan troubleshooting yang baik, baik di level infrastruktur maupun aplikasi
- Mampu bekerja sama dalam tim dan memiliki kemampuan komunikasi yang baik
- Berpengalaman dalam implementasi data governance, data catalog, dan data quality menggunakan tools bawaan GCP (seperti Dataplex dan Data Catalog)
- Memiliki kemampuan kuat dalam menulis dan mengoptimalkan query SQL yang kompleks
- Memiliki pengalaman dengan Apache Iceberg, Debezium, dan Apache Kafka untuk arsitektur data streaming tingkat lanjut serta modern data lakehouse menjadi nilai tambah
Informasi lowongan
- Tipe pekerjaan
- Contract
- Gaji
- Negosiasi