Data Engineer

Mô tả công việc

MỤC TIÊU CÔNG VIỆC: - Xây dựng và vận hành Data Platform: Thiết kế, xây dựng và vận hành Data Lake, Data Warehouse, Data Pipeline và Data Mart, đảm bảo dữ liệu chính xác, tin cậy và sẵn sàng cho BI, báo cáo và phân tích. - Xử lý & mô hình hóa dữ liệu: Phát triển Data Pipeline và Data Model bằng SQL, Python, Apache Spark, phục vụ các nhu cầu phân tích và báo cáo quản trị. - Phân tích dữ liệu viễn thông: Xử lý và chuẩn hóa dữ liệu lớn như CDR, Network Traffic, QoS, Billing và Customer Behavior. - Vận hành nền tảng On-premise: Quản lý và tối ưu hệ thống Data Lake/DWH on-premise, đảm bảo hiệu năng, tính ổn định và bảo mật dữ liệu. - BI & Báo cáo quản trị: Xây dựng Dashboard và báo cáo phân tích trên Power BI, Apache Superset, cung cấp thông tin phục vụ các phòng ban và hỗ trợ lãnh đạo ra quyết định. - Data Quality & Performance: Giám sát chất lượng dữ liệu, xử lý lỗi và tối ưu SQL Query, Spark Job và Data Pipeline. - Phối hợp liên phòng ban, đơn vị nghiệp vụ để đảm bảo dữ liệu đầy đủ, chính xác và đáp ứng yêu cầu khai thác. TRÁCH NHIỆM CHÍNH: Data Engineering & Data Platform: - Thiết kế và phát triển ETL/ELT Data Pipeline phục vụ các hệ thống dữ liệu. - Xây dựng và vận hành: Data Lake / Data Warehouse / Data Mart. - Phát triển các job xử lý dữ liệu bằng Python, SQL, Apache Spark/PySpark. - Xây dựng workflow và scheduling: Apache Airflow. - Thiết kế cơ chế ingest, transform và phân phối dữ liệu. - Làm việc với các nền tảng object storage như: AWS(S3), Ceph(S3). - Xây dựng cơ chế kiểm soát: Data Quality, Data Validation và Data Reconciliation. - Tối ưu pipeline về hiệu năng, khả năng mở rộng và độ ổn định. - Theo dõi, xử lý lỗi và cải thiện khả năng vận hành của Data Platform. - Tham gia xây dựng các tiêu chuẩn cơ bản về: Data Governance và Data Management. - Ưu tiên ứng viên có kinh nghiệm triển khai hệ thống On-premise Data Platform. Database/ DBA: - Thiết kế và tối ưu database phục vụ Data Platform. - Làm việc với PostgreSQL, có kinh nghiệm: ClickHouse, Oracle/MongoDB - Thiết kế bảng, Index, Partition và chiến lược lưu trữ dữ liệu. - Phân tích và tối ưu SQL Query / Query Performance. - Tham gia thiết kế Backup/Restore, Replication và High Availability. - Monitoring database, phân tích bottleneck và xử lý vấn đề hiệu năng. - Quản lý Security, Permission và Database Access Control. - Phối hợp với DBA/DevOps trong việc vận hành hệ thống database trên môi trường production. BI / Analytics: - Thiết kế và xây dựng Data Mart phục vụ báo cáo và phân tích. - Xây dựng mô hình dữ liệu Star Schema, Fact và Dimension. - Phối hợp với Business Analyst/Data Analyst xác định KPI và Business Metrics. - Phát triển và tối ưu báo cáo, dashboard trên Power BI. - Có khả năng sử dụng Apache Superset là lợi thế. - Kiểm tra và đối soát dữ liệu giữa Source – DWH – Data Mart – BI. - Hỗ trợ các phòng ban nghiệp vụ khai thác và phân tích dữ liệu.

Yêu cầu công việc

Kinh nghiệm: - Tốt nghiệp các ngành học liên quan Data - Có tối thiểu 3 năm kinh nghiệm ở vị trí Data Engineer/ / Data Platform Engineer/ Analytics Engineer Kiến thức & kỹ năng chuyên môn: Bắt buộc: - Thành thạo SQL, ưu tiên PostgreSQL. - Có kinh nghiệm Python. - Có kinh nghiệm ETL/ELT và Data Pipeline. - Có kinh nghiệm với Apache Spark/PySpark. - Có kinh nghiệm Apache Airflow. - Có kiến thức về Data Lake và Data Warehouse. - Có kinh nghiệm với Power BI. - Có khả năng thiết kế và tối ưu database/query. - Hiểu về Data Quality, Data Validation và Data Reconciliation. Ưu tiên: - Trino / Presto. - Hadoop / HDFS / Hive. - ClickHouse. - S3 / MinIO / Ceph. - Apache Superset. - Docker / Linux. - Kafka hoặc các nền tảng streaming data. - Git, CI/CD. - REST API / Microservice. - Java hoặc.NET Backend. Kỹ năng mềm: - Tư duy logic, phân tích và giải quyết vấn đề tốt. - Chủ động trong công việc, có khả năng tự nghiên cứu công nghệ mới. - Cẩn thận, có trách nhiệm với chất lượng và tính chính xác của dữ liệu. - Có khả năng làm việc độc lập và phối hợp trong team. - Có khả năng giải thích các vấn đề kỹ thuật cho đối tượng không chuyên. - Có khả năng viết tài liệu kỹ thuật, Data Mapping và Technical Specification rõ ràng.

Quyền lợi

Attractive compensation package based on competency and potential. , 15 days of annual leave, 1 remote work days per month. , Annual company trip and team building activities.

Kỹ năng từ nguồn