Data Engineer (Lakehouse/ Big Data)
CÔNG TY TNHH MỘT THÀNH VIÊN AN NINH MẠNG VIETTEL
Mô tả công việc
Tổng quan về sản phẩm và vị trí: Consolidated Platform là nền tảng hợp nhất và liên kết dữ liệu từ nhiều sản phẩm An toàn thông tin, giám sát và quản trị hệ thống thông tin trong một tổ chức thành một thể thống nhất. Thế mạnh cốt lõi của sản phẩm là khả năng tập hợp dữ liệu và kết nối chéo giữa các nguồn vốn rời rạc — nhờ đó chuyên gia giám sát/quản trị ATTT và lãnh đạo (C-suite) vừa có bức tranh tổng quan, vừa điều tra được chi tiết mà không phải dùng quá nhiều công cụ. Data Engineer là đội ngũ dựng lớp nền dữ liệu cho nền tảng đó: đưa dữ liệu từ nhiều nguồn ATTT rời rạc (giám sát, phát hiện xâm nhập, quản lý tài sản, quản lý lỗ hổng, threat intelligence...) về một lakehouse chung, liên kết chúng lại thành bức tranh thống nhất về tài sản, lỗ hổng và sự kiện an ninh, rồi phục vụ ngược lại cho báo cáo, phân tích và các AI Agent của sản phẩm. Danh mục nguồn dữ liệu sẽ mở rộng dần theo lộ trình sản phẩm và theo từng khách hàng, nên công việc đòi hỏi khả năng biến một nguồn dữ liệu mới thành bảng dữ liệu đạt chuẩn production trong thời gian ngắn mà chất lượng vẫn giữ được. Mô tả công việc: Xây dựng và mở rộng data pipeline Viết job ingest dữ liệu từ nguồn mới (REST API, file XML/CSV/JSON, Kafka topic) về lakehouse; xử lý incremental load, checkpoint và schema thay đổi theo thời gian. Chuẩn hoá, clean và dedup dữ liệu về một schema chung; xây logic đối sánh và hợp nhất dữ liệu giữa các nguồn, giải quyết xung đột khi các nguồn mô tả cùng một đối tượng theo cách khác nhau. Xây serving layer cho ứng dụng và báo cáo (upsert xuống PostgreSQL/MongoDB), đảm bảo dữ liệu ra đúng hạn và khớp với snapshot của nguồn. Viết và bảo trì DAG điều phối: dependency, retry, backfill, schedule. Chất lượng dữ liệu và vận hành Khai báo data expectation cho bảng mình phụ trách (schema, constraint, volume, freshness) và cài test tự động ở biên giữa các layer; xử lý alert khi dữ liệu vi phạm. Theo dõi job, debug lỗi và các vấn đề hiệu năng thường gặp (data skew, small file, OOM); tối ưu query và cấu trúc bảng. Viết unit test cho logic transform; theo đúng convention branch/commit, code review và CI của đội. Phối hợp Làm việc cùng Product, BI và AI để nắm nhu cầu sử dụng dữ liệu; mô tả dữ liệu (metadata, lineage, data dictionary) để downstream và AI Agent dùng đúng ngữ cảnh, đúng phân quyền.
Yêu cầu công việc
Từ 4 năm kinh nghiệm Data Engineer, đã từng trực tiếp làm và vận hành pipeline trên production. Thành thạo SQL nâng cao (window function, CTE, đọc EXPLAIN để tối ưu query) và Python (code có cấu trúc, module tái sử dụng, exception handling, logging, viết test bằng pytest). Kinh nghiệm xử lý dữ liệu phân tán với Spark (ưu tiên PySpark): hiểu partition, shuffle, join strategy và đọc được Spark UI để tìm bottleneck. Kinh nghiệm với orchestration tool (ưu tiên Airflow, hoặc Dagster/Prefect): thiết kế DAG, dependency, retry, backfill. Hiểu kiến trúc data warehouse/lakehouse: phân tầng dữ liệu, data modeling, incremental load, schema evolution. Làm việc được với cả SQL và NoSQL (PostgreSQL, MongoDB), object storage chuẩn S3 (MinIO/S3) và Docker. Có ý thức về data quality: tự kiểm tra null, duplicate, lệch số liệu trước khi bàn giao một bảng cho hệ thống khác dùng. Ưu tiên tốt nghiệp Đại học chuyên ngành: An toàn thông tin, Công nghệ thông tin, Khoa học máy tính, Toán – Tin... hoặc chuyên ngành liên quan. Ưu tiên (Nice-to-have) Kinh nghiệm với table format của lakehouse: Apache Iceberg (ưu tiên), Delta Lake hoặc Hudi — time travel, schema evolution, table maintenance. Kinh nghiệm với query engine phân tán: Trino/Presto. Kinh nghiệm với data quality framework (Great Expectations, Soda, dbt test) và data catalog / lineage (OpenMetadata, DataHub, Amundsen). Kinh nghiệm ingest near-real-time qua Kafka; có làm stream processing là lợi thế. Kiến thức miền ATTT: CVE/CVSS, log SIEM/EDR, quản lý tài sản CNTT, kết quả quét lỗ hổng. Kinh nghiệm với Kubernetes hoặc cloud (AWS/GCP/Azure).
Quyền lợi
Salary + Allowances: Offer gói tổng thu nhập năm cạnh tranh (sẵn sàng negociate); 16 Ngày phép (12 ngày theo luật Lao động + 3 ngày phép nghỉ mát, nghỉ lễ 22/12); Tiền thưởng cho những dịp đặc biệt; Phụ cấp thâm niên từ đủ 3 năm làm việc trở lên tại VCS; Chế độ bảo hiểm sức khỏe toàn diện; Trang thiết bị làm việc được cung cấp đầy đủ; Quà tết, quà sinh nhật, kết hôn, sinh con cho nhân viên; Career Growth: Review lương vào tháng 3 hàng năm; Đào tạo: tài trợ chứng chỉ, premium account học tập; Chế độ ghi nhận và khen thưởng kịp thời; Working Environment: Trang phục làm việc thoải mái, văn hóa, môi trường làm việc thân thiện, trẻ trung, năng động; Làm việc từ Thứ 2 – Thứ 6 (Flexible time từ 8h30 – 9h00 đến 18h00 – 18h30), được chủ động quản lý thời gian làm việc; Thư giãn 30 phút mỗi ngày với hoạt động Happy hours (16h-16h30); Nghỉ 1⁄2 ngày vào ngày 20/10 và 08/03 dành cho các chị em; 2 ngày về sớm 1 tiếng: Ngày sinh nhật của bạn và Ngày Gia đình Việt Nam 28/6; Làm việc tại văn phòng Hạng A - tòa Landmark 72 với tổ hợp không gian xanh và khu vực riêng dành cho Tập Gym, giải trí (pe.s Café, Đọc sách); Tham gia các event công ty: hoạt động Teambuilding hàng quý, Sinh nhật hàng tháng, Year End Party, nghỉ mát, ngày lễ 08/03, 20/10 (các chị em được nghỉ 1⁄2 ngày), ngày sinh nhật tập đoàn 01/06, v.v; Tổ chức sinh nhật cá nhân: phần quà và bánh sinh nhật từ phía công ty; Các hoạt động thể thao: câu lạc bộ Bóng đá, v.v;