Hadoop / Big Data Engineer
Công Ty Cổ Phần Công Nghệ Và Giải Pháp Số Việt Nam
Mô tả công việc
Tham gia khảo sát, thiết kế, cài đặt và triển khai hệ sinh thái Hadoop/Hortonworks (HDP). Cài đặt, cấu hình và vận hành Hadoop Cluster với các thành phần: HDFS, YARN, Hive, Spark, ZooKeeper, HBase, Kafka, Ambari, Ranger... Thực hiện thiết kế, sizing và phân bổ tài nguyên cho Hadoop Cluster. Cấu hình các cơ chế High Availability (HA), bảo mật, phân quyền và giám sát hệ thống. Quản trị HDFS, YARN, Hive, Spark và các thành phần liên quan. Theo dõi, tối ưu hiệu năng và xử lý sự cố Hadoop Cluster. Hỗ trợ xây dựng các pipeline ETL/ELT và xử lý dữ liệu lớn. Xây dựng tài liệu kiến trúc, cài đặt, cấu hình và hướng dẫn vận hành. Phối hợp với các team System, Network, Security, Data Engineer... trong quá trình triển khai.
Yêu cầu công việc
Bắt buộc Tốt nghiệp Đại học/Cao đẳng chuyên ngành CNTT hoặc các ngành liên quan. Có từ 2–3 năm kinh nghiệm làm việc với Hadoop/Big Data Platform. Đã từng tham gia cài đặt, triển khai hoặc vận hành Hadoop Cluster thực tế. Có kinh nghiệm với Hortonworks Data Platform (HDP) hoặc các Hadoop Distribution tương đương. Có kinh nghiệm với các thành phần: HDFS, YARN, Hive, Spark, ZooKeeper... Có kinh nghiệm sử dụng Apache Ambari để quản trị và giám sát Hadoop Cluster. Có kiến thức về Hadoop Architecture, Distributed System, High Availability... Có kinh nghiệm triển khai và vận hành hệ thống trên Có khả năng đọc log, troubleshooting và xử lý sự cố Hadoop Cluster. Có kiến thức về SQL, HiveQL và ít nhất một ngôn ngữ như Java, Python hoặc Scala. Ưu tiên Có kinh nghiệm với Kerberos, Ranger, Knox, Kafka, HBase... Đã từng triển khai Hadoop Cluster Production từ đầu. Có kinh nghiệm cấu hình HDFS HA, YARN HA, bảo mật và phân quyền. Có kinh nghiệm về Data Lake, Data Warehouse, ETL/ELT... Có kinh nghiệm với Docker/Kubernetes, Ansible, Grafana, ELK, Zabbix... Có kinh nghiệm trong các hệ thống dữ liệu lớn thuộc lĩnh vực Viễn thông, Tài chính, Fintech... là lợi thế. Ưu tiên ứng viên đã từng trực tiếp tham gia ít nhất một dự án triển khai Hortonworks/Hadoop Cluster Production, có khả năng thiết kế, cài đặt, cấu hình, vận hành và xử lý sự cố hệ thống.
Quyền lợi
Thu nhập Thu nhập: 15.000.000 - 30.000.000/tháng, thỏa thuận theo năng lực. Xét tăng lương theo năng lực và kết quả công việc định kỳ 1 lần/năm. Hoặc tăng lương đột xuất theo hiệu quả công việc. Chế độ đào tạo và phát triển Được hưởng chế độ đào tạo chung của công ty; Chính sách phát triển, thăng tiến phù hợp với từng vị trí, từng phòng ban. Cơ hội tiếp cận với các công nghệ mới nhất. Có cơ hội làm việc trong nhiều dự án mới, thử thách. Môi trường làm việc trẻ trung, năng động, chuyên nghiệp. Bảo hiểm và chính sách đãi ngộ Bảo hiểm xã hội, Bảo hiểm y tế, Bảo hiểm thất nghiệp theo quy định Nhà nước. Chế độ gói bảo hiểm PTI cao cấp. Phúc lợi tiền mặt vào các dịp Lễ, Tết, sinh nhật công ty,... Chế độ du lịch hàng năm. Hỗ trợ ăn trưa: 40.000vnđ/ngày làm việc thực tế. Hỗ trợ gửi xe tòa nhà. Hỗ trợ trang điểm cho CBNV nữ (250.000vnđ/tháng).