Crawler Engineer (Có Xe Đưa Đón)
CÔNG TY CỔ PHẦN CÔNG NGHỆ AN NINH MẠNG QUỐC GIA VIỆT NAM
Mô tả công việc
Tham gia phát triển và vận hành các hệ thống thu thập, xử lý và cung cấp dữ liệu từ Internet, bao gồm website, báo điện tử, diễn đàn, mạng xã hội và các nguồn dữ liệu mở. Xây dựng và duy trì các crawler/scraper thu thập dữ liệu từ website, API và các nền tảng Internet. Phân tích cấu trúc website, API và luồng request/response phục vụ xây dựng crawler. Xử lý các vấn đề trong quá trình thu thập như pagination, session/cookie, authentication, rate limit, proxy, JavaScript rendering. Làm sạch, chuẩn hóa, kiểm tra và lưu trữ dữ liệu sau thu thập. Theo dõi crawler, xử lý lỗi và cập nhật khi nguồn dữ liệu thay đổi. Phát triển các dịch vụ Backend bằng Golang phục vụ quản lý crawler, xử lý dữ liệu và cung cấp API. Xây dựng RESTful API, worker và các tác vụ xử lý bất đồng bộ. Làm việc với các hệ quản trị CSDL như PostgreSQL, MongoDB, Redis, Elasticsearch. Tích hợp hệ thống thông qua Kafka/RabbitMQ hoặc các message queue tương đương. Đóng gói và triển khai ứng dụng bằng Docker; phối hợp triển khai trên Linux/Kubernetes khi cần. Theo dõi hiệu năng, log và xử lý sự cố của crawler/backend trong quá trình vận hành.
Yêu cầu công việc
Có từ 01 năm kinh nghiệm phát triển phần mềm, ưu tiên Crawler/Data Collection hoặc Backend. Có kinh nghiệm lập trình Golang và xây dựng REST API là một lợi thế. Có khả năng sử dụng Python, Golang hoặc ngôn ngữ khác để xây dựng crawler. Hiểu HTTP/HTTPS, REST API, JSON, HTML, DOM, Cookie, Session, Header. Có kinh nghiệm với ít nhất một số công cụ/framework crawler hoặc browser automation như Scrapy, BeautifulSoup, Selenium, Playwright hoặc tương đương. Có khả năng phân tích request thông qua Chrome DevTools/Network. Có kinh nghiệm làm việc với PostgreSQL hoặc MongoDB. Sử dụng được Git, Linux và Docker. Có khả năng đọc hiểu tài liệu kỹ thuật tiếng Anh.
Quyền lợi
Thời gian làm việc: Thứ 2 - Thứ 6: 8h30 - 17h30 Mức lương: Thỏa thuận, tùy theo năng lực. Thưởng quý, Thưởng Năm,... Được xét tăng lương 02 lần/ 01 năm. Được đào tạo về các nội dung chuyên môn. Chế độ nghỉ mát hàng năm, khám sức khỏe hàng năm. Các hoạt động gắn kết khác: Thank-you party; Team building, Sinh nhật Công ty; Du lịch... Được đóng bảo hiểm y tế, bảo hiểm xã hội và các chế độ phúc lợi khác. Được hưởng chế độ chăm sóc sức khỏe cao cấp PTI. Được vận hành, sử dụng các trang thiết bị hiện đại. Môi trường làm việc thân thiện, trẻ trung, chia sẻ, kết nối. Và nhiều chế độ đãi ngộ đặc biệt khác.