Back to Job Board
QA Engineer (AI Chatbot Platform)
Urgent
Bounty: ₫ 14,400,000
Ho Chi Minh City, Vietnam
Full-Time
₫30,000,000-₫60,000,000/monthly
In-Office
Posted 2w ago
Specialty:
QA Engineer
Experience Level:
2-4 years
Management Level:
None people
English Level:
Conversational
Skills & Technologies
Automation
API
Testing or Debugging
Agile
REST API
JavaScript
About the Job
Chúng tôi đang tìm kiếm một QA Engineer cẩn thận, chi tiết để đảm bảo chất lượng cho nền tảng AI chatbot được xây dựng trên tài sản trí tuệ nội bộ. Bạn sẽ kiểm thử các tính năng conversational AI tiên tiến, xác thực độ chính xác của tính toán chuyên ngành, và đảm bảo nền tảng cung cấp phản hồi chính xác, hữu ích cho người dùng.Vai trò này kết hợp QA truyền thống với thách thức đặc thù của kiểm thử hệ thống AI bao gồm cả deterministic computations và non-deterministic AI outputs — lý tưởng cho QA professionals muốn làm việc với công nghệ AI mới nhất.
Responsibilities
Chatbot Quality Assurance (50%)
- Thiết kế chiến lược kiểm thử toàn diện cho các tính năng conversational AI
- Kiểm thử độ chính xác intent recognition và entity extraction
- Xác thực context preservation qua nhiều lượt hội thoại (multi-turn conversations)
- Đánh giá chất lượng phản hồi cho các truy vấn chuyên ngành
- Kiểm thử tính đúng đắn của deterministic computation
- Đánh giá chất lượng ngôn ngữ tiếng Việt trong phản hồi AI
- Kiểm thử conversation flows và edge cases
- Phối hợp với chuyên gia lĩnh vực xây dựng golden test datasets cho độ chính xác chuyên ngành
- Kiểm thử document ingestion và processing pipelines
- Xác thực retrieval accuracy từ knowledge bases
- Kiểm thử chất lượng RAG (Retrieval-Augmented Generation) response
- Xác minh citation và source attribution accuracy
- Xác thực domain knowledge accuracy so với ground truth đã được chuyên gia xác minh
- Kiểm thử admin dashboards và analytics features
- Kiểm thử payment flows và subscription features
- Kiểm thử mobile responsiveness và cross-device
- Kiểm thử tích hợp với hệ thống bên ngoài (SSO, APIs)
- Xác thực khả năng search và filtering
- Xây dựng automated tests cho API endpoints
- Tạo test datasets cho các use cases chuyên ngành
- Xây dựng regression test suites cho deterministic computation engine
- Triển khai conversation simulation tools
- Tự động hóa regression testing cho AI features
- Xây dựng monitoring cho quality metrics trong production
Minimum Qualifications
Yêu cầu bắt buộcQA Fundamentals
- 2+ năm kinh nghiệm software QA/testing
- Kinh nghiệm viết test cases rõ ràng, toàn diện
- Kiến thức về phương pháp kiểm thử manual và automated
- Hiểu biết về SDLC và agile processes
- Kinh nghiệm với bug tracking tools (Jira, Linear)
- Thành thạo Python hoặc JavaScript cho automation
- Kinh nghiệm API testing (REST, GraphQL)
- Hiểu biết về databases và SQL
- Kinh nghiệm với testing frameworks (Pytest, Jest, Playwright)
- Kiến thức Git và version control
- Hiểu biết về NLP/NLU concepts
- Kinh nghiệm kiểm thử conversational interfaces
- Kiến thức về AI behavior testing
- Hiểu biết về hybrid systems (deterministic + AI)
- Quen thuộc với LLM limitations và failure modes
- Chú ý cao đến chi tiết
- Tư duy phân tích và giải quyết vấn đề
- Kỹ năng giao tiếp tốt (tiếng Anh và tiếng Việt)
- Khả năng tư duy từ góc nhìn người dùng
- Tinh thần hợp tác
- Khả năng thích ứng và học hỏi công nghệ AI mới
- Technology Stack
- Testing Tools: Playwright, Pytest, Jest, Postman
- Languages: Python, JavaScript
- CI/CD: GitHub Actions
- Tracking: Jira, Linear
- Documentation: Notion, Confluence
- Domain-Specific AI Testing: Hiểu biết về kiểm thử hệ thống AI kết hợp deterministic computation với non-deterministic AI outputs
- API Testing: Kinh nghiệm vững chắc với REST/GraphQL API testing
- Conversational AI: Hiểu biết về thách thức kiểm thử chatbot
- Test Automation: Xây dựng automated test suites
- Thiết kế test cases cho conversational interfaces
- Đánh giá chất lượng AI response
- Đánh giá chất lượng ngôn ngữ tiếng Việt
- Xác minh deterministic computation và regression testing
- Phối hợp với chuyên gia lĩnh vực tạo golden test datasets
- Automation frameworks (Playwright, Cypress, Selenium)
- API testing tools (Postman, REST Assured)
- Kiến thức cơ bản về performance testing
Preferred Requirement
Kinh nghiệm ưu tiên:
- Kinh nghiệm kiểm thử RAG systems
- Kiến thức về NLP/NLU concepts
- Mobile testing (iOS/Android responsive web)
- Kinh nghiệm kiểm thử payment flow
- Kinh nghiệm xác thực document processing
- Kiến thức về accessibility testing (WCAG)
- Nhận thức về security testing (OWASP)
- Intent Recognition: Kiểm thử độ chính xác phân loại intent của người dùng
- Context Preservation: Xác minh conversation history được duy trì
- Response Quality: Đánh giá mức độ liên quan và chính xác của phản hồi AI
- Knowledge Retrieval: Kiểm thử độ chính xác document-to-answer
- Computation Accuracy: Xác minh tính toán deterministic cho kết quả đúng
- Vietnamese Language Quality: Đánh giá tính tự nhiên và chính xác của phản hồi AI bằng tiếng Việt
- Edge Cases: Kiểm thử các truy vấn bất thường và giới hạn hệ thống
- Kinh nghiệm kiểm thử sản phẩm AI/ML
- Kiến thức về prompt engineering
- Kinh nghiệm performance testing (k6, JMeter)
- Nhận thức về security testing (OWASP)
- Kinh nghiệm với test management tools (TestRail, Xray)
- Chứng chỉ ISTQB hoặc tương đương
Benefits
Interview Process - Phỏng vấn 2 vòng:
Note for recruiter
- V1: Về chuyên môn với tech director.
- V2: Gặp nhanh với product owner để xem độ phù hợp về văn hóa, con người.
Note for recruiter
- Làm việc onsite, văn phòng ở Nguyễn Thị Minh Khai, quận 3
- Báo cáo bằng tiếng Việt, cơ cấu bên mình đều là ng VIệt. Nhưng nếu nhân sự ng nước ngoài thì trao đổi tiếng Anh vẫn ok.
- Quy trình phỏng vấn 2 vòng. Vòng 1 là về chuyên môn pv với tech director, vòng 2 gặp nhanh với product owner để xem độ phù hợp văn hóa con người.
- Range lương từ 30-60M tùy trình độ. JD như vậy nhưng mà có thể mở rộng ra cả các bạn fresher có background tốt, nền tảng kiến thức tốt, ko nhất thiết phải có nhiều kinh nghiệm, những yêu cầu trong JD có thể ở mức biết là được chưa cần phải hiểu.
- Về BH thì cty sẽ đóng bảo hiểm trên mức lương chính, khoảng 1/2 lương chính thức, phần còn lại là các khoản phụ cấp ko chịu BHXH. Tất nhiên đây là cơ sở, UV có thể deal về chế độ BH, bên cty open để thương lượng về khoản này.
UCTalent
UCTalent is a Trusted Decentralized Talent Network disrupting the $320B+ recruitment industry. We use Blockchain and AI to decentralize headhunting and professional development. Based in Da Nang, we are building a global product.
UCTalent
We always strive to connect talents with the leading companies in the Web3 world. By leveraging job matching mechanism to match personal preferences with suitable jobs, we help companies connect with global talents quickly and at lowest costs, and open up a world of opportunities.
For Companies
@2023 UCTalent. All rights reserved.