QA Automation Engineer AI Testing (TypeScript / WebSocket / Playwright)

Зарплата: $1800–$2000

Про продукт
Pitch Avatar SaaS-платформа з інтерактивними AI-аватарами, презентаціями та мультимедійним контентом для онбордингу, корпоративного навчання, підтримки клієнтів і продажів. Користувачі налаштовують аватарів, додають власні джерела знань, спілкуються текстом і голосом та отримують аналітику взаємодії.
Для нас важлива якість усього сценарію: від створення проєкту й підготовки контенту до відповіді аватара та коректного збереження результатів.
Про роль
Шукаємо QA Automation Engineer рівня Middle / Middle+, який розвиватиме автоматизацію та перевірки якості AI-функцій. Ви працюватимете в QA-команді з QA Lead, manual і general/automation QA, використовуючи наявний фреймворк Playwright + TypeScript.
Основний обсяг перевірок виконується через WebSocket: надсилання повідомлень, отримання асинхронних подій і перевірка результату взаємодії з аватаром. Playwright використовується для UI та наскрізних сценаріїв, REST API для підготовки даних і суміжних перевірок.
Важливі обидва напрями: тестування AI у продукті та практичне використання AI-інструментів для аналізу вимог, написання тестів і розбору дефектів. Очікуємо, що ви можете пояснити й перевірити результат, отриманий за допомогою AI.
Що потрібно робити
Розробляти й підтримувати автотести WebSocket-сценаріїв на TypeScript: надсилання повідомлень, перевірка очікуваних подій, їх вмісту та завершення сценарію.
Підтримувати UI та E2E автотести на Playwright; використовувати REST API для підготовки тестових даних і перевірки суміжної логіки.
Разом із QA Lead визначати пріоритетні перевірки чат-аватара, бази знань, мультимовності, персональних посилань, Enrollments і результатів сесій.
Створювати набори контрольних запитів та діалогів із чіткими критеріями оцінювання AI-відповідей: відповідність джерелам, дотримання інструкцій, збереження контексту й коректна поведінка за відсутності інформації.
Перевіряти регресії після змін промптів, моделей, джерел знань і продуктової логіки.
Тестувати асинхронні процеси, WebSocket-події, loading/error states, тайм-аути та відновлення після помилок; перевіряти текстові й голосові сценарії.
Проводити exploratory та негативне тестування нових функцій, зокрема доступів, ролей і взаємодії між модулями.
Підтримувати запуск тестів у CI, працювати з тестовими даними, усувати нестабільні тести та перевірки, які можуть пропустити реальний дефект.
Готувати зрозумілі баг-репорти та результати перевірок із логами, traces й іншими доказами; співпрацювати з розробниками та продуктовою командою.
Необхідний досвід
Від 2 років у QA вебпродуктів та практичний досвід написання автоматизованих тестів.
Практичне володіння Playwright і JavaScript/TypeScript: ви самостійно читаєте, змінюєте та налагоджуєте код тестів.
Практичний досвід автоматизації WebSocket-сценаріїв: робота з повідомленнями й асинхронними подіями, очікування результату, перевірка тайм-аутів та помилок.
Розуміння HTTP, JSON, клієнт-серверної взаємодії та базове володіння REST API для допоміжних перевірок і роботи з тестовими даними.
Уміння проєктувати позитивні, негативні та граничні перевірки з конкретним очікуваним результатом.
Практичний досвід перевірки LLM-функцій або чатботів у робочому чи власному проєкті. Можете показати, як визначали якість відповіді, виявляли вигадані факти та працювали з варіативністю результатів.
Досвід використання AI-інструментів у QA-роботі та критичного перегляду згенерованих тестів і коду.
Git, базовий SQL, браузерні DevTools; уміння аналізувати мережеві запити, логи та причини падіння тестів.
Досвід роботи з CI-прогонами та діагностикою асинхронних тестів за логами повідомлень і подій.
Англійська від B1: читання технічної документації та письмова робоча комунікація.
Буде перевагою
Досвід тестування відповідей на основі бази знань / RAG, мультимовних діалогів і стійкості до спроб змінити інструкції аватара.
Автоматизовані оцінки якості AI-відповідей (evals), порівняння версій моделі або промпту, контрольні датасети.
Тестування speech-to-text, text-to-speech, WebRTC та аудіо/відеосценаріїв.
Перевірка часу відповіді, навантаження та відмов зовнішніх сервісів; досвід k6 або аналогів.
GitLab CI, Docker, Python для додаткових тестових інструментів.
Ми пропонуємо
Роботу над продуктом на стику SaaS, AI та мультимедіа.
Повністю віддалену роботу.
Офіційний договір з австрійською компанією.
25 оплачуваних робочих днів відпустки та оплачувані лікарняні.
Можливість впливати на автоматизацію та підхід до оцінювання AI-функцій.
Співпрацю з QA Lead і командою тестування, самостійність у межах своєї зони відповідальності.