Instructions
First listen to what a user tells a friend (the query), then watch 5 video responses from an AI avatar and rate each one.
- Rate each video on three criteria, from 1 to 5.
① AV sync — Do the lip movements match the voice? (lip sync)
② Motion naturalness — How natural do the face and head movements look while speaking? Consider stiffness, jitter, or abrupt changes. (Do not judge whether the expression fits the conversation here.)
③ Facial expression appropriateness — Is the avatar's facial expression appropriate to what the user said (the query)? - The queries and responses are in English. Turn on Show Korean translation at the top right to see Korean translations.
- The order of responses A–E is randomized every time and does not indicate any particular system.
- There are 8 queries in total, taking about 12–15 minutes. Earphones or headphones are recommended.
- If you close the window midway, enter the same ID again to continue where you left off.
안내 (한국어)
사용자가 친구에게 털어놓는 말(쿼리)을 먼저 듣고, 그에 대한 AI 아바타의 영상 응답 5개를 보신 뒤 각각 점수를 매겨 주세요.
- 각 영상에 대해 세 가지를 1~5점으로 평가합니다.
① AV sync — 입 모양이 목소리와 잘 맞나요? (립싱크)
② 움직임 자연스러움 — 말하는 동안 얼굴과 머리의 움직임이 얼마나 자연스러워 보이나요? 뻣뻣함, 떨림, 급격한 변화 등을 보세요. (표정이 대화에 맞는지는 여기서 판단하지 않습니다.)
③ 응답 얼굴 표정 적절성 — 아바타의 얼굴 표정이 사용자의 말(쿼리)에 적절한가요? - 쿼리와 응답은 영어입니다. 오른쪽 위 Show Korean translation을 켜면 한국어 번역이 함께 보입니다.
- 응답 A~E의 순서는 매번 무작위이며, 특정 시스템을 뜻하지 않습니다.
- 총 8개 쿼리, 약 12~15분 걸립니다. 이어폰이나 헤드폰 사용을 권장합니다.
- 중간에 창을 닫아도 같은 ID로 다시 들어오면 이어서 할 수 있습니다.
User query
Evaluation complete. Thank you!
Please send the completion code below to the person who invited you.