論文の概要: The GENEA Challenge 2026: A Large-Scale Disentangled Evaluation of Speech-Driven Gesture Generation on the Seamless Interaction Dataset
- arxiv url: http://arxiv.org/abs/2608.10839v1
- Date: Tue, 11 Aug 2026 12:06:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-12 19:14:46.035717
- Title: The GENEA Challenge 2026: A Large-Scale Disentangled Evaluation of Speech-Driven Gesture Generation on the Seamless Interaction Dataset
- Title（参考訳）: GENEA Challenge 2026: シームレスインタラクションデータセットを用いた音声駆動ジェスチャ生成の大規模遠方性評価
- Abstract要約: このプレプリントは,5つの音声駆動ジェスチャー生成システムの大規模評価である第4回GENEA Challengeの結果を提示する。
両者の相違なく, 動きの質と音声のアライメントを評価するために, 不整合評価手法を用いた。
また,新たなセマンティックジェスチャ生成タスクと,データのグラウンドド・ジェスチャス・サブセットを用いたテキストミスマッチ評価手法を導入する。
- 参考スコア（独自算出の注目度）: 9.451597342369494
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: This preprint presents the results of the fourth GENEA Challenge, a large-scale human evaluation of five speech-driven gesture-generation systems trained by participating teams on the Seamless Interaction dataset of dyadic conversations. As in the 2023 GENEA Challenge, we used a disentangled evaluation methodology to assess motion quality and speech alignment without confounding between the two, and performed a dyadic mismatching study to isolate the effect of listening and reacting to the interlocutor. We additionally introduce a new semantic gesture-generation task and a text-mismatching evaluation methodology using the Grounded Gestures subset of the data. In total, we ran four large-scale user studies, collecting over 23,000 votes from 869 test-takers. In the motion-realism study, the dataset's filtered segments had substantially higher motion quality than all challenge submissions (68-95% pairwise winrate). In the speech-alignment study, the motion-capture segments provided a conceptual ceiling at 62% alignment score, with the top submission significantly behind at 32% and the rest only slightly above the 0% expected of an input-independent system. In the dyadic study, motion capture again set the ceiling at 65% appropriateness score, but no submission scored substantially above chance, indicating that the systems could not yet respond to the interlocutor. Finally, the semantic mismatching evaluation found highly expressive gestures in the dataset (test-takers identified the matching transcript 79% of the time), yet almost all submissions failed to generate semantically expressive motion, with the best achieving only an 8% appropriateness score. The collected votes and outputs will be made publicly available at https://genea-workshop.github.io/2026/challenge/ to facilitate reproducibility and further research.
- Abstract（参考訳）: このプレプリントは、ダイアド会話のシームレスインタラクションデータセット上で、参加チームによって訓練された5つの音声駆動ジェスチャ生成システムの大規模評価である第4回GENEA Challengeの結果を提示する。
2023年のジェネアチャレンジでは, 両者の相違なく, 動きの質と音声のアライメントを評価するために, 絡み合った評価手法を用いて, 聴取・反応の効果を分離するために, ダイアドミスマッチ試験を行った。
また,新たなセマンティックジェスチャ生成タスクと,データのグラウンドド・ジェスチャス・サブセットを用いたテキストミスマッチ評価手法を導入する。
合計で4つの大規模なユーザ調査を実施し、869人のテストテイクから23,000票以上を集めました。
モーションリアリズム研究において、データセットのフィルタリングされたセグメントは、全ての課題(68-95%のペアワイド)よりもかなり高い運動品質を持っていた。
音声アライメント調査では,62%のアライメントスコアで,上位のアライメントは32%,残りは入力非依存システムで期待される0%をわずかに上回った。
ダイアドの研究では、モーションキャプチャーは再び天井を65%の適切度スコアに設定したが、全く高い確率で結果が得られず、システムはまだインターロケーターに応答できないことを示している。
最後に、セマンティックなミスマッチ評価では、データセット内で非常に表現力のあるジェスチャー(テストテイカーは一致した文字起こしを79%特定した)が見つかったが、ほとんどの投稿は意味的に表現力のある動作を生成できず、最も適度なスコアは8%に過ぎなかった。
収集された投票と出力は、再現性とさらなる研究を容易にするためにhttps://genea-workshop.github.io/2026/challenge/で公開される。
関連論文リスト
- SteerDuplex: Steerable Duplex Speech Dialogue Models [47.277615720741046]
音声対話モデルは、指示、発声、推論、対話を対象とする自然な会話や合成対話を微調整する。
2段階強化学習(RL)とハイブリッド報酬を併用し、検証可能な相互作用チェックと判断に基づくフィードバックを組み合わせて応答継続性を向上させる。
さらにRLはソースクリーン割り込み反応を72.5%から82.5%に引き上げ、合成停止バージインを26.5%から9%に減少させる。
論文 参考訳（メタデータ） (2026-09-11T09:22:46Z) - Modality-Driven Search with Holistic Trace Judging for ARC-AGI-2 [0.0]
数ショットのビジュアル推論ベンチマークであるARC-AGI-2の解法について述べる。
テキスト、画像、コードチャネルにまたがって、さまざまな候補を生成する。
自己整合性や多数決とは違って、モーダルな答えが間違っているタスクに関する正しいマイノリティな仮説を確実に復元する。
論文 参考訳（メタデータ） (2026-06-30T11:55:33Z) - TalkVid: A Large-Scale Diversified Dataset for Audio-Driven Talking Head Synthesis [74.31705485094096]
7729のユニークなスピーカーから1244時間のビデオを含む、大規模で高品質で多様なデータセットであるTalkVidを紹介した。
TalkVidは、動作の安定性、美的品質、顔のディテールを厳格にフィルタする、原則付き多段階自動パイプラインを通じてキュレートされる。
TalkVid-Benchは、500クリップの階層化された評価セットで、重要な人口統計学と言語学の軸間で慎重にバランスを取ります。
論文 参考訳（メタデータ） (2025-08-19T08:31:15Z) - Who is a Better Talker: Subjective and Objective Quality Assessment for AI-Generated Talking Heads [53.012111671763776]
肖像画の音声駆動方式は、話し言葉の形や顔の動きを合成する能力から、比喩的に「Talkers」として知られている。
テキスト・トゥ・イメージ・モデル(T2I)の急速な発展に伴い、AI生成トーキングヘッド(AGTH)は徐々に新しいデジタルヒューマンメディアになりつつある。
本稿では,現在までに最大規模のAGTH品質評価データセットTHQA-10Kについて述べる。12のT2Iモデルと14の高度な話者を選択し,14のプロンプトでAGTHを生成する。
論文 参考訳（メタデータ） (2025-07-31T08:43:21Z) - Recent Trends in Distant Conversational Speech Recognition: A Review of CHiME-7 and 8 DASR Challenges [63.741916531380696]
CHiME-7と8つの遠隔音声認識(DASR)の課題は、多チャンネル、一般化可能、共同自動音声認識(ASR)、対話音声のダイアリゼーションである。
本稿では,参加者からの重要傾向を分析しつつ,課題の設計,評価指標,データセット,ベースラインシステムについて概説する。
論文 参考訳（メタデータ） (2025-07-24T07:56:24Z) - The Multimodal Information Based Speech Processing (MISP) 2025 Challenge: Audio-Visual Diarization and Recognition [95.95622220065884]
MISP 2025 Challengeは、ビデオモダリティをオーディオと組み合わせることで、マルチモーダル、マルチデバイスミーティングの書き起こしに焦点を当てている。
最高の性能のシステムはベースラインよりも大幅に改善された。
論文 参考訳（メタデータ） (2025-05-20T06:11:51Z) - Estimating Quality in Therapeutic Conversations: A Multi-Dimensional Natural Language Processing Framework [7.928100324187122]
患者とセラピストの関わりは治療の成功の重要な決定要因である。
テキストの書き起こしに基づくカウンセリングセッションにおけるエンゲージメント品質を客観的に分類する多次元自然言語処理(NLP)フレームワークを提案する。
論文 参考訳（メタデータ） (2025-05-09T16:03:14Z) - Mind the Gap! Static and Interactive Evaluations of Large Audio Models [55.87220295533817]
大型オーディオモデル(LAM)は、音声ネイティブな体験をパワーアップするために設計されている。
本研究は,484名の参加者から,LAMを評価し,7,500名のLAMインタラクションを収集する対話的アプローチを提案する。
論文 参考訳（メタデータ） (2025-02-21T20:29:02Z) - Detecting Sexual Content at the Sentence Level in First Millennium Latin Texts [0.0]
我々は,紀元前300年から900年までの約2500の文からなる,性意味論を含む新しいコーパスを紹介した。
我々は,様々な文分類手法と異なる入力埋め込み層を評価し,単純なトークンベースの検索を一貫して上回ることを示す。
論文 参考訳（メタデータ） (2023-09-25T09:21:25Z) - Data Augmentation for Human Behavior Analysis in Multi-Person
Conversations [27.38635423877249]
我々は,ACM Multimedia 2023 の MultiMediate Grand Challenge 2023 に対して,我々のチーム HFUT-VUT の解決策を提示する。
このソリューションは、身体行動認識、アイコンタクト検出、次の話者予測という3つのサブチャレンジをカバーしている。
論文 参考訳（メタデータ） (2023-08-03T04:04:40Z) - Decoding speech perception from non-invasive brain recordings [48.46819575538446]
非侵襲的な記録から知覚音声の自己教師付き表現をデコードするために、コントラスト学習で訓練されたモデルを導入する。
我々のモデルでは、3秒のMEG信号から、1,000以上の異なる可能性から最大41%の精度で対応する音声セグメントを識別できる。
論文 参考訳（メタデータ） (2022-08-25T10:01:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。