論文の概要: Perceptually Grounded and Semantics-Aware Evaluation for Holistic Co-Speech Gesture Generation

• arxiv url: http://arxiv.org/abs/2610.11669v1
• Date: Thu, 08 Oct 2026 10:43:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.962362
• Title: Perceptually Grounded and Semantics-Aware Evaluation for Holistic Co-Speech Gesture Generation
• Title（参考訳）: 知覚的接地と意味論 : ソリスティックな共音声ジェスチャ生成のための意識評価
• Abstract要約: 本稿では,標準的なモデル比較,人間中心の計量検証,意味評価を組み合わせた知覚的基盤と意味認識のベンチマークを提案する。 セマンティック・ジェスチャ保存法(Semantic Gesture Preservation, SGP)を提案する。
• 参考スコア（独自算出の注目度）: 1.5767445615203355
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Holistic and semantics-aware co-speech gesture generation has advanced rapidly, yet evaluation remains behind: objective metrics do not consistently reflect human perception, and semantic appropriateness remains difficult to quantify. We present a perceptually grounded and semantics-aware benchmark that combines standardized model comparison, human-centered metric validation, and fine-grained semantic evaluation. We first curate a list of 13 objective metrics covering different aspects, including distributional similarity, geometric fidelity, kinematic quality, cross-modal synchrony, and semantic appropriateness. For the semantic-appropriateness category, we propose a new metric, Semantic Gesture Preservation (SGP), which measures how far semantic gestures in the ground truth are preserved in the generated gestures. For this, we augment the BEAT2 dataset's annotations using a multi-modal LLM. We then conduct a perceptual study where 101 participants score generated gestures among five dimensions, including human-likeness, motion diversity, absence of animation errors, speech timing and content match. We systematically analyze objective metric--subjective score correlations. Unlike Semantic Score (SC), which shows no significant association with the evaluated perceptual dimensions, SGP is selectively aligned with speech-aware human judgments. We construct five target-specific composite metrics aligned with the subjective dimensions. These composites improve perceptual alignment across all five dimensions, with the largest gains for absence of animation errors and content match, indicating that complementary objective signals can better approximate human judgments than individual metrics alone. Overall, our results show that objective metrics require validation against subjective evaluations.
• Abstract（参考訳）: 客観的な指標は人間の知覚を常に反映しておらず、意味的適切性は定量化が難しい。 本稿では,標準的なモデル比較,人間中心のメトリクス検証,きめ細かなセマンティック評価を併用した知覚的基盤とセマンティックスを意識したベンチマークを提案する。 まず、分布的類似性、幾何学的忠実性、運動的品質、相互モーダル同期、意味的適切性など、異なる側面をカバーする13の客観的指標のリストをキュレートする。 セマンティック・ジェスチャ保存法(Semantic Gesture Preservation, SGP)を提案する。 このため、BEAT2データセットのアノテーションをマルチモーダル LLM で拡張する。 次に,101人の参加者が人間に近い,動きの多様性,アニメーションエラーの欠如,発話のタイミング,内容の一致などの5次元のジェスチャーを採点した知覚的研究を行った。 客観的計量-主観的スコア相関を系統的に分析する。 評価された知覚次元と有意な相関を示すセマンティックスコア(SC)とは異なり、SGPは音声認識による人間の判断と選択的に一致している。 主観的次元に合わせた5つの目標固有合成指標を構築した。 これらの合成は5次元全てにわたる知覚的アライメントを改善し、アニメーションエラーやコンテンツマッチングが欠如している最大の利点は、補完的な客観的信号が個々の指標よりも人間の判断を近似できることを示している。 その結果,客観的評価には主観的評価に対する検証が必要であることがわかった。

関連論文リスト

• Evaluating the Interpretability of Sparse Autoencoders with Concept Annotations [12.535445487099393]
  本研究では,SAE潜伏剤と人間注釈概念のアライメントを定量化する人為的評価フレームワークを提案する。 対象属性の摂動によるマッチングを検証する。 我々のフレームワークは、中程度の辞書サイズが最良のトレードオフをもたらし、最も解釈可能なSAEをもたらすことを示唆している。
  論文  参考訳（メタデータ） (2026-06-23T15:39:29Z)
• Attribute-Based Diagnosis of LLM Alignment with Hate Speech Annotations [48.69228180369574]
  ヘイトスピーチアノテーションはコストが高く、主観的で、アノテータの意見の相違がちである。 大規模言語モデル(LLM)が人間の判断とどのように一致しているかを分析する。 本研究では, ヘイトスピーチコーパスから連続ヘイトスピーチスコアを再構成する。
  論文  参考訳（メタデータ） (2026-05-26T13:44:48Z)
• SECOND-Grasp: Semantic Contact-guided Dexterous Grasping [60.1519218638742]
  Second-Grasp (Semantic Contact-guided Dexterous Grasping) は、ロボットハンドが意味論的推論に基づいて把握戦略を調整できる統合されたフレームワークである。 我々のアプローチは、目に見えるカテゴリーと目に見えないカテゴリの両方で成功率を上げるために、一貫してベースラインを上回ります。
  論文  参考訳（メタデータ） (2026-05-13T07:37:00Z)
• Interactive ASR: Towards Human-Like Interaction and Semantic Coherence Evaluation for Agentic Speech Recognition [52.63676763985825]
  トークンレベルの精度を超えた認識品質を評価するための意味認識評価指標を提案する。 我々は,人間のようなマルチターンインタラクションをシミュレートするエージェント・フレームワークを設計し,認識出力の反復的改善を可能にする。 対話型およびエージェント型ASRにおける今後の研究を促進するためのコードをリリースする。
  論文  参考訳（メタデータ） (2026-04-10T09:02:42Z)
• SHOE: Semantic HOI Open-Vocabulary Evaluation Metric [28.578980275126707]
  新しい評価フレームワークであるSHOE(Semantic HOI Open-Vocabulary Evaluation)を紹介する。 SHOEは予測されたHOIラベルと接地したHOIラベルのセマンティックな類似性を取り入れている。 その結果、SHOEスコアは既存の指標よりも人間の判断と密接に一致していることがわかった。
  論文  参考訳（メタデータ） (2026-04-02T03:53:39Z)
• AffordGrasp: Cross-Modal Diffusion for Affordance-Aware Grasp Synthesis [50.793806818677716]
  AffordGraspは、物理的に安定し、セマンティックに忠実な人間の握りを高精度に生成する。 AffordGraspは、手ポーズの空きを意識した潜在表現を二重条件拡散プロセスに統合する。 AffordGraspはHO-3D, OakInk, GRAB, AffordPoseの4つの命令強化ベンチマークで評価した。
  論文  参考訳（メタデータ） (2026-03-09T06:56:35Z)
• Eval4Sim: An Evaluation Framework for Persona Simulation [9.555170143860694]
  Eval4Simは、人間の会話パターンといかに密にシミュレートされた会話を一致させるかを測定する評価フレームワークである。 絶対あるいは最適化指向のメトリクスとは異なり、Eval4Simは人間の会話コーパスを基準ベースラインとして使用し、両方の方向のずれを罰する。
  論文  参考訳（メタデータ） (2026-03-03T11:30:50Z)
• A Multimodal Framework for Aligning Human Linguistic Descriptions with Visual Perceptual Data [0.0]
  人間の参照解釈の中核的な側面をモデル化する計算フレームワークを提案する。 スタンフォード・リピート・レファレンス・ゲーム・コーパス(Stanford Repeated Reference Game corpus)のモデルを評価する。 その結果, 比較的単純な知覚言語的アライメント機構は, 人間の競争行動をもたらすことが示唆された。
  論文  参考訳（メタデータ） (2026-02-23T07:20:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。