論文の概要: Do Motion Tokenizers for Co-Speech Gesture Generation Encode Gesture Semantics?
- arxiv url: http://arxiv.org/abs/2610.03765v1
- Date: Mon, 28 Sep 2026 08:50:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 05:18:19.94378
- Title: Do Motion Tokenizers for Co-Speech Gesture Generation Encode Gesture Semantics?
- Title（参考訳）: 音声ジェスチャ生成のための運動トケナイザはジェスチャーセマンティックスを符号化するか?
- Abstract要約: 生の動作から抽象的なコミュニケーション機能にまたがる19の音声ジェスチャー記述子を用いて,再構築訓練されたコードブックを探索する。
その結果, 移動圏は弱復号化されているのに対し, 形状や手さはトークンの埋め込みから容易に除去可能であることがわかった。
- 参考スコア（独自算出の注目度）: 16.894904425188425
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Discrete motion tokenizers encode motion as atomic units and are widely used for co-speech gesture generation. It remains unclear which motion properties, especially those relevant to gesture semantics, are recoverable from these codebooks. We probe a reconstruction-trained codebook using 19 co-speech gesture descriptors spanning from raw motion to abstract communicative function. Results show that geometry and handedness are readily decodable from token embeddings, while motion category is only weakly decoded despite showing systematic differences in discrete code usage. This gap between reconstruction quality and descriptor decodability suggests that reconstruction objectives alone do not guarantee that gesture semantics are captured, and that evaluating codebooks on such properties can guide the design of more semantic motion tokenizers.
- Abstract（参考訳）: 離散的なモーショントークンーは、動きを原子単位としてエンコードし、共同音声ジェスチャー生成に広く使われている。
動作特性、特にジェスチャーのセマンティクスに関連するものは、これらのコードブックから回復可能であるかは不明である。
生の動作から抽象的なコミュニケーション機能にまたがる19の音声ジェスチャー記述子を用いて,再構築訓練されたコードブックを探索する。
その結果, 形状や手書き性はトークン埋め込みと容易に相違するが, 動作カテゴリは離散コード利用の体系的な違いがあるにもかかわらず, 弱復号化されている。
この再現品質と記述子宣言可能性のギャップは、再構築目的だけではジェスチャーのセマンティクスが捕捉されることを保証せず、そのような特性上のコードブックを評価することで、より意味のある動作トークンーザの設計を導くことができることを示唆している。
関連論文リスト
- SeMoCo: A Semantic-First Motion Codec for Motion Language Modeling [16.84657295044791]
本稿では、セマンティックファーストモーションであるSeMoCoと、言語条件のモーション生成のための2軸モーションジェネレータを紹介する。
また、SOMA表現の下で統合された大規模マルチソースヒューマンモーションデータセットである$-MotionVerseを構築した。
論文 参考訳（メタデータ） (2026-08-25T09:58:20Z) - Semantic Motion Anchors: Bridging Motion and Meaning in Co-Speech Gestures [58.6162288735234]
そこで本稿では, 意味的動作アンカー, ジェスチャー動作の自然言語的抽象化, 物理的形状, コミュニケーション意図を提案する。
本手法は,3次元ジェスチャーを身体動作プリミティブに識別し,言語的に構造化された記述に分類し,転写文にグルーピングする。
BEAT2では,テキスト・モーション・ベースライン上でテキスト・ツー・ジェスチャR@1を8.2%改善する。
論文 参考訳（メタデータ） (2026-05-28T22:01:11Z) - PersonaGest: Personalized Co-Speech Gesture Generation with Semantic-Guided Hierarchical Motion Representation [5.8539442830448785]
共同音声ジェスチャ生成は、現実的な身体の動きを音声と意味的に調和させることを目的としている。
既存のVQ-VAEベースの音声合成手法では,動作表現に意味構造をエンコードすることができない。
両制約に対処する2段階のフレームワークである PersonaGest を提示する。
論文 参考訳（メタデータ） (2026-05-08T05:20:03Z) - ImaGGen: Zero-Shot Generation of Co-Speech Semantic Gestures Grounded in Language and Image Input [0.0]
本稿では, 音声合成における中核的な課題として, 言語発話にセマンティックに一貫性のある, 象徴的, あるいは難解なジェスチャーを生成することを挙げる。
我々は、与えられた言語入力からジェスチャーを生成するゼロショットシステムを導入し、さらに手動のアノテーションや人間の介入なしに、想像的な入力によって通知される。
本結果は,表現的かつ協調的な仮想エージェントやアバターを作成する上で,文脈認識型セマンティックジェスチャの重要性を強調した。
論文 参考訳（メタデータ） (2025-10-20T15:01:56Z) - Retrieving Semantics from the Deep: an RAG Solution for Gesture Synthesis [55.45253486141108]
RAG-Gestureは、意味的に豊かなジェスチャーを生成するための拡散に基づくジェスチャー生成手法である。
我々は、明示的なドメイン知識を用いて、共同音声ジェスチャーのデータベースから動きを検索する。
提案手法では,各検索挿入が生成したシーケンスに対して与える影響量を調整可能なガイダンス制御パラダイムを提案する。
論文 参考訳（メタデータ） (2024-12-09T18:59:46Z) - Object Discovery from Motion-Guided Tokens [50.988525184497334]
自動エンコーダ表現学習フレームワークを、モーションガイダンスと中間レベルの特徴トークン化により強化する。
我々のアプローチは、解釈可能なオブジェクト固有の中間レベルの特徴の出現を可能にする。
論文 参考訳（メタデータ） (2023-03-27T19:14:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。