論文の概要: Recognizing Co-Speech Gestures in-the-Wild

• arxiv url: http://arxiv.org/abs/2605.31589v1
• Date: Fri, 29 May 2026 17:55:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.781994
• Title: Recognizing Co-Speech Gestures in-the-Wild
• Title（参考訳）: 複合音声ジェスチャの認識
• Abstract要約: GRW(Gesture Recognition in the Wild)データセットは156,688本のビデオクリップを手動でアノテートする。 GRWは、物理的行動、空間記述子、抽象概念の非常に多様な150ワードの分類である。 我々はGRWを利用してビデオモデルを訓練し、ジェスチャーを意味的か否かを分類し、(b)共同音声のジェスチャーに対応する単語を認識し、(c)ジェスチャーを時間的に局所化する。
• 参考スコア（独自算出の注目度）: 52.804383193630166
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While humans naturally gesture during speech, only a sparse subset of these movements are visually depictive and semantically linked to specific spoken words. Current multimodal models struggle to capture these semantic co-speech gestures, heavily bottlenecked by a lack of precisely annotated training data. To address this, we introduce the Gesture Recognition in the Wild (GRW) dataset, the first large-scale benchmark designed to map unconstrained human gestures to specific words with frame-accurate temporal boundaries. Comprising 156,688 manually annotated video clips, GRW spans a highly diverse 150-word taxonomy of physical actions, spatial descriptors, and abstract concepts. We leverage GRW to train video models to (a) classify gestures as semantic or not, (b) recognize the word corresponding to a co-speech gesture, and (c) temporally localize the gesture. We also use GRW to establish benchmarks for these three tasks.
• Abstract（参考訳）: 人間は音声中に自然にジェスチャーをするが、これらの動きのわずかな部分だけが視覚的に描写され、特定の音声語に意味的に結びついている。 現在のマルチモーダルモデルは、正確に注釈付けされたトレーニングデータがないために、これらのセマンティックなコ音声のジェスチャーを捉えるのに苦労している。 これを解決するために、我々は、制約のない人間のジェスチャーをフレーム精度の時間境界を持つ特定の単語にマッピングするように設計された最初の大規模ベンチマークである、GRWデータセット(Gesture Recognition in the Wild)を導入する。 156,688の注釈付きビデオクリップを手動で作成し、GRWは非常に多様な150ワードの物理行動、空間記述子、抽象概念を分類する。 私たちはGRWを利用してビデオモデルをトレーニングします。 (a)ジェスチャーを意味的か否かで分類する b) 共同音声のジェスチャーに対応する単語を認識し、 c) ジェスチャーを時間的にローカライズする。 また、GRWを使ってこれらの3つのタスクのベンチマークを作成します。

関連論文リスト

• Semantic Motion Anchors: Bridging Motion and Meaning in Co-Speech Gestures [58.6162288735234]
  そこで本稿では, 意味的動作アンカー, ジェスチャー動作の自然言語的抽象化, 物理的形状, コミュニケーション意図を提案する。 本手法は,3次元ジェスチャーを身体動作プリミティブに識別し,言語的に構造化された記述に分類し,転写文にグルーピングする。 BEAT2では,テキスト・モーション・ベースライン上でテキスト・ツー・ジェスチャR@1を8.2%改善する。
  論文  参考訳（メタデータ） (2026-05-28T22:01:11Z)
• MIBURI: Towards Expressive Interactive Gesture Synthesis [62.45332399212876]
  Embodied Conversational Agents (ECA) は、音声、ジェスチャー、表情を通じて人間の対面相互作用をエミュレートすることを目的としている。 既存のECAの解は、人間のような相互作用には適さない剛性で低多様性の運動を生み出す。 MIBURIは,リアルタイム音声対話と同期した表現力のあるフルボディジェスチャーと表情を生成するための,最初のオンライン因果的フレームワークである。
  論文  参考訳（メタデータ） (2026-03-03T18:59:51Z)
• Modeling Turn-Taking with Semantically Informed Gestures [56.31369237947851]
  マルチパーティDnD Gesture corpusの拡張であるDnD Gesture++に2,663のセマンティックジェスチャアノテーションを付加した。 テキスト,音声,ジェスチャーを統合したMixture-of-Expertsフレームワークを用いてターンテイク予測をモデル化する。 実験により、意味的にガイドされたジェスチャーを組み込むことで、ベースラインよりも一貫したパフォーマンス向上が得られることが示された。
  論文  参考訳（メタデータ） (2025-10-22T08:17:54Z)
• Understanding Co-speech Gestures in-the-wild [52.5993021523165]
  野生における音声ジェスチャー理解のための新しいフレームワークを提案する。 本稿では,ジェスチャと音声の関連性を理解するためのモデルの能力を評価するために,3つの新しいタスクとベンチマークを提案する。 本稿では,これらの課題を解決するために,3モーダルなビデオ・ジェスチャー・テキスト表現を学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-03-28T17:55:52Z)
• Retrieving Semantics from the Deep: an RAG Solution for Gesture Synthesis [55.45253486141108]
  RAG-Gestureは、意味的に豊かなジェスチャーを生成するための拡散に基づくジェスチャー生成手法である。 我々は、明示的なドメイン知識を用いて、共同音声ジェスチャーのデータベースから動きを検索する。 提案手法では,各検索挿入が生成したシーケンスに対して与える影響量を調整可能なガイダンス制御パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-12-09T18:59:46Z)
• LivelySpeaker: Towards Semantic-Aware Co-Speech Gesture Generation [41.42316077949012]
  セマンティクスを意識した音声ジェスチャー生成を実現するフレームワークであるLivelySpeakerを紹介する。 本手法では,タスクをスクリプトベースのジェスチャー生成とオーディオガイドによるリズム改善の2段階に分割する。 新たな2段階生成フレームワークでは,妊娠スタイルの変更など,いくつかの応用が可能となった。
  論文  参考訳（メタデータ） (2023-09-17T15:06:11Z)
• QPGesture: Quantization-Based and Phase-Guided Motion Matching for Natural Speech-Driven Gesture Generation [8.604430209445695]
  音声によるジェスチャー生成は、人間の動きのランダムなジッタのため、非常に困難である。 本稿では,新しい量子化に基づく位相誘導型モーションマッチングフレームワークを提案する。 本手法は,音声によるジェスチャー生成における近年の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:31:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。