論文の概要: Listening with the Eyes: Benchmarking Egocentric Co-Speech Grounding across Space and Time

• arxiv url: http://arxiv.org/abs/2603.07966v1
• Date: Mon, 09 Mar 2026 05:08:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-10 15:13:15.497646
• Title: Listening with the Eyes: Benchmarking Egocentric Co-Speech Grounding across Space and Time
• Title（参考訳）: 目で聞く: 空間と時間にまたがるEgocentric Co-Speechグラウンドのベンチマーク
• Abstract要約: 我々は,高密度空間アノテーションとミリ秒レベルの脳卒中管理を備えたtextbf811エゴセントリッククリップの診断ベンチマークである textbfEcoG-Bench を提案する。 最先端MLLMのベンチマークでは、厳しい実行可能性のギャップが明らかになっている。 マルチモーダルインタフェースは、モデル推論とは独立して、時間的アライメントキューの可観測性をボトルネックにする可能性がある。
• 参考スコア（独自算出の注目度）: 36.493701506207806
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In situated collaboration, speakers often use intentionally underspecified deictic commands (e.g., ``pass me \textit{that}''), whose referent becomes identifiable only by aligning speech with a brief co-speech pointing \emph{stroke}. However, many embodied benchmarks admit language-only shortcuts, allowing MLLMs to perform well without learning the \emph{audio--visual alignment} required by deictic interaction. To bridge this gap, we introduce \textbf{Egocentric Co-Speech Grounding (EcoG)}, where grounding is executable only if an agent jointly predicts \textit{What}, \textit{Where}, and \textit{When}. To operationalize this, we present \textbf{EcoG-Bench}, an evaluation-only bilingual (EN/ZH) diagnostic benchmark of \textbf{811} egocentric clips with dense spatial annotations and millisecond-level stroke supervision. It is organized under a \textbf{Progressive Cognitive Evaluation} protocol. Benchmarking state-of-the-art MLLMs reveals a severe executability gap: while human subjects achieve near-ceiling performance on EcoG-Bench (\textbf{96.9\%} strict Eco-Accuracy), the best native video-audio setting remains low (Gemini-3-Pro: \textbf{17.0\%}). Moreover, in a diagnostic ablation, replacing the native video--audio interface with timestamped frame samples and externally verified ASR (with word-level timing) substantially improves the same model (\textbf{17.0\%}$\to$\textbf{42.9\%}). Overall, EcoG-Bench provides a strict, executable testbed for event-level speech--gesture binding, and suggests that multimodal interfaces may bottleneck the observability of temporal alignment cues, independently of model reasoning.
• Abstract（参考訳）: 位置付けられた共同作業において、話者は意図的に不特定なdeicticコマンド(例: ``pass me \textit{that}'')を使用する。 しかし、多くの具現化されたベンチマークでは言語のみのショートカットを認めており、MLLMはデリケートな相互作用によって要求される「emph{audio--visual alignment}」を学習することなく、うまく機能する。 このギャップを埋めるために、エージェントが共同で \textit{What} 、 \textit{Where} 、 \textit{When} を予測した場合にのみグラウンドが実行可能である \textbf{Egocentric Co-Speech Grounding (EcoG)} を導入する。 そこで我々は,高密度な空間アノテーションとミリ秒レベルの脳卒中管理を備えた,評価専用バイリンガル (EN/ZH) 診断ベンチマークである \textbf{EcoG-Bench} を提案する。 これは \textbf{Progressive Cognitive Evaluation} プロトコルで構成されている。 EcoG-Bench(\textbf{96.9\%} 厳密なEco-Accuracy)上で、人間の被験者がほぼシーリングのパフォーマンスを達成する一方で、最高のネイティブビデオオーディオ設定は依然として低い(Gemini-3-Pro: \textbf{17.0\%})。 さらに、診断アブレーションでは、ネイティブビデオオーディオインタフェースをタイムスタンプフレームのサンプルに置き換え、(単語レベルのタイミングで)外部で検証されたASRに置き換えることで、同じモデルが大幅に改善される(\textbf{17.0\%}$\to$\textbf{42.9\%})。 全体として、EcoG-Benchは、イベントレベルの音声-ジェスチャー結合のための厳密で実行可能なテストベッドを提供しており、モデル推論とは無関係に、時間的アライメントキューの観測可能性を妨げる可能性があることを示唆している。

関連論文リスト

• TimeSteer: Inference-Time Speech Scheduling in Joint Audio-Visual Diffusion Models [49.44322041671119]
  インセンジェンス時音声スケジューリングは、ユーザが指定した始終区間内に、合成された音声と視覚的調音を配置する新しいタスクである。 我々は、各発話のソーススパンをローカライズするトレーニング不要のフレームワークである textbfTimeSteer を提案する。 TimeSteerは、競争力のある全体的な生成品質を維持しながら、トレーニング不要のベースラインに対するインターバル制御性を著しく改善する。
  論文  参考訳（メタデータ） (2026-09-01T14:12:57Z)
• Is Text All You Need? Text as a Universal Information Bottleneck for Speech LLMs [33.559566576032964]
  本稿では,LLMの入力埋め込み多様体内に存在する全ての音声表現を制約する言語間LLMブリッジであるConvex Gateを提案する。 C-Gateは、自動音声認識と感情認識にまたがって、強い関節演奏を実現する。 結果として,トークンの離散性よりも幾何が音声からLLMインターフェースの基本設計要素であることが示唆された。
  論文  参考訳（メタデータ） (2026-06-08T11:38:40Z)
• Hierarchical Semantic-Constrained Heterogeneous Graph for Audio-Visual Event Localization [69.67186845167568]
  Open-vocabulary Audio-visual Event Localization (OV-AVEL) は、音声と視覚のキューを共同でモデル化し、イベントを認識および時間的にローカライズする。 既存の手法は主にユークリッド空間における共同視覚表現を学習する。 音声・視覚イベントの局所化のための階層的セマンティック制約ヘテロジニアスグラフ(HSCHG)を提案する。
  論文  参考訳（メタデータ） (2026-06-05T08:23:58Z)
• Towards Human-Like Interactive Speech Recognition With Agentic Correction and Semantic Evaluation [53.844308305341166]
  単一パスのASRフロントエンドと意味的訂正,意図のルーティング,推論に基づく編集を組み合わせた閉ループフレームワークである textbfAgentic ASR を提案する。 複数言語、名前付き集中型、コードスイッチングベンチマークの実験は、反復的相互作用が意味的誤りを一貫して減少させることを示している。
  論文  参考訳（メタデータ） (2026-05-28T06:23:31Z)
• PersonaGesture: Single-Reference Co-Speech Gesture Personalization for Unseen Speakers [13.355084498116193]
  PersonaGesture(ペルソナゲスチャ)は、未確認話者の単一参照音声ジェスチャーパーソナライズのためのパイプラインである。 Adaptive Style Infusion (ASI) と Implicit Distribution Rectification Rectification (IDR) の2つの重要なコンポーネントは、時間的同一性証拠を残留統計学的補正から分離している。 実験により,デノナイジング時の話者記憶を保守的なモーメント修正から切り離すことで,崩壊したスタイルコードよりも不明瞭な話者のパーソナライゼーションが向上することが示された。
  論文  参考訳（メタデータ） (2026-05-07T11:48:39Z)
• Temporal Contrastive Decoding: A Training-Free Method for Large Audio-Language Models [56.91801348360746]
  大規模な音声言語モデル(LALM)は、音声、音声、音楽にまたがって一般化される。 統一デコーダは 時空間のスムーズなバイアスを示します LALMの学習自由復号法であるemphTemporal Contrastive Decoding (TCD)を提案する。
  論文  参考訳（メタデータ） (2026-04-16T02:30:41Z)
• Anatomy of the Modality Gap: Dissecting the Internal States of End-to-End Speech LLMs [15.914430317382077]
  音声とテキストの表現が階層的にどのように進化するかを分析する。 音声表現は、冗長な音声の性質に起因して、広い層間アライメントバンドを示す。
  論文  参考訳（メタデータ） (2026-03-02T06:21:43Z)
• Token Reduction via Local and Global Contexts Optimization for Efficient Video Large Language Models [61.11154533305096]
  ビデオ大言語モデル(VLLM)は、強力なビデオ理解を示すが、冗長な視覚トークンによる非効率性に悩まされる。 フレーム内およびフレーム間コンテキスト内でトークン textbfAnchors を詳述する新しい視点を提案する。 提案するAOTは,先行するビデオLLMのショート・ビデオベンチマークとロング・ビデオベンチマークの競合性能を比較検討する。
  論文  参考訳（メタデータ） (2026-03-02T03:06:40Z)
• TagSpeech: End-to-End Multi-Speaker ASR and Diarization with Fine-Grained Temporal Grounding [15.908533215017059]
  本稿では,テンポラルアンカーグラウンドを用いた統合フレームワークTagSpeechについて述べる。 本フレームワークは,(1)SOT(Serialized Output Training)を用いて微調整されたセマンティックストリームと話者ストリームを分離してターンテイクダイナミクスを学習し,(2)セマンティック理解と話者追跡の同期信号として機能するインターリーブ時間アンカー機構である。
  論文  参考訳（メタデータ） (2026-01-11T12:40:07Z)
• Paragraph Segmentation Revisited: Towards a Standard Task for Structuring Speech [61.00008468914252]
  本稿では,音声処理とテキストセグメンテーションの交点における3つのギャップを埋める,欠落した構造化ステップとして,段落セグメンテーションを再考する。 ベンチマークは、伝統的に段落のセグメンテーションが後処理の一部ではない未調査の音声領域に焦点を当てている。 第二に、制約付き復号法を提案し、大言語モデルが原文を保存しながら段落を挿入できるようにする。 第三に、コンパクトモデル(MiniSeg)が最先端の精度を実現し、階層的に拡張されると、最小計算コストで章や段落を共同で予測できることが示される。
  論文  参考訳（メタデータ） (2025-12-30T23:29:51Z)
• VocSim: A Training-free Benchmark for Zero-shot Content Identity in Single-source Audio [1.0791267046450075]
  VocSimは、凍結埋め込みの固有の幾何学的アライメントを探索するトレーニング不要のベンチマークである。 VocSimは、人間のスピーチ、動物の発声、環境音にまたがる19のコーパスから125万のソースクリップを集約する。
  論文  参考訳（メタデータ） (2025-12-10T22:13:12Z)
• Stepwise Decomposition and Dual-stream Focus: A Novel Approach for Training-free Camouflaged Object Segmentation [9.862714096455175]
  我々は、textbfMultimodal textbfStepwise textbfDecomposition Chain of Thought (MSD-CoT) を介して textbfRegion-constrained textbfDual-stream textbfVisual textbfPrompting (RDVP) を相乗化する新しいトレーニングフリーなテスト時間適応フレームワークを提案する。 RDVPは、前景と背景点の視覚的プロンプトを視覚的および独立的にサンプリングする空間的制約を注入し、意味的相違を効果的に緩和する
  論文  参考訳（メタデータ） (2025-06-07T14:50:26Z)
• Talking to DINO: Bridging Self-Supervised Vision Backbones with Language for Open-Vocabulary Segmentation [56.001484215308075]
  本稿では,DINOv2の空間的精度とCLIPの言語理解を組み合わせた,新しいハイブリッドアプローチであるTalk2DINOを提案する。 本研究では,Talk2DINOの強力なセマンティック・ローカライゼーション能力によってセグメンテーションのプロセスが強化されることを示す。 実験の結果、Talk2DINOは教師なしのOVSベンチマークで最先端のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2024-11-28T19:00:03Z)
• Semantic Lens: Instance-Centric Semantic Alignment for Video Super-Resolution [36.48329560039897]
  フレーム間アライメントはビデオ超解像(VSR)の重要な手がかりである 本稿では,セマンティックレンズ(Semantic Lens)という,VSRのための新しいパラダイムを提案する。 ビデオはセマンティックエクストラクタを介してインスタンス、イベント、シーンとしてモデル化される。
  論文  参考訳（メタデータ） (2023-12-13T01:16:50Z)
• Advancing Visual Grounding with Scene Knowledge: Benchmark and Method [74.72663425217522]
  ビジュアルグラウンドディング(VG)は、視覚と言語の間にきめ細かいアライメントを確立することを目的としている。 既存のVGデータセットの多くは、単純な記述テキストを使って構築されている。 我々は、アンダーラインScene underline-guided underlineVisual underlineGroundingの新たなベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-07-21T13:06:02Z)
• Context-aware Fine-tuning of Self-supervised Speech Models [56.95389222319555]
  微調整におけるコンテキスト,すなわち周辺セグメントの使用について検討する。 我々はコンテキスト認識ファインチューニングと呼ばれる新しいアプローチを提案する。 いくつかの下流タスクに対して,SLUE と Libri-light ベンチマークを用いて提案手法の評価を行った。
  論文  参考訳（メタデータ） (2022-12-16T15:46:15Z)
• Smart Speech Segmentation using Acousto-Linguistic Features with look-ahead [3.579111205766969]
  本稿では,音響情報と言語情報を併用してセグメンテーションを改善するハイブリッド手法を提案する。 平均して、私たちのモデルはセグメンテーション-F0.5スコアをベースラインで9.8%改善します。 機械翻訳の下流タスクでは、BLEUスコアを平均1.05ポイント改善する。
  論文  参考訳（メタデータ） (2022-10-26T03:36:31Z)
• Continuous speech separation: dataset and analysis [52.10378896407332]
  自然な会話では、音声信号は連続的であり、重複成分と重複成分の両方を含む。 本稿では,連続音声分離アルゴリズムを評価するためのデータセットとプロトコルについて述べる。
  論文  参考訳（メタデータ） (2020-01-30T18:01:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。