論文の概要: Omni Demand Understanding: A Benchmark for Contextual User-Intent Inference in Multimodal Interaction

• arxiv url: http://arxiv.org/abs/2609.21392v1
• Date: Fri, 18 Sep 2026 07:01:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:16.889884
• Title: Omni Demand Understanding: A Benchmark for Contextual User-Intent Inference in Multimodal Interaction
• Title（参考訳）: Omni Demand Understanding:マルチモーダルインタラクションにおけるコンテキストユーザインテント推論のためのベンチマーク
• Abstract要約: 我々は、Omni Demand Understandingを、異なるマルチモーダルコンテキスト推論問題として確立する。 我々は,課題駆動型分類,分類誘導型エージェントビデオ生成,人間記録インタラクションを用いてODU-Benchを構築した。 最強のGemini 3.1 Proでさえ、視覚的、音響的、会話的コンテキストから推測しなければならない重要な情報の44.7%しか回復していない。
• 参考スコア（独自算出の注目度）: 39.18766045756251
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural audio-visual interaction is emerging as an important interface for AI assistants, allowing users to communicate through speech and vision rather than carefully composed text prompts. However, existing benchmarks of interactive capabilities still focus primarily on response quality, leaving a more fundamental question underexplored: can a model correctly infer the user's underlying demand from complex multimodal interaction? Real-world user demands are often underspecified in speech and must be inferred from multimodal cues and dialogue history. This inference is further complicated by ambiguous or disfluent expression and noisy acoustic environments. Conversely, request-like speech may not constitute a demand to the assistant, leading to false triggers. We establish Omni Demand Understanding (ODU) as a distinct multimodal contextual inference problem: given an interaction stream, a model must detect whether a user demand is present and infer intent from multimodal and conversational context. ODU evaluates this capability along five dimensions, covering both single-turn and multi-turn interactions. We construct ODU-Bench using a challenge-driven taxonomy, taxonomy-guided agentic video generation, and human-recorded interactions, followed by media-grounded annotation and human verification. We evaluate 14 native MLLMs. Even the strongest, Gemini 3.1 Pro, recovers only 44.7% of key information that must be inferred from visual, acoustic, or conversational context. Moreover, 11 of the 14 models exhibit false-trigger rates above 50% on non-demand scenarios. These results reveal a systematic capability gap in current MLLMs' ability to infer contextual user demands. We hope ODU can establish the evaluation of a previously underexplored yet essential capability in multimodal interaction: correctly understanding user demands before generating an appropriate response.
• Abstract（参考訳）: 自然な音声と視覚のインタラクションは、AIアシスタントにとって重要なインターフェースとして現れており、ユーザーは注意深く合成されたテキストプロンプトではなく、音声と視覚を通してコミュニケーションすることができる。 しかし、既存のインタラクティブ機能ベンチマークは依然として応答品質に重点を置いており、より根本的な疑問は、モデルが複雑なマルチモーダルインタラクションからユーザの根底にある要求を正しく推測できるのか? 現実のユーザ要求は、しばしば音声で過小評価され、マルチモーダルキューや対話履歴から推測されなければならない。 この推論は、あいまいな表現や不自由な音響環境によってさらに複雑である。 逆に、リクエストライクなスピーチはアシスタントへの要求を構成しておらず、誤ったトリガーにつながる可能性がある。 我々は,Omni Demand Understanding (ODU) を,異なるマルチモーダルコンテキスト推論問題として確立する: インタラクションストリームが与えられた場合,モデルがユーザの要求が存在するかどうかを検知し,マルチモーダルコンテキストと会話コンテキストから意図を推論する必要がある。 ODUはこの機能を5次元で評価し、シングルターンとマルチターンの両方の相互作用をカバーしている。 我々は,ODU-Benchを,課題駆動型分類法,分類誘導型エージェントビデオ生成,人間記録インタラクションを用いて構築し,次いでメディアグラウンドドアノテーションと人間による検証を行った。 14個のネイティブMLLMを評価した。 最強のGemini 3.1 Proでさえ、視覚的、音響的、会話的コンテキストから推測しなければならない重要な情報の44.7%しか回復していない。 さらに、14モデルのうち11モデルが、オンデマンドシナリオで50%以上の偽トリガーレートを示している。 これらの結果から,現在のMLLMにおけるコンテキストユーザの要求を推測する能力の体系的なギャップが明らかとなった。 我々は、ODUがマルチモーダルインタラクションにおいて、未発見ながら不可欠な機能、すなわち適切な応答を生成する前に、ユーザの要求を正しく理解する能力の評価を確立できることを願っている。

関連論文リスト

• MP-Bench: Evaluating Voice Agents as a Multiparty Conversation Participant [138.90198190949545]
  MP-Benchは,対話型音声システムに対して,マルチパーティ・コンテクスト内でのアクティブな参加者としての評価を目的とした,最初のベンチマークである。 MP-Benchは、ターンテイキングの認識と応答の適切性という2つの主要な側面に沿ってエージェントの振る舞いを評価する。 リアルタイム音声エージェントは、マルチパーティの理解において22%以下にとどまり、マルチパーティのターンテイクにおいてほぼチャンスであることがわかった。
  論文  参考訳（メタデータ） (2026-09-11T17:11:55Z)
• Multimodal Duplex Interaction Agent [48.78411737142625]
  Ganderは、ストリーミングユーザの入力を処理するインタラクションモデルであり、日々の会話と複雑なシナリオの両方で完全なインタラクションを可能にする。 我々は,対話能力,対話能力,理解能力,タスク実行支援ツールなどにわたって,Ganderを評価した。 Ganderは、バックグラウンドノイズ干渉、マルチパーティインタラクション、バックチャネル通信など、さまざまな困難なインタラクション設定をサポートしている。
  論文  参考訳（メタデータ） (2026-09-08T16:22:23Z)
• FLEXI: Benchmarking Full-duplex Human-LLM Speech Interaction [49.83226596963294]
  音声とコンピュータの対話によりリアルタイム音声対話システムを実現する。 これらのモデルのモデリングとベンチマークは、依然として根本的な課題である。 フルヒューマン音声対話のための最初のベンチマークであるFLEXIを紹介する。
  論文  参考訳（メタデータ） (2025-09-26T11:57:42Z)
• MultiVox: A Benchmark for Evaluating Voice Assistants for Multimodal Interactions [70.93364531054273]
  音声と視覚を融合させる音声アシスタントの能力を評価する最初のベンチマークであるMultiVoxを紹介する。 具体的には、MultiVoxには、多種多様なパラ言語的特徴を包含する1000の人間の注釈付き音声対話が含まれている。 10の最先端モデルに対する我々の評価は、人間はこれらのタスクに長けているが、現在のモデルは、常に文脈的に接地された応答を生成するのに苦労していることを示している。
  論文  参考訳（メタデータ） (2025-07-14T23:20:42Z)
• Grounding Task Assistance with Multimodal Cues from a Single Demonstration [17.975173937253494]
  MICA(Multimodal Interactive Contextualized Assistance)は、視線と音声の手がかりを統合することで、タスク支援のための会話エージェントを改善するフレームワークである。 リアルタイムチャット支援タスク複製から得られる質問に対する評価は,複数モーダルキューがフレームベース検索よりも応答品質を著しく向上することを示している。
  論文  参考訳（メタデータ） (2025-05-02T20:43:11Z)
• REALTALK: A 21-Day Real-World Dataset for Long-Term Conversation [51.97224538045096]
  本稿では、21日間のメッセージアプリ対話のコーパスであるREALTALKを紹介する。 EI属性とペルソナの整合性を比較し,現実世界の対話による課題を理解する。 その結果,モデルでは対話履歴のみからユーザをシミュレートすることが困難であり,特定のユーザチャットの微調整はペルソナのエミュレーションを改善することがわかった。
  論文  参考訳（メタデータ） (2025-02-18T20:29:01Z)
• VAGUE: Visual Contexts Clarify Ambiguous Expressions [26.190504250419547]
  VAGUEは、意図の視覚的コンテキストを統合するマルチモーダルAIシステムの能力を評価するベンチマークである。 我々の実験によると、既存のマルチモーダルAIモデルは話者の真の意図を推測するのに苦労している。 失敗事例の分析は、現在のモデルが視覚的なシーンにおける表面的相関と真の意図を区別できないことを示す。
  論文  参考訳（メタデータ） (2024-11-21T14:01:42Z)
• Conversation Understanding using Relational Temporal Graph Neural Networks with Auxiliary Cross-Modality Interaction [2.1261712640167856]
  感情認識は人間の会話理解にとって重要な課題である。 我々は,CORECT(Cross-Modality Interaction)を用いた入力時間グラフニューラルネットワークを提案する。 CORECTは会話レベルの対話と発話レベルの時間的依存関係を効果的にキャプチャする。
  論文  参考訳（メタデータ） (2023-11-08T07:46:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。