論文の概要: Omni-InteractScope: Benchmarking Proactive and Agentic Interaction in Continuous Omnimodal Streams
- arxiv url: http://arxiv.org/abs/2610.35439v1
- Date: Mon, 26 Oct 2026 13:39:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:14.014795
- Title: Omni-InteractScope: Benchmarking Proactive and Agentic Interaction in Continuous Omnimodal Streams
- Title（参考訳）: Omni-InteractScope:連続Omnimodal Streamにおけるプロアクティブおよびエージェントインタラクションのベンチマーク
- Abstract要約: 我々は8つのタスクグループにまたがる1,790の時間的ターゲットと1,479人の注釈付き相互参照インタラクションのベンチマークを導入する。
入力モダリティ、イベントトリガ、介入タイプ、ユーザニーズをリンクし、通知、警告、状態トラッキング、継続的なレスポンスとともにイベントタイムのツール呼び出しとクエリフリーのアシストをカバーしている。
提案したベンチマーク実験の結果,現在のOmni-LLMの3つの限界が明らかになった。
- 参考スコア（独自算出の注目度）: 37.58750533706287
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Omnimodal large language models (Omni-LLMs) are increasingly expected to assist users while observing continuous audiovisual streams. However, existing evaluations provide limited insight into how reliably these models connect stream evidence and user needs to timely, sustained interventions. We introduce \textbf{Omni-InteractScope}, a benchmark of 1,479 human-annotated, cross-reviewed interactions with 1,790 temporal targets across eight task groups. It links input modalities, event triggers, intervention types, and user needs, covering event-timed tool invocation and query-free assistance alongside notifications, warnings, state tracking, and continuous responses. Our experimental results on the proposed benchmark reveal three critical limitations of current Omni-LLMs: (1) \textbf{Timely tool invocation remains unreliable}: all 12 evaluated models produce an on-time first response for at most 40\% of tool-invocation targets, and joint timing-and-tool accuracy reaches at most 32.0\%. (2) \textbf{Query-free reminders remain poorly covered}: all evaluated models achieve lower timely reference-target recall on query-free reminders than on explicit questions, measured on their respective target sets. Reminder recall never exceeds 23.0\%. (3) \textbf{End-to-end guidance coverage remains limited}: nine models cover none of the 26 guidance sequences in full, and the remaining three cover only one to three sequences each. Targeted controls further show that tool-invocation scores alone do not establish event grounding and that reminder coverage depends on response history and frequency. These findings motivate developing and evaluating streaming assistants for timely action, initiative under general user needs, and coverage of entire response sequences.
- Abstract（参考訳）: オムニモーダルな大言語モデル(Omni-LLMs)は、連続したオーディオヴィジュアルストリームを観察しながらユーザを支援することがますます期待されている。
しかし、既存の評価では、これらのモデルがストリームエビデンスとユーザがタイムリーで持続的な介入をいかに確実に結び付けるかについての洞察が限られている。
我々は,8つのタスクグループにまたがる1,790の時間的ターゲットと1,479人の注釈付き相互参照インタラクションのベンチマークである‘textbf{Omni-InteractScope} を紹介する。
入力モダリティ、イベントトリガ、介入タイプ、ユーザニーズをリンクし、通知、警告、状態トラッキング、継続的なレスポンスとともにイベントタイムのツール呼び出しとクエリフリーのアシストをカバーしている。
1) \textbf{Timely tool invocation must unreliable}: すべての評価されたモデルが、少なくとも40%のツール呼び出し目標に対して、オンタイムのファーストレスポンスを生成し、ジョイントタイミングとツールの精度は、少なくとも32.0\%に達する。
評価されたモデルはすべて、それぞれのターゲットセットで測定された明示的な質問よりも、クエリフリーリマインダでより少ないタイムリーな参照ターゲットリマインダを実現します。
リマインダーリコールは23.0\%を超えない。
(3) textbf{End-to-end ガイダンスのカバレッジは制限されている: 9つのモデルは全26のガイダンスのシーケンスをカバーし、残りの3つはそれぞれ1つから3つしかカバーしていない。
ターゲティングコントロールは、ツール呼び出しスコアだけでイベントグラウンドを確立しておらず、リマインダーカバレッジがレスポンス履歴と頻度に依存することを示している。
これらの知見は,ストリーミングアシスタントの開発と評価をタイムリーな動作,一般ユーザのニーズ下でのイニシアチブ,および全応答シーケンスのカバレッジに動機付けている。
関連論文リスト
- RVG-Bench: A Benchmark for Reasoning-Driven Audio-Visual Temporal Grounding [53.49326569528548]
RVGベンチ(RVG-Bench)は、推論駆動型音声視覚時間的グラウンドのベンチマークである。
すべてのクエリは、クエリの根底にある意図を推論することで、ターゲットセグメントを識別できるように構成されている。
RVG-Benchは、1,255のビデオと、8つの推論タイプにまたがる1,890のクエリインターバルペアで構成されている。
論文 参考訳（メタデータ） (2026-10-23T07:25:26Z) - RoboChrono: A Real Robot Benchmark for Streaming Task Understanding [33.92530084538482]
RoboChronoは、実際のロボットの実行と人間の記録から構築されたストリーミングタスク理解のためのベンチマークである。
このベンチマークは、認識、アライメント、時間的接地、行動理解と予測、視覚的対応、時間的順序付け、行動ローカライゼーションを含む7つのタスクを評価する。
論文 参考訳（メタデータ） (2026-09-29T03:21:32Z) - OmniAssistBench: Assistant-style Interaction Benchmark for Omni-LLMs [25.570460595046058]
最近のOmni-LLM(Omni-LLMs)はリアルタイムビデオアシスタントとして大きな可能性を秘めている。
従来の受動的ビデオ理解とは異なり、対話型アシスタントは視覚状態、ユーザ目標、事前知識を積極的に組み合わせて効果的な支援を行う必要がある。
論文 参考訳（メタデータ） (2026-08-21T17:59:52Z) - OmniPro: A Comprehensive Benchmark for Omni-Proactive Streaming Video Understanding [17.161087166882744]
オムニプロ(OmniPro)は、オムニモーダル知覚、プロアクティブ応答、多様なビデオ理解タスクを共同で評価する最初のベンチマークである。
9つのサブタスクと3つの認知レベルにまたがる2,700人の人間認証サンプルで構成されており、6つの基本的なビデオ理解機能を含んでいる。
特に、サンプルの84%は音声信号(音声または非音声)を必要とし、各サンプルは、微細なマルチモーダル解析を可能にするために、モダリティ・アイソレーションラベルで注釈付けされている。
論文 参考訳（メタデータ） (2026-05-18T15:55:22Z) - MINTEval: Evaluating Memory under Multi-Target Interference in Long-Horizon Agent Systems [69.06764269022925]
本研究では,現在の記憶増強剤が現実的,干渉重大,長期的設定において果たす役割について検討する。
MINTEvalは、頻繁に更新される情報を備えた、長く高度に相互接続されたコンテキストを特徴とするベンチマークである。
MINTEvalは128.8kのトークンを平均で1インスタンスあたり1.8Mのトークンに拡張し、15.6kの質問応答ペアを持つ。
論文 参考訳（メタデータ） (2026-05-18T15:43:35Z) - TAME: Test-Time Adversarial Prompt Tuning via Mixture-of-Experts for Vision-Language Models [76.92890872338235]
大規模事前学習型ビジョンランゲージモデル(VLM)は、強いゼロショット一般化を示すが、知覚不能な逆方向の摂動に対して非常に脆弱である。
ダウンストリームタスク固有のリトレーニングを必要とせずに堅牢性を高めるため,新しいテストタイムディフェンスであるTAMEを提案する。
論文 参考訳（メタデータ） (2026-05-17T18:07:08Z) - Omni-DuplexEval: Evaluating Real-time Duplex Omni-modal Interaction [18.498258537382416]
実世界のシナリオで動作するマルチモーダルAIシステムには、リアルタイムデュプレックスインタラクションが不可欠である。
Omni-DuplexEvalは,実時間二重相互作用を体系的に評価するためのベンチマークである。
論文 参考訳（メタデータ） (2026-05-17T09:57:01Z) - ProactBench: Beyond What The User Asked For [5.422521416406412]
ProactBenchは、textscEmergent、単一の公開アンカーからの推論、textscCritical、複数のアンカー間での合成、textscRecovery、タスク完了後の前方にある値の3つのフェーズ型に分解する。
我々の情報アシンメトリーは、スタイル強調スコア、漏洩、外部コンテキスト汚染、情報ダンプに対して防御します。
論文 参考訳（メタデータ） (2026-05-09T23:56:04Z) - OmniRet: Efficient and High-Fidelity Omni Modality Retrieval [51.80205678389465]
OmniRetは,テキスト,視覚,音声の3つの重要なモダリティにまたがる複雑なクエリを処理可能な,最初の検索モデルである。
提案モデルでは,コンポジションクエリ,音声,ビデオ検索のタスクにおいて,最先端のモデルを用いたオンパーパフォーマンスを実現しつつ,大幅な改善を実現している。
論文 参考訳（メタデータ） (2026-03-02T17:19:55Z) - Memory-T1: Reinforcement Learning for Temporal Reasoning in Multi-session Agents [80.33280979339123]
強化学習(RL)を用いた時間認識メモリ選択ポリシーを学習するフレームワークであるMemory-T1を紹介する。
Time-Dialogベンチマークでは、Memory-T1が7Bモデルを67.0%に引き上げ、オープンソースモデルの新たな最先端パフォーマンスを確立した。
論文 参考訳（メタデータ） (2025-12-23T06:37:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。