論文の概要: IPIBench: Evaluating Interactive Proactive Intelligence of MLLMs under Continuous Streams

• arxiv url: http://arxiv.org/abs/2605.27074v1
• Date: Tue, 26 May 2026 14:23:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-27 17:51:42.219424
• Title: IPIBench: Evaluating Interactive Proactive Intelligence of MLLMs under Continuous Streams
• Title（参考訳）: IPIBench: 継続的ストリーム下でのMLLMのインタラクティブなプロアクティブインテリジェンスの評価
• Authors: Jinzhao Li, Yinuo Chen, Wenxuan Song, Yijia Lei, Yichi Zhang, Honglei Yan, Panwang Pan, Miao Liu,
• Abstract要約: マルチモーダル大言語モデル(MLLM)は、リアクティブな質問応答において強力なパフォーマンスを達成するが、現実のストリーミングアシスタントは、連続した視覚的入力よりも積極的な推論を必要とする。 IPIBenchは、ストリーミングビデオ設定下でMLLMのインタラクティブインテリジェンスを評価するための最初のベンチマークである。 IPI-Agentは,対話制御ポリシを備えた学習自由エージェントフレームワークであり,プロアクティブトリガの安定化とマルチターンインタラクションのコーディネートを行うための時間ゲーティング機構である。
• 参考スコア（独自算出の注目度）: 13.326802573561748
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent multimodal large language models (MLLMs) achieve strong performance on reactive question answering, but real-world streaming assistants require proactive reasoning over continuous visual inputs. Existing benchmarks mainly study reactive or proactive interactions in isolated single-turn settings, overlooking dynamic multi-turn scenarios where users may add, modify, or cancel proactive requests alongside interleaved reactive queries. To address this gap, we introduce IPIBench, the first benchmark for evaluating Interactive Proactive Intelligence of MLLMs under streaming video settings. IPIBench covers proactive monitoring, proactive task management, and interleaved reactive-proactive requests. Evaluations on representative MLLMs reveal two major limitations: unstable proactive triggering and weak coordination between reactive and proactive behaviors. We further propose IPI-Agent, a training-free agentic framework with an interaction-control policy and a temporal-gating mechanism for stabilizing proactive triggering and coordinating multi-turn interactions. Experiments show that IPI-Agent consistently improves existing MLLMs across all benchmark settings.
• Abstract（参考訳）: 近年のマルチモーダル大言語モデル (MLLM) は, リアクティブな質問応答において高い性能を発揮するが, 実世界のストリーミングアシスタントでは, 連続的な視覚的入力よりも積極的に推論する必要がある。 既存のベンチマークでは、分離されたシングルターン設定で、ユーザがインターリーブされたリアクティブクエリとともにプロアクティブリクエストを追加、修正、キャンセルできる動的マルチターンシナリオを見渡すことで、リアクティブまたはプロアクティブなインタラクションを主に研究している。 このギャップに対処するために、ストリーミングビデオ設定下でMLLMのインタラクティブ・プロアクティブ・インテリジェンスを評価するための最初のベンチマークであるIPIBenchを紹介する。 IPIBenchは、プロアクティブモニタリング、プロアクティブタスク管理、リアクティブプロアクティブリクエストのインターリーブをカバーしている。 代表的なMLLMの評価では、不安定なプロアクティブトリガーと、反応性とプロアクティブな動作の弱い調整の2つの大きな限界が示されている。 IPI-Agentは,対話制御ポリシを備えた学習自由エージェントフレームワークであり,プロアクティブトリガの安定化とマルチターンインタラクションのコーディネートを行うための時間ゲーティング機構である。 実験によると、IPI-Agentはすべてのベンチマーク設定で既存のMLLMを一貫して改善している。

関連論文リスト

• OLIVIA: Online Learning via Inference-time Action Adaptation for Decision Making in LLM ReAct Agents [74.20327254615854]
  大規模言語モデルエージェントは、シーケンシャルな意思決定タスクを解決するために、推論、行動選択、観察をインターリーブする。 LLMエージェントの既存の推論時間適応法は、主にプロンプトや検索に依存している。 提案するOLIVIAは,ReAct型エージェントのための推論時行動適応フレームワークである。
  論文  参考訳（メタデータ） (2026-05-11T19:28:20Z)
• A Low-Latency Fraud Detection Layer for Detecting Adversarial Interaction Patterns in LLM-Powered Agents [18.524016493711386]
  大規模言語モデル(LLM)を利用したエージェントは、自律的なタスク実行、ツールの使用、多段階推論において強力な能力を示す。 敵対的相互作用は、直接的プロンプトインジェクション、間接的コンテンツアタック、マルチターンエスカレーション戦略を通じてエージェントの動作を操作できる。 LLMエージェントの逆相互作用パターンを検出するために,低レイテンシな不正検出層を提案する。
  論文  参考訳（メタデータ） (2026-05-01T22:35:59Z)
• From Reactive to Proactive: Assessing the Proactivity of Voice Agents via ProVoice-Bench [11.985605415045734]
  本稿では,プロアクティブ音声エージェントに特化して設計された最初の評価フレームワークであるProVoice-Benchを紹介する。 多段階データ合成パイプラインを利用することで、厳密なテストのために1,182の高品質なサンプルをキュレートする。 現状のマルチモーダル LLM の評価では,特に過剰なトラッゲリングと推論能力に関して,大きな性能差が示される。
  論文  参考訳（メタデータ） (2026-04-16T14:06:30Z)
• ProactiveBench: Benchmarking Proactiveness in Multimodal Large Language Models [51.06179253173491]
  ProactiveBenchは、さまざまなタスクにまたがってプロアクティブ性をテストするベンチマークです。 本研究は, (i) MLLMs on ProactiveBench, (ii) MLLMs on (i) MLLMs they are generally lack proactiveness; (ii) proactiveness not correlation with model capacity; (iii) "hinting" at proactiveness is yields only marginal gains。
  論文  参考訳（メタデータ） (2026-03-19T20:58:03Z)
• Pushing Forward Pareto Frontiers of Proactive Agents with Behavioral Agentic Optimization [61.641777037967366]
  プロアクティブな大規模言語モデル(LLM)エージェントは、複数のターンで積極的に計画し、クエリし、相互作用することを目的としている。 エージェント強化学習(RL)は、マルチターン環境でエージェントを訓練するための有望なソリューションとして登場した。 本稿では,行動強化と情報収集能力の強化を両立させたエージェントRLフレームワークであるBAOを提案する。
  論文  参考訳（メタデータ） (2026-02-11T20:40:43Z)
• Refer-Agent: A Collaborative Multi-Agent System with Reasoning and Reflection for Referring Video Object Segmentation [50.22481337087162]
  Referring Video Object (RVOS) は、テキストクエリに基づくビデオ内のオブジェクトのセグメンテーションを目的としている。 Refer-Agent (Refer-Agent) は、共用多エージェントシステムである。
  論文  参考訳（メタデータ） (2026-02-03T14:48:12Z)
• Dynamic benchmarking framework for LLM-based conversational data capture [0.0]
  本稿では,大規模言語モデル(LLM)を評価するためのベンチマークフレームワークを提案する。 生成エージェントシミュレーションを統合して、情報抽出、コンテキスト認識、適応エンゲージメントといった重要次元のパフォーマンスを評価する。 その結果,不明瞭な応答を扱う場合,適応戦略によりデータの抽出精度が向上することが示唆された。
  論文  参考訳（メタデータ） (2025-02-04T15:47:47Z)
• R-AIF: Solving Sparse-Reward Robotic Tasks from Pixels with Active Inference and World Models [50.19174067263255]
  我々は、エージェントがスパース・リワード、継続的なアクション、ゴールベースのロボット制御POMDP環境においてエクササイズするのを助けるために、事前の選好学習手法と自己修正スケジュールを導入する。 我々のエージェントは、累積報酬、相対安定性、成功率の観点から、最先端モデルよりも優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-09-21T18:32:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。