論文の概要: StreamVibe: Proactive Video Agents for Evolving User Intent
- arxiv url: http://arxiv.org/abs/2610.34662v2
- Date: Tue, 27 Oct 2026 18:53:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-30 22:39:27.497913
- Title: StreamVibe: Proactive Video Agents for Evolving User Intent
- Title（参考訳）: StreamVibe: ユーザインテントを進化させるためのプロアクティブなビデオエージェント
- Abstract要約: 視覚言語モデルは、オフラインの受動的理解からオンラインのプロアクティブなインタラクションへとシフトしている。
連続的な観察から暗黙のユーザ意図を推測するストリーミングプロアクティブモデルであるStreamVibe-VLを開発した。
StreamVibe-Harnessも導入しています。これは、階層メモリを通じてフレキシブルなライフサイクルを持つ永続状態としてユーザ意図を維持します。
- 参考スコア（独自算出の注目度）: 69.09509122765975
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-language models are shifting from offline passive understanding toward online proactive interaction. However, prevailing methods largely rely on explicit requests while overlooking implicit user intents (e.g., "where should I click next?" when a user is navigating a website) and fail to continuously update their understanding as user intents evolve. These limitations make them less suitable for intent-aware interaction in real-world scenarios. To address these challenges, we introduce StreamVibe-Bench, a new benchmark that serves as a testbed for user intent understanding and interaction, comprising 4.1K evaluation samples and 85K training samples spanning explicit, implicit, and dynamic intents. Building on this benchmark, we develop StreamVibe-VL, a streaming proactive model that infers implicit user intents from continuous observations and dynamically adapts its interactions as these intents evolve. We further introduce StreamVibe-Harness, which maintains user intents as persistent states with flexible lifecycles through hierarchical memory, enabling it to track the latest user intents and environmental states. Our experiments reveal three key findings: (i) StreamVibe-VL preserves strong general video understanding capabilities while improving response timing and answer quality by 10.7% over existing baselines; (ii) existing proactive models remain limited in understanding user intents and determining when to respond, especially under implicit and dynamic intents; and (iii) StreamVibe-Harness further improves response consistency and adaptation during sustained interactions, resulting in a 12.3% gain in proactive interaction performance.
- Abstract（参考訳）: 視覚言語モデルは、オフラインの受動的理解からオンラインのプロアクティブなインタラクションへとシフトしている。
しかしながら、一般的なメソッドは、暗黙のユーザ意図(例えば、ユーザがWebサイトをナビゲートしている場合、次にクリックすべき場所?)を見落としながら、明示的な要求に依存しており、ユーザの意図が進化するにつれて、理解を継続的に更新することができない。
これらの制限により、現実世界のシナリオにおける意図認識の相互作用には適さない。
これらの課題に対処するために、StreamVibe-Benchという、ユーザ意図の理解とインタラクションのためのテストベッドとして機能する新しいベンチマークを紹介します。
このベンチマークに基づいてStreamVibe-VLを開発した。これは連続的な観測から暗黙のユーザ意図を推測し、これらの意図が進化するにつれてそのインタラクションを動的に適応するストリーミングプロアクティブモデルである。
さらにStreamVibe-Harnessを導入し、階層的メモリを通じてフレキシブルなライフサイクルを持つ永続的な状態としてユーザ意図を維持でき、最新のユーザ意図と環境状態を追跡できます。
私たちの実験では3つの重要な発見がありました。
(i)StreamVibe-VLは、応答タイミングを改善し、応答品質を既存のベースラインよりも10.7%向上させながら、強力な一般的なビデオ理解能力を保っている。
(II)既存の積極的モデルは、ユーザの意図を理解し、応答するタイミング、特に暗黙的かつダイナミックな意図の下では、限定的のままである。
3)StreamVibe-Harnessは、持続的な相互作用における応答の一貫性と適応をさらに改善し、プロアクティブな相互作用性能が12.3%向上する。
関連論文リスト
- Beyond Oracle Communication: Benchmarking Interactive Intent Alignment Under Miscommunication and Evolving User Intent [29.694220187115558]
我々はDrift-Bench++を紹介した。Drift-Bench++は、制御ミスアライメントとインテントシフトを伴う検証可能なタスクのベンチマークである。
また,タスクグラウンディング,ユーザリアリズム,質問の有効性,進化意図への適応を網羅した総合評価プロトコルGRIPを開発した。
インタラクティブなインテントアライメントのための統一された実行可能なベンチマークを提供することで、Drift-Bench++はエージェントの評価と前進のための基盤を提供する。
論文 参考訳（メタデータ） (2026-09-29T22:10:05Z) - OmniAssistBench: Assistant-style Interaction Benchmark for Omni-LLMs [25.570460595046058]
最近のOmni-LLM(Omni-LLMs)はリアルタイムビデオアシスタントとして大きな可能性を秘めている。
従来の受動的ビデオ理解とは異なり、対話型アシスタントは視覚状態、ユーザ目標、事前知識を積極的に組み合わせて効果的な支援を行う必要がある。
論文 参考訳（メタデータ） (2026-08-21T17:59:52Z) - LLMs Get Lost in Evolving User Intent [31.460856308052872]
静的なシングルターンタスクを動的マルチターン会話に変換するフレームワークを導入する。
強い静的設定性能は進化するインテント・セッティングに移行しないことを示す。
今日のLLMは、ユーザの進化する意図を忠実に追跡し、実行していません。
論文 参考訳（メタデータ） (2026-07-22T21:14:44Z) - SSRLive: Live Streaming Recommendation with Dynamic Semantic ID [8.32878203748523]
本稿では,SSRLive: Dynamic Semantic ID-guided Streaming Recommendation for Live platformを紹介する。
提案するフレームワークは、生成モジュールと識別モジュールを統一アーキテクチャに統合する。
識別コンポーネントは、SIDとユーザ特徴を組み合わせることでタスク固有の表現を洗練し、ユーザとストリームのインタラクションデータを強化し、マルチタスク予測を実行する。
論文 参考訳（メタデータ） (2026-06-05T06:58:07Z) - VitaBench 2.0: Evaluating Personalized and Proactive Agents in Long-Term User Interactions [63.13827503828231]
我々は、長期ユーザーインタラクションにおけるパーソナライズされたプロアクティブなエージェント動作を評価するためのベンチマークであるVitaBench 2.0を紹介する。
結果は、最先端のモデルでさえ、現実世界のパーソナライゼーションは非常に困難であることを示している。
論文 参考訳（メタデータ） (2026-05-26T15:07:38Z) - Action-Aware Generative Sequence Modeling for Short Video Recommendation [50.74467504063892]
ショートビデオには様々な部分が含まれており、ユーザーはそれらすべてに対して同じ態度を取ることはできない。
従来のバイナリ分類レコメンデーションモデルは、ビデオを単一の全体的エンティティとして扱うが、そのような微妙な好みを正確に捉えるには限界に直面している。
本稿では,時間的次元に沿ってユーザアクションを洗練させる行動認識生成系列ネットワーク(A2Gen)を提案する。
論文 参考訳（メタデータ） (2026-04-28T16:41:04Z) - Foresight Prediction Enhanced Live-Streaming Recommendation [18.07489662404993]
コンテンツと時間のダイナミクスによるライブストリーミングは、プラットフォームのレコメンデーションアルゴリズムにより高い要求をもたらす。
我々は,ライブストリーミングセグメント上でセマンティックID(Sid)を取得し,過去のSidシーケンスを符号化して作者の特徴を捉え,Sid進化の傾向をモデル化し,将来的なコンテンツの予測を可能にする。
論文 参考訳（メタデータ） (2025-12-07T07:25:38Z) - Mind the Gap! Static and Interactive Evaluations of Large Audio Models [55.87220295533817]
大型オーディオモデル(LAM)は、音声ネイティブな体験をパワーアップするために設計されている。
本研究は,484名の参加者から,LAMを評価し,7,500名のLAMインタラクションを収集する対話的アプローチを提案する。
論文 参考訳（メタデータ） (2025-02-21T20:29:02Z) - Collaborative Instance Object Navigation: Leveraging Uncertainty-Awareness to Minimize Human-Agent Dialogues [54.81155589931697]
協調インスタンスオブジェクトナビゲーション(CoIN)は、エージェントがターゲットインスタンスに関する不確実性を積極的に解決する新しいタスク設定である。
未認識者に対するエージェント・ユーザインタラクション(AIUTA)の新たな学習自由化手法を提案する。
まず、オブジェクト検出時に、セルフクエチオナーモデルがエージェント内で自己対話を開始し、完全かつ正確な観察記述を得る。
インタラクショントリガーモジュールは、人間に質問するか、継続するか、ナビゲーションを停止するかを決定する。
論文 参考訳（メタデータ） (2024-12-02T08:16:38Z) - Learning Self-Modulating Attention in Continuous Time Space with
Applications to Sequential Recommendation [102.24108167002252]
本稿では,複雑で非線形に進化する動的ユーザの嗜好をモデル化する,自己変調型注意ネットワークを提案する。
提案手法がトップNシーケンシャルなレコメンデーションタスクに与える影響を実証的に示すとともに,3つの大規模実世界のデータセットによる結果から,我々のモデルが最先端のパフォーマンスを達成できることを示す。
論文 参考訳（メタデータ） (2022-03-30T03:54:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。