論文の概要: AURA 2.0: From User-Driven Responses to Model-Initiated Conversations in Streaming Video
- arxiv url: http://arxiv.org/abs/2611.17048v1
- Date: Thu, 12 Nov 2026 16:31:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.550708
- Title: AURA 2.0: From User-Driven Responses to Model-Initiated Conversations in Streaming Video
- Title(参考訳): AURA 2.0: ユーザ駆動応答からストリーミングビデオにおけるモデル開始会話へ
- Abstract要約: AURA 2.0は、AURAに3つのコアアップグレードを導入したストリーミングビデオ大言語モデルである。
Model-Initiated Conversation (MIC)は、進化するビジュアルストリームで議論する価値のあるトピックを特定することができる。
Stream-Aware Tool Calling (SATC)は、現在の視覚的および会話的コンテキストを使用して、モデルが外部ツールを呼び出すことを可能にする。
インタラクティブなビジュアルグラウンド(IVG)は、ユーザ入力とモデル出力の両方で視覚的なグラウンド化をサポートする。
- 参考スコア(独自算出の注目度): 36.311616617397135
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most AI assistants respond only when prompted, remaining silent even when events in the video stream offer meaningful opportunities for conversation. To move beyond purely user-driven interaction, we present AURA 2.0, a streaming video large language model that introduces three core upgrades to AURA. The key advance is Model-Initiated Conversation (MIC), which enables the model to identify topics worth discussing in the evolving visual stream and initiate conversations at appropriate moments without a user query. Stream-Aware Tool Calling (SATC) enables the model to invoke external tools using the current visual and conversational context and incorporate returned information into the ongoing interaction. Interactive Visual Grounding (IVG) supports visual grounding in both user inputs and model outputs. The model can identify objects marked by users on video frames and produce frame-aligned bounding boxes to link its responses to specific objects and regions. To develop these capabilities, we construct a dedicated streaming interaction dataset and adopt a three-stage training scheme to integrate the new behaviors with AURA's existing streaming interaction abilities. We further incorporate Long-Horizon Interaction Memory (LHIM) to maintain contextual continuity over extended video streams. Evaluations on public streaming benchmarks show that AURA 2.0 achieves leading performance among open-source streaming models, while targeted evaluations further validate its new interaction capabilities. We open-source the model weights and inference code.
- Abstract(参考訳): ほとんどのAIアシスタントは、トリガーされた時にのみ応答し、ビデオストリーム内のイベントが会話の有意義な機会を提供する場合でも沈黙する。
AURA 2.0は、AURAに3つのコアアップグレードを導入するストリーミングビデオ大言語モデルである。
これは、進化するビジュアルストリームで議論する価値のあるトピックを特定し、ユーザクエリなしで適切なタイミングで会話を開始することを可能にする。
Stream-Aware Tool Calling (SATC)は、現在の視覚的および会話的コンテキストを使用して外部ツールを呼び出し、返却された情報を継続的なインタラクションに組み込むことを可能にする。
インタラクティブなビジュアルグラウンド(IVG)は、ユーザ入力とモデル出力の両方で視覚的なグラウンド化をサポートする。
このモデルは、ビデオフレーム上のユーザによってマークされたオブジェクトを識別し、その応答を特定のオブジェクトやリージョンにリンクするためのフレームアラインなバウンディングボックスを生成する。
これらの機能を開発するために、AURAの既存のストリーミングインタラクション能力と新たな動作を統合するために、専用のストリーミングインタラクションデータセットを構築し、3段階のトレーニングスキームを採用する。
さらに、LHM(Long-Horizon Interaction Memory)を組み込んで、拡張されたビデオストリームに対するコンテキスト連続性を維持する。
パブリックストリーミングベンチマークの評価によると、AURA 2.0はオープンソースのストリーミングモデルで主要なパフォーマンスを達成し、ターゲット評価は新たなインタラクション機能をさらに検証している。
モデルウェイトと推論コードをオープンソースにしています。
関連論文リスト
- OmniAssistBench: Assistant-style Interaction Benchmark for Omni-LLMs [25.570460595046058]
最近のOmni-LLM(Omni-LLMs)はリアルタイムビデオアシスタントとして大きな可能性を秘めている。
従来の受動的ビデオ理解とは異なり、対話型アシスタントは視覚状態、ユーザ目標、事前知識を積極的に組み合わせて効果的な支援を行う必要がある。
論文 参考訳(メタデータ) (2026-08-21T17:59:52Z) - InteracVid: Building a Real Interactive Audio-Visual Response Dataset from Live-Chat Videos [7.003662856458999]
我々は、この欠落した監視に対処する最初のオープンソース大規模データセットである textbfInteracVid を紹介する。
Everysampleは、先行する音声視覚コンテキストと、それに続く実際の対話応答を伴う外部刺激を結合する。
10レーターの人間による研究では、抽出された相互作用が、真のクエリと再構築されたクエリの両方に対して因果的、自然的、時間的に完全であることを確認している。
論文 参考訳(メタデータ) (2026-08-02T11:28:13Z) - JoyAI-VL-Interaction: Real-Time Vision-Language Interaction Intelligence [53.427969116091184]
8Bスケールの視覚優先型VL-インタラクションモデルであるJoyAI-VL-Interactionをリリースする。
応答を内部で決定し、各秒を選択して、沈黙を維持したり、応答したり、バックグラウンドモデルに委譲したりする。
これは、トレーニングレシピ、データ、完全なデプロイ可能なシステムとともにリリースされた最初のオープンなビジョン駆動インタラクションモデルである。
論文 参考訳(メタデータ) (2026-06-10T03:43:50Z) - Proactive Assistant Dialogue Generation from Streaming Egocentric Videos [48.30863954384779]
この研究は、多様なタスクを通じてユーザーを誘導できるリアルタイムでプロアクティブなAIアシスタントを開発するための基礎を築いた。
まず,注釈付きエゴセントリックビデオから対話を合成する新しいデータキュレーションパイプラインを提案する。
第2に、広範囲な人間の研究を通して検証された自動評価指標のスイートを開発する。
第3に,ストリーミングビデオ入力を処理し,文脈的に適切な応答を生成するエンド・ツー・エンド・モデルを提案する。
論文 参考訳(メタデータ) (2025-06-06T09:23:29Z) - V$^2$Dial: Unification of Video and Visual Dialog via Multimodal Experts [44.33388344586592]
V$2$Dialは、マルチモーダルな会話タスクのための画像とビデオの入力データを同時に扱うための、エキスパートベースの新しいモデルである。
本稿では,画像とビデオの空間的特徴と時間的特徴を共同で学習する単一モデルを用いて,両方のタスクを統合することを提案する。
論文 参考訳(メタデータ) (2025-03-03T21:27:38Z) - Contextual Object Detection with Multimodal Large Language Models [66.15566719178327]
本稿では,コンテキストオブジェクト検出の新たな研究課題について紹介する。
言語クローゼテスト,視覚キャプション,質問応答の3つの代表的なシナリオについて検討した。
本稿では、視覚的コンテキストのエンドツーエンドの微分可能なモデリングが可能な統合マルチモーダルモデルContextDETを提案する。
論文 参考訳(メタデータ) (2023-05-29T17:50:33Z) - Learning Asynchronous and Sparse Human-Object Interaction in Videos [56.73059840294019]
Asynchronous-Sparse Interaction Graph Networks(ASSIGN)は、ビデオシーン内のエンティティに関連するインタラクションイベントの構造を自動的に検出します。
ASSIGNは人間と物体の相互作用認識において試験され、人間のサブアクティビティのセグメンテーションおよびラベル付けにおいて優れた性能を示す。
論文 参考訳(メタデータ) (2021-03-03T23:43:55Z) - Look Before you Speak: Visually Contextualized Utterances [88.58909442073858]
ビデオ中の発話を視覚的フレームと書き起こされた音声の両方を文脈として予測するタスクを作成する。
オンラインで多数の指導ビデオを活用することで、手動のアノテーションを必要とせずに、このタスクを大規模に解決するためのモデルを訓練する。
本モデルは,多数のダウンストリームビデオQAベンチマークにおいて,最先端の性能を実現する。
論文 参考訳(メタデータ) (2020-12-10T14:47:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。