論文の概要: VideoJev: System One Model for Video Understanding and Interaction

• arxiv url: http://arxiv.org/abs/2610.18615v1
• Date: Tue, 13 Oct 2026 16:00:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 20:25:02.99963
• Title: VideoJev: System One Model for Video Understanding and Interaction
• Title（参考訳）: VideoJev: ビデオ理解とインタラクションのためのシステム1モデル
• Abstract要約: ビデオ理解とインタラクションを構造化決定タスクとして提供するモデル群であるVideoJevを紹介した。 ビデオ証拠に対する時間間隔とテキストオプションをスコアする共有ヘッドに自己回帰型回答復号を置き換えることで,事前学習型マルチモーダル大言語モデル(MLLM)を適応する。 3つの時間的グラウンドベンチマークで、VideoJev-4BとVideoJev-35B-A3Bはそれぞれ平均mIoUを6.7ポイント、10.8ポイント改善し、推論速度は2.8$-$3.1times$である。
• 参考スコア（独自算出の注目度）: 57.01937499930451
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual agents must turn video observations into timely decisions to track progress and choose what to do next. Building on the emerging System One paradigm, we introduce VideoJev, a family of models that cast video understanding and interaction as structured decision tasks. We adapt pretrained multimodal large language models (MLLMs) by replacing autoregressive answer decoding with a shared head that scores temporal intervals and textual options against video evidence. These scores yield event spans or answer choices, unifying temporal grounding and multiple-choice video question answering. This combines the semantic flexibility of MLLMs with efficient decisions that agents can use directly. As an interaction unfolds, new goals and intermediate results prompt further queries about the same visual history. VideoJev therefore reuses visual computation through Cached inference for queries as they arrive and Joint inference for multiple queries in a single forward pass. Across three temporal grounding benchmarks, VideoJev-4B and VideoJev-35B-A3B improve mean mIoU over their backbones by 6.7 and 10.8 points, respectively, with measured inference speedups of $2.8$-$3.1\times$. On four video QA benchmarks, both achieve performance comparable to their backbones in Thinking mode, with measured inference speedups exceeding $100\times$. These results offer a unified, reusable decision interface for composing structured visual judgments into complex, open-ended workflows.
• Abstract（参考訳）: 視覚エージェントは、映像観察をタイムリーな判断に変えて進捗を追跡し、次に何をするかを選択する必要がある。 新たなSystem Oneパラダイムを基盤として,ビデオ理解とインタラクションを構造化決定タスクとするモデル群であるVideoJevを紹介する。 自動回帰応答復号を時間間隔と動画証拠に対するテキストオプションの共有ヘッドに置き換えることで,事前学習型マルチモーダル大言語モデル(MLLM)を適応する。 これらのスコアは、イベントの範囲や、選択の回答をもたらし、時間的接地と複数選択のビデオ質問の回答を統一する。 これはMLLMのセマンティックな柔軟性と、エージェントが直接使用できる効率的な決定を組み合わせる。 相互作用が展開するにつれて、新しいゴールと中間結果が、同じ視覚履歴に関するさらなる問い合わせを促す。 従ってVideoJevは、到着するクエリのCached推論と、1つのフォワードパスで複数のクエリのJoint推論を通じて視覚的な計算を再利用する。 3つの時間的グラウンドベンチマークで、VideoJev-4BとVideoJev-35B-A3Bはそれぞれ平均mIoUを6.7ポイント、10.8ポイント改善し、推論速度は2.8$-$3.1\times$である。 4つのビデオQAベンチマークでは、どちらもThinkingモードのバックボーンに匹敵するパフォーマンスを実現している。 これらの結果は、構造化された視覚的判断を複雑でオープンなワークフローに構成するための統一的で再利用可能な決定インターフェースを提供する。

関連論文リスト

• ForeSea: AI Forensic Search with Multi-modal Queries for Video Surveillance [56.15563109738998]
  ForeSeaは3段階のプラグアンドプレイパイプラインを備えたAI法医学検索システムである。 ForeSeaは従来のビデオRAGモデルよりも精度を3.5%向上し、一時IoUは11.0向上した。
  論文  参考訳（メタデータ） (2026-03-24T07:15:28Z)
• Object-centric Video Question Answering with Visual Grounding and Referring [43.963739052764595]
  我々は、ビデオ推論タスクにおいて、入力参照と出力のグラウンド化の両方を実行することができるビデオLLMモデルを提案する。 また、ビデオ内の残りのフレームに対して、任意の時間スタンプで任意の視覚的プロンプト入力を伝搬する新しいアプローチであるSTOMを提案する。 我々は、ビデオ質問応答やオブジェクトセグメンテーションを参照しながら、VideoInferや他の既存のベンチマークに関する包括的な実験を行う。
  論文  参考訳（メタデータ） (2025-07-25T18:11:23Z)
• MAGNET: A Multi-agent Framework for Finding Audio-Visual Needles by Reasoning over Multi-Video Haystacks [67.31276358668424]
  AV-HaystacksQAという新しいタスクを導入し、クエリに応答して、異なるビデオにまたがる有能なセグメントを識別し、それらをリンクして最も有意義な回答を生成する。 AVHaystacksは、マルチビデオ検索および時間的グラウンドタスクにおけるLMMの能力を評価するために設計された3100の注釈付きQAペアからなるオーディオビジュアルベンチマークである。 提案するAVHaystackのQAタスクにおけるBLEU@4およびGPT評価スコアの基準値よりも89%と65%の相対的な改善を実現し、モデルに依存しないマルチエージェントフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-08T06:34:29Z)
• Lost in Time: A New Temporal Benchmark for VideoLLMs [48.71203934876828]
  現在最も使われているビデオ言語ベンチマークは、時間的推論を必要とせずに解決可能であることを示す。 提案するTVBenchは,オープンソースのマルチ選択質問応答ベンチマークである。
  論文  参考訳（メタデータ） (2024-10-10T09:28:36Z)
• Needle In A Video Haystack: A Scalable Synthetic Evaluator for Video MLLMs [20.168429351519055]
  ビデオ理解はマルチモーダル大言語モデル(LMLM)にとって重要な次のステップである 合成ビデオ生成によるベンチマーク構築フレームワークであるVideoNIAH(Video Needle In A Haystack)を提案する。 我々は、プロプライエタリモデルとオープンソースモデルの両方を包括的に評価し、ビデオ理解能力の重大な違いを明らかにする。
  論文  参考訳（メタデータ） (2024-06-13T17:50:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。