論文の概要: Reviso: Not All Visual Evidence Deserves Equal Attention in Video Captioning

• arxiv url: http://arxiv.org/abs/2611.03602v1
• Date: Mon, 02 Nov 2026 18:41:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:37:03.447254
• Title: Reviso: Not All Visual Evidence Deserves Equal Attention in Video Captioning
• Title（参考訳）: Reviso:すべての視覚的証拠がビデオのキャプションに等しく注意を払っているわけではない
• Abstract要約: Revisoはエージェントによるビデオキャプションフレームワークで、何を観察するか、どのように関連する視覚的証拠を収集するかを学ぶ。 Revisoは、時間セグメントを選択的に再考し、きめ細かい検査のためのツールを組み合わせることで、ゴール指向のアクティブな知覚を行う。
• 参考スコア（独自算出の注目度）: 22.945664881614345
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal large language models (MLLMs) can generate detailed video captions, yet they may overemphasize minor details while overlooking essential context and key events. We argue that not all visual evidence deserves equal attention, as the importance of visual information depends on the content of each video. Motivated by this observation, we propose Reviso, an agentic video captioning framework that learns what to observe and how to gather relevant visual evidence. From a low-frame-rate global preview, Reviso constructs a hierarchical Context--Focus--Points (CFP) observation plan that identifies the video context, prioritizes key aspects, and defines concrete observation targets and corresponding tools. Guided by this plan, Reviso performs goal-directed active perception by selectively revisiting temporal segments and combining tools for fine-grained inspection. It interprets the acquired evidence, updates its plan as needed, and integrates global and local information to generate the final caption. To learn this observation strategy, we develop a verification-guided pipeline that constructs high-quality training trajectories through factual verification and teacher-guided refinement. We further train Reviso using Group Relative Policy Optimization (GRPO), incorporating a key-fact reward for caption quality, a Plan Alignment Reward (PAR) for identifying important observation targets, and an Unproductive Tool-Call Penalty (UTCP) that adjusts observation-cost penalties based on caption quality. Experiments across four video captioning benchmarks show that Reviso outperforms the evaluated open-source baselines, while its generated captions better support downstream video question answering. These findings highlight the effectiveness and potential of priority-guided active observation for video captioning.
• Abstract（参考訳）: MLLM(Multimodal large language model)は、詳細なビデオキャプションを生成することができるが、重要なコンテキストや重要なイベントを見越しながら、小さな詳細を過度に強調することができる。 視覚的情報の重要性は各ビデオの内容に依存するため、すべての視覚的証拠が同等の注意に値するわけではないと我々は主張する。 この観察に動機づけられたRevisoは,何を観察するか,どのように関連する視覚的証拠を収集するかを学習するエージェントビデオキャプションフレームワークである。 低フレームのグローバルプレビューから、Revisoは階層的なコンテキスト-フォーカス-ポイント(CFP)観察計画を構築し、ビデオコンテキストを特定し、重要な側面を優先順位付けし、具体的な観測目標とそれに対応するツールを定義する。 この計画でガイドされたRevisoは、時間セグメントを選択的に再考し、きめ細かい検査のためのツールを組み合わせることで、ゴール指向のアクティブな知覚を行う。 取得した証拠を解釈し、必要に応じて計画を更新し、グローバルおよびローカル情報を統合して最終キャプションを生成する。 この観察戦略を学習するために,実際の検証と教師指導による洗練を通じて,高品質な学習軌道を構築する検証誘導パイプラインを開発した。 さらに, グループ相対政策最適化(GRPO)を用いて, キャプション品質に対するキーファクト報酬, 重要な観測対象を特定するためのプランアライメント・リワード(PAR), キャプション品質に基づく監視コストを調節する非生産的ツール・コール・ペナルティ(UTCP)を取り入れたリバイゾを訓練する。 4つのビデオキャプションベンチマークの実験では、Revisoは評価済みのオープンソースベースラインを上回り、生成されたキャプションは下流のビデオ質問応答のサポートを改善している。 これらの知見は,ビデオキャプションにおける優先誘導型能動観察の有効性と可能性を明らかにするものである。

関連論文リスト

• OACap: Caption-Guided Active Observation for Detailed Video Captioning [33.60249871300859]
  Video Captioner (OA-Cap) はキャプション中心のエージェントで、サポート対象または欠落した情報を観察要求に変換する。 OA-Capは、固定テキストのみのリーダを使用して、一般的なビデオ理解ベンチマークのパフォーマンスを一貫して改善する。
  論文  参考訳（メタデータ） (2026-10-21T07:26:26Z)
• HierSum: A Global and Local Attention Mechanism for Video Summarization [14.88934924520362]
  本稿では,指導ビデオの要約に焦点をあて,映像を意味のあるセグメントに分割する方法を提案する。 HierSumは、サブタイトルからのきめ細かいローカルキューと、ビデオレベルの命令によって提供されるグローバルなコンテキスト情報を統合する。 我々は,HierSumがF1スコアやランク相関などの重要な指標において,既存の手法を一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2025-04-25T20:30:30Z)
• CAPability: A Comprehensive Visual Caption Benchmark for Evaluating Both Correctness and Thoroughness [30.44039177018447]
  CAPabilityは、6つの重要なビューにまたがる12次元にわたる視覚的キャプションを評価するための総合的なベンチマークである。 我々は、生成したキャプションを評価するために、視覚要素アノテーションで1万1千近い人注画像や動画をキュレートした。
  論文  参考訳（メタデータ） (2025-02-19T07:55:51Z)
• Benchmarking Large Vision-Language Models via Directed Scene Graph for Comprehensive Image Captioning [77.2852342808769]
  本稿では、シーングラフビューから視覚的コンテキストを評価するために、CompreCapと呼ばれる詳細なキャプションベンチマークを導入する。 画像は、まず、共通オブジェクトの語彙に従って意味的に意味のある領域に手動で分割し、また、これらすべての領域内のオブジェクトの属性を識別する。 そして、これらのオブジェクトの方向関係ラベルに注釈を付け、画像のリッチな構成情報を十分にエンコードできる方向のシーングラフを構成する。
  論文  参考訳（メタデータ） (2024-12-11T18:37:42Z)
• CLIPVQA:Video Quality Assessment via CLIP [56.94085651315878]
  VQA問題(CLIPVQA)に対する効率的なCLIPベースのトランスフォーマー手法を提案する。 提案したCLIPVQAは、新しい最先端のVQAパフォーマンスを実現し、既存のベンチマークVQAメソッドよりも最大で37%の汎用性を実現している。
  論文  参考訳（メタデータ） (2024-07-06T02:32:28Z)
• Exploiting Auxiliary Caption for Video Grounding [66.77519356911051]
  ビデオグラウンディングは、あるクエリ文にマッチする興味のある瞬間を、トリミングされていないビデオから見つけることを目的としている。 以前の作業では、潜在的なイベントとデータセット内のクエリ文の間のコンテキスト情報の提供に失敗する、ビデオアノテーションの疎度ジレンマを無視していた。 具体的には、まず高密度なキャプションを生成し、次に非補助的なキャプション抑制(NACS)によって補助的なキャプションを得る。 補助キャプションにおける潜在的な情報を取得するために,補助キャプション間の意味的関係を計画するキャプションガイド注意(CGA)を提案する。
  論文  参考訳（メタデータ） (2023-01-15T02:04:02Z)
• CLIP-It! Language-Guided Video Summarization [96.69415453447166]
  この作業では、ジェネリックとクエリにフォーカスしたビデオ要約に対処する単一のフレームワークであるCLIP-Itを導入する。 本稿では,言語誘導型マルチモーダルトランスフォーマーを提案する。 本モデルは, 地道的な監督を伴わずに, 訓練により教師なしの設定に拡張することができる。
  論文  参考訳（メタデータ） (2021-07-01T17:59:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。