論文の概要: Video-RSI: Recursive Self-Improvement of Video Understanding Agents via Harness Evolution
- arxiv url: http://arxiv.org/abs/2609.37950v1
- Date: Tue, 29 Sep 2026 16:24:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.741111
- Title: Video-RSI: Recursive Self-Improvement of Video Understanding Agents via Harness Evolution
- Title（参考訳）: Video-RSI:ハーネス進化によるビデオ理解エージェントの再帰的自己改善
- Abstract要約: ビデオ理解エージェントは、実行可能なハーネスを介して証拠を取得する。
実行トレースは、現在のハーネスによって取得された証拠のみを含む。
本稿では,ビデオ理解エージェントが自身の言語モデルを用いてハーネスを改良する自己改善フレームワークであるVideo-RSIを紹介する。
- 参考スコア（独自算出の注目度）: 7.75361567482227
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video understanding agents acquire evidence through an executable harness that controls what they observe and how they use those observations. However, execution traces contain only the evidence acquired by the current harness, leaving competing explanations for failure unresolved and limiting the basis for self-improvement. We introduce Video-RSI, a framework for recursive self-improvement in which a video understanding agent uses its own language model to revise its harness. Through active video investigation, the model revisits the original training videos to test competing failure explanations with additional observations, grounding proposed changes in evidence beyond the existing trace. Cost-aware harness evolution turns these diagnoses into reusable revisions and determines which revisions to retain by considering both answer accuracy and visual cost. Across our evaluation settings on video understanding benchmarks, the evolved agent improves accuracy while processing fewer frames and achieves competitive accuracy-efficiency trade-offs against existing video understanding agents. These results demonstrate the potential for video understanding agents to improve their own evidence acquisition and use through harness evolution. Code is available at https://github.com/bingjunluo/Video-RSI .
- Abstract（参考訳）: ビデオ理解エージェントは、観察内容とそれらの観察方法を制御する実行可能なハーネスを通じて証拠を取得する。
しかし、実行トレースには現在のハーネスによって得られた証拠のみが含まれており、競合する失敗の説明は未解決であり、自己改善の基盤を制限する。
本稿では,ビデオ理解エージェントが自身の言語モデルを用いてハーネスを改訂する,再帰的自己改善のためのフレームワークであるVideo-RSIを紹介する。
アクティブなビデオ調査を通じて、モデルはオリジナルのトレーニングビデオを再修正し、競合する障害の説明をさらなる観察で検証し、既存の痕跡を超える証拠の変更を根拠にしている。
コストアウェア・ハーネスの進化は、これらの診断を再利用可能なリビジョンに変え、答えの正確さと視覚的コストの両方を考慮してどのリビジョンを保持するかを決定する。
ビデオ理解ベンチマークの評価設定全体にわたって、進化したエージェントは、少ないフレームを処理しながら精度を向上し、既存のビデオ理解エージェントと競合する精度と効率のトレードオフを実現する。
これらの結果は、ビデオ理解エージェントが、ハーネス進化を通じて、自身のエビデンスを取得し、使用することを改善する可能性を実証している。
コードはhttps://github.com/bingjunluo/Video-RSI で公開されている。
関連論文リスト
- When to Retrieve, When to Stay: Uncertainty-Aware Temporal Evidence Allocation for Streaming Video-LLMs [55.016033209274376]
WRWS(When to Retrieve, When to Stay)は、不確実性適応型エビデンスアロケーションのためのトレーニング不要のフレームワークである。
WRWSは、関連手段が信頼性が高い場合に意味検索を好んでおり、不確実性の下での精度を高める。
我々の効率評価において、WRWSは、平均視覚から回答までの時間を、最先端手法の47.93%に削減する。
論文 参考訳（メタデータ） (2026-09-29T12:13:56Z) - From Evaluation to Enhancement: Benchmarking and Improving Think-with-Video Reasoning for Video Generative Models [42.398664944109676]
VWG-Bench (Video World Generalist Benchmark)は、9つの推論次元と38のきめ細かいタスクにまたがる包括的なベンチマークである。
本稿では,モデルに依存しないプロンプトリライタであるVid-PRE (Video Reason Prompter and Enhancer)を提案する。
論文 参考訳（メタデータ） (2026-09-10T08:40:58Z) - VidForensics-M1: Meta-Detection Reinforcement Learning with Verifiable Temporal Grounding for AI-Generated Video Forensics [21.438987128589403]
我々は,AIが生成するビデオ検出にtextbfmeta-detectionを導入し,信頼性の高い偽造検出を可能にする。
この知見に基づいて,ペア化されたリアルタイムビデオを生成する自動データ構築パイプラインを提案する。
textbfVidForensics-M1は、検証可能な時間的証拠を利用して、堅牢で一般化可能なAI生成ビデオ検出を実現する。
論文 参考訳（メタデータ） (2026-08-11T17:58:10Z) - EG-VQA: Benchmarking Verifiable Video Question Answering with Grounded Temporal Evidence [48.314554375516366]
本稿では,Evidence-Grounded Video Question Answering Benchmark (EG-VQA)を紹介する。
EG-VQAは2,067本の動画と11,838本のQAペアで構成されている。
強力なプロプライエタリモデルでさえ、予測を正確に下ろすのに苦労しています。
我々は,明示的な監督によって訓練されたエビデンス基底推論モデルEG-Reasonerを提案する。
論文 参考訳（メタデータ） (2026-06-23T16:49:28Z) - Relaxing Anchor-Frame Dominance for Mitigating Hallucinations in Video Large Language Models [22.554751069064906]
最近のビデオ大言語モデル(ビデオ-LLM)は、ビデオ理解において強力な能力を示しているが、幻覚に悩まされている。
モデルが時間的に不均衡な濃度パターンを示すデコーダ側現象について検討する。
そこで本稿では,Decoder-side Temporal Rebalancing (DTR)を提案する。
論文 参考訳（メタデータ） (2026-04-14T11:05:42Z) - Think, Then Verify: A Hypothesis-Verification Multi-Agent Framework for Long Video Understanding [25.82963105515627]
VideoHV-Agentは、構造化仮説検証プロセスとしてビデオ質問応答を再構成するフレームワークである。
ビデオHV-Agentは,解釈性の向上,論理的音質の向上,計算コストの低減を実現し,最先端の精度を実現する。
論文 参考訳（メタデータ） (2026-03-05T09:16:07Z) - Video-BrowseComp: Benchmarking Agentic Video Research on Open Web [64.53060049124961]
Video-BrowseCompは、オープンウェブのエージェントによるビデオ推論に適した210の質問からなるベンチマークである。
これは時間的視覚的証拠に必須に依存しており、回答はテキスト検索のみでは導き出せないことを保証している。
初のオープンWebビデオ調査ベンチマークとして、Video-BrowseCompは、受動的知覚を越えて、プロアクティブなビデオ推論へと分野を前進させた。
論文 参考訳（メタデータ） (2025-12-28T19:08:27Z) - ReViSE: Towards Reason-Informed Video Editing in Unified Models with Self-Reflective Learning [57.08352504712699]
ビデオ統合モデルは、理解と生成において強力な能力を示すが、理性に富んだビジュアル編集に苦慮している。
本稿では,Reason-Informed Video Editing (RVE)タスクを紹介する。
一つのアーキテクチャ内で生成と評価を統一するフレームワークであるReViSEを提案する。
論文 参考訳（メタデータ） (2025-12-10T18:57:09Z) - On the Consistency of Video Large Language Models in Temporal Comprehension [57.985769348320616]
ビデオ大言語モデル(Video-LLMs)は、時間的に言語クエリを解析し、ビデオモーメントを検索することができる。
予測整合性 - 時間的根拠の堅牢性と信頼性を示す重要な指標である。
論文 参考訳（メタデータ） (2024-11-20T00:47:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。