論文の概要: VideoHarness-SRSI: Structured Recursive Self-Improvement for Video Understanding Harness
- arxiv url: http://arxiv.org/abs/2610.19424v2
- Date: Fri, 16 Oct 2026 03:45:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.542291
- Title: VideoHarness-SRSI: Structured Recursive Self-Improvement for Video Understanding Harness
- Title(参考訳): VideoHarness-SRSI:ビデオ理解のための構造化再帰的自己改善
- Abstract要約: LLMシステム機能は、モデルパラメータだけでなく、情報取得、ツールの使用、推論、メモリを整理する実行可能なハーネスにも依存する。
本稿では,マルチモーダルなリッチな証拠と結合機構が利用効率の最適化を困難にしているエージェント的ビデオ理解において,この問題を考察する。
- 参考スコア(独自算出の注目度): 75.15615778283161
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLM system capabilities depend not only on model parameters but also on the executable harnesses that organize information acquisition, tool use, reasoning, and memory. Recursive harness evolution can automate their design, but how it can reliably discover generalizable systems from limited, noisy, and repeatedly reused feedback remains unclear. We study this question in agentic video understanding, where rich multimodal evidence and coupled mechanisms make harness optimization challenging. We first introduce VHarness-BRSI, a recursive self-improvement framework that evolves video harnesses around a frozen vision-language model. Analyzing over 4,000 evolved candidates, we find it competitive with hand-engineered systems but identify three interconnected failure modes: validation overfitting, search-budget dilution, and the early-experience trap. We trace all three to a common root: the same imperfect validation evidence drives both harness revisions and the proposer's search strategy. We therefore propose VHarness-SRSI, an evidence-governed framework in which every search decision rests on evidence that is transferable, sufficient, and gathered before the search commits. It restricts the proposer to content-free feedback, informs exploration with instrumented warm-up experiments, and develops mechanisms in isolated probe-race branches before factorial composition and joint refinement. Across four video understanding benchmarks, VideoHarness-SRSI improves the equally weighted mean held-out score by 6.2% relative to VideoHarness-BRSI and reduces the mean validation-test gap by 37.9%. Reliable harness evolution thus depends on how search is organized and informed, not only on how well it optimizes validation performance.
- Abstract(参考訳): LLMシステム機能は、モデルパラメータだけでなく、情報取得、ツールの使用、推論、メモリを整理する実行可能なハーネスにも依存する。
再帰的ハーネスの進化は、設計を自動化できるが、それがいかにして、限られた、騒々しく、繰り返し再利用されたフィードバックから、いかに確実に一般化可能なシステムを発見できるかは、まだ不明である。
本稿では,マルチモーダルなリッチな証拠と結合機構が利用効率の最適化を困難にしているエージェント的ビデオ理解において,この問題を考察する。
VHarness-BRSIは、凍結した視覚言語モデルを中心にビデオハーネスを進化させる再帰的な自己改善フレームワークである。
4000以上の進化した候補を分析し、手作業によるシステムと競合するが、3つの相互接続型障害モード、すなわち検証過剰適合、探索予算の希釈、早期経験のトラップを特定する。
我々はこれら3つ全てを共通のルーツに追従する:同じ不完全な検証証拠は、ハーネス修正と提案者の検索戦略の両方を駆動する。
そこで我々はVHarness-SRSIを提案する。VHarness-SRSIは、全ての検索決定が、転送可能で十分であり、検索コミットの前に収集される証拠に依存しているエビデンス支配のフレームワークである。
提案者は, コンテントフリーフィードバックに制限され, 計器式ウォームアップ実験による探索を通知し, 因子組成とジョイントリファインメントの前に, 分離されたプローブレース分岐の機構を発達させる。
4つのビデオ理解ベンチマークで、VideoHarness-SRSIは、VideoHarness-BRSIと同等に重み付けされた平均ホールトアウトスコアを6.2%改善し、平均検証とテストのギャップを37.9%削減した。
したがって、信頼性の高いハーネスの進化は、検索がどのように組織化され、情報化されるかにかかっている。
関連論文リスト
- ReDiS: Reasoning-Diagnosis Self-Evolution for Multimodal Reasoning in Remote Sensing [53.65780048695954]
我々は、推論探索と候補評価を分離するフレームワークである textbfReasoning-Diagnosis-Self-Evolution (ReDiS) を導入する。
多様な視覚的証拠を探索するtextbfReasoner と、完全な候補セットを共同で評価する textbfDiagnoser である。
LHRS-Bench, MME-RS, CHOICEの実験では、Qwen3.5バックボーンを0.8B, 2B, 4Bスケールで一貫した改善が見られた。
論文 参考訳(メタデータ) (2026-10-13T13:38:02Z) - Beyond Single Videos: Benchmarking and Active Evidence Seeking for E-Commerce Cross-Video Reasoning [12.42880221384249]
私たちは、最初のEコマースのクロスビデオ推論ベンチマークであるAdsCVRを紹介します。
AdSeekは、マルチターン探索中にビジュアルおよびオーディオツールを選択するエージェントフレームワークである。
AdsCVRテストスプリットの精度は74.30%で、Qwen3-VL-8B-Instructのバックボーンを27.90ポイント上回っている。
論文 参考訳(メタデータ) (2026-10-02T10:19:49Z) - Video-RSI: Recursive Self-Improvement of Video Understanding Agents via Harness Evolution [7.75361567482227]
ビデオ理解エージェントは、実行可能なハーネスを介して証拠を取得する。
実行トレースは、現在のハーネスによって取得された証拠のみを含む。
本稿では,ビデオ理解エージェントが自身の言語モデルを用いてハーネスを改良する自己改善フレームワークであるVideo-RSIを紹介する。
論文 参考訳(メタデータ) (2026-09-29T16:24:02Z) - MSAVBench: Towards Comprehensive and Reliable Evaluation of Multi-Shot Audio-Video Generation [88.7702943548674]
マルチショットオーディオビデオ生成のための,初の総合的なベンチマークと適応型ハイブリッド評価フレームワークであるMSAVBenchを紹介する。
私たちのベンチマークでは、ビデオ、オーディオ、ショット、参照の4つの重要な領域にまたがっており、多様なタスク設定、最大15のショット数、非現実的なシナリオに挑戦しています。
MSAVBenchは人間の判断と高度に一致し、スピアマンのランク相関は91.5%に達する。
論文 参考訳(メタデータ) (2026-05-19T17:59:33Z) - ReTrack: Evidence-Driven Dual-Stream Directional Anchor Calibration Network for Composed Video Retrieval [24.278296673415827]
Composed Video Retrieval (CVR) はビデオ検索の新しいパラダイムとして登場した。
伝統的な合成法は、合成された特徴を基準ビデオに偏りがちである。
ReTrackは、構成された機能の方向バイアスを校正することで、マルチモーダルクエリ理解を改善する最初のCVRフレームワークである。
論文 参考訳(メタデータ) (2026-04-20T07:17:59Z) - VideoVeritas: AI-Generated Video Detection via Perception Pretext Reinforcement Learning [42.22791607763693]
VideoVeritasは、きめ細かい認識と事実に基づく推論のためのフレームワークだ。
共同知覚選好と知覚Pretext Reinforcement Learningが使用される。
論文 参考訳(メタデータ) (2026-02-09T16:00:01Z) - RANKVIDEO: Reasoning Reranking for Text-to-Video Retrieval [99.33724613432922]
本稿では,ビデオ検索のための推論に基づくリランカであるRANKVIDEOを紹介する。
RANKVIDEOは、関連性を評価するためにビデオコンテンツを使用するクエリ-ビデオペアを明示的に理由付けている。
大規模なMultiVENT 2.0ベンチマークの実験では、RANKVIDEOは2段階のフレームワーク内での検索性能を一貫して改善している。
論文 参考訳(メタデータ) (2026-02-02T18:40:37Z) - VAR: Visual Attention Reasoning via Structured Search and Backtracking [49.427842994857635]
構造化された検索としてグラウンドド推論をリキャストするフレームワークであるVisual Attention Reasoningを紹介する。
VARは、推論プロセスを2つの重要な段階に分解する。
我々は、我々の7BモデルであるVAR-7Bが、幻覚と安全性のベンチマークの包括的なスイートに新しい最先端を設定していることを示します。
論文 参考訳(メタデータ) (2025-10-21T13:18:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。