論文の概要: VideoEvoHarness: Self Evolving Agent Harness from Unlabeled Videos for Video Understanding
- arxiv url: http://arxiv.org/abs/2610.15389v1
- Date: Sun, 11 Oct 2026 06:36:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 01:21:57.322758
- Title: VideoEvoHarness: Self Evolving Agent Harness from Unlabeled Videos for Video Understanding
- Title（参考訳）: VideoEvoHarness: ビデオ理解のための未ラベルビデオからの自己進化エージェントHarness
- Abstract要約: ビデオ理解エージェントは、証拠の取得、ツールの使用、推論にハーネスを頼っているが、それを改善するにはかなりの努力が必要だ。
近年の自己進化的手法は,人的介入を減らすために,実行フィードバックを通じて活用を最適化することを目指している。
VideoEvoHarnessは、凍結したモデルパラメータを持つ未ラベルのビデオから、質問者とSolverのハーネスを共同で進化させる。
- 参考スコア（独自算出の注目度）: 57.59430033815855
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Video understanding agents rely on a harness to acquire evidence, use tools, and reason, but improving it requires substantial effort. Recent self evolution methods seek to optimize harnesses through execution feedback to reduce human intervention. However, existing methods often rely on annotated video questions and answers or focus on updating model parameters, leaving harness evolution from unlabeled videos underexplored. VideoEvoHarness jointly evolves a Questioner and a Solver harness from unlabeled videos with frozen model parameters. The Questioner constructs questions and computes reference answers directly from video memory records. Question quality assessments and Solver execution trajectories guide question generation policy revisions. The Solver supports evolving skills, strategies, hyperparameters, and tools using execution feedback. Executable strategies define workflows in code, reducing repeated interpretation of natural language instructions. Each round, candidate harnesses are compared on identical validation questions, with validated improvements retained for later use. Experiments on benchmarks and a dedicated benchmark question set, using videos disjoint from evolution videos, show higher overall accuracy than initially and transfer gains across backbones. Overall accuracy on this set also improves progressively across rounds. This supports our foundational framework for harness evolution from unlabeled videos, opening a promising direction for self evolving video agents. Code is available at https://github.com/Wei-Xin-Xu/VideoEvoHarness.
- Abstract（参考訳）: ビデオ理解エージェントは、証拠の取得、ツールの使用、推論にハーネスを頼っているが、それを改善するにはかなりの努力が必要だ。
近年の自己進化的手法は,人的介入を減らすために,実行フィードバックを通じて活用を最適化することを目指している。
しかし、既存の手法では、注釈付きビデオの質問や回答に頼ったり、モデルパラメータの更新に焦点をあてることが多く、未ラベルのビデオの進化は未調査のままである。
VideoEvoHarnessは、凍結したモデルパラメータを持つ未ラベルのビデオから、質問者とSolverのハーネスを共同で進化させる。
質問者は質問を作成し、ビデオメモリレコードから直接参照回答を算出する。
質問品質評価とSolver実行トラジェクトリは質問生成ポリシーの改訂をガイドする。
Solverは、進化するスキル、戦略、ハイパーパラメータ、実行フィードバックを使ったツールをサポートする。
実行可能な戦略は、コード内のワークフローを定義し、自然言語命令の繰り返し解釈を減らす。
各ラウンドにおいて、候補ハーネスは同一の検証質問で比較され、後の使用のために検証された改善が維持される。
ベンチマーク実験と専用のベンチマーク質問セットでは、進化的ビデオから切り離されたビデオを使用して、当初よりも全体的な精度が向上し、バックボーン間での転送利得が向上した。
このセットの全体的な精度は、ラウンド全体で徐々に改善される。
これは、ラベルのないビデオから進化を活用するための基盤となるフレームワークをサポートし、自己進化型のビデオエージェントにとって有望な方向を開く。
コードはhttps://github.com/Wei-Xin-Xu/VideoEvoHarness.comで入手できる。
関連論文リスト
- VideoEvolve: Evolving Agent Harnesses for Video Temporal Grounding [7.097597769125374]
ビデオ時間グラウンドは、自然言語クエリからビデオ内のイベントをローカライズすることを目的としている。
フリーズされたビデオ言語モデルを中心に構築されたエージェントに対して、このハーネスは、クエリが時間的予測をどのようにガイドするか、そしてそれらの予測がどのように洗練されるかを決定する。
ビデオ時間グラウンドのためのエージェントハーネスを自動的に進化させるフレームワークであるVideoEvolveを紹介する。
論文 参考訳（メタデータ） (2026-10-01T14:24:24Z) - Video-RSI: Recursive Self-Improvement of Video Understanding Agents via Harness Evolution [7.75361567482227]
ビデオ理解エージェントは、実行可能なハーネスを介して証拠を取得する。
実行トレースは、現在のハーネスによって取得された証拠のみを含む。
本稿では,ビデオ理解エージェントが自身の言語モデルを用いてハーネスを改良する自己改善フレームワークであるVideo-RSIを紹介する。
論文 参考訳（メタデータ） (2026-09-29T16:24:02Z) - From Evaluation to Enhancement: Benchmarking and Improving Think-with-Video Reasoning for Video Generative Models [42.398664944109676]
VWG-Bench (Video World Generalist Benchmark)は、9つの推論次元と38のきめ細かいタスクにまたがる包括的なベンチマークである。
本稿では,モデルに依存しないプロンプトリライタであるVid-PRE (Video Reason Prompter and Enhancer)を提案する。
論文 参考訳（メタデータ） (2026-09-10T08:40:58Z) - Video-Zero: Self-Evolution Video Understanding [54.992296368077085]
ビデオの自己進化の鍵となるボトルネックは、単に困難ではなく、根拠である、と我々は主張する。
我々は,時間的局所的な証拠に自己進化を集中させる,アノテーションのない質問-回答共進化フレームワークであるVideo-Zeroを提案する。
Video-Zeroは、複数のビデオVLMバックボーンを一貫して改善し、エビデンス中心の自己進化の有効性と転送性を示す。
論文 参考訳（メタデータ） (2026-05-14T11:56:14Z) - EvoGround: Self-Evolving Video Agents for Video Temporal Grounding [37.5259637328671]
ビデオ時間グラウンド(VTG)は、未トリミングされたビデオと自然言語クエリを入力として取り、クエリに最もよくマッチする時間モーメントをローカライズする。
EvoGroundは、2つの結合した自己進化エージェント、提案者、解決者からなるフレームワークで、人間のラベル付きデータなしで生のビデオから時間的グラウンドを学習する。
論文 参考訳（メタデータ） (2026-05-13T17:25:51Z) - Think, Then Verify: A Hypothesis-Verification Multi-Agent Framework for Long Video Understanding [25.82963105515627]
VideoHV-Agentは、構造化仮説検証プロセスとしてビデオ質問応答を再構成するフレームワークである。
ビデオHV-Agentは,解釈性の向上,論理的音質の向上,計算コストの低減を実現し,最先端の精度を実現する。
論文 参考訳（メタデータ） (2026-03-05T09:16:07Z) - Video-CoM: Interactive Video Reasoning via Chain of Manipulations [78.64256470920166]
Interactive Video Reasoningを導入し、モデルが「ビデオについて考える」ことができるようにします。
当社のモデルである Video CoM は,CoM (Chain of Manipulations) を介し,証拠を収集・精査するための反復的な視覚行動を行う。
Video CoMは9つのビデオ推論ベンチマークで強い結果を出し、最近のアートモデルと比べて平均性能を3.6%向上させた。
論文 参考訳（メタデータ） (2025-11-28T18:59:57Z) - VideoQA in the Era of LLMs: An Empirical Study [108.37456450182054]
Video Large Language Models (Video-LLMs) は盛んであり、多くのビデオ直感的なタスクを進歩させている。
本研究は,ビデオQAにおけるビデオLLMの行動に関するタイムリーかつ包括的な研究を行う。
分析の結果,ビデオ-LLMはビデオQAで優れており,文脈的手がかりを相関させ,様々な映像コンテンツに関する質問に対して妥当な応答を生成できることがわかった。
しかし、時間的コンテンツ順序の推論とQA関連時間的モーメントのグラウンド化の両方において、ビデオの時間性を扱うモデルが失敗する。
論文 参考訳（メタデータ） (2024-08-08T05:14:07Z) - Tem-adapter: Adapting Image-Text Pretraining for Video Question Answer [79.20605034378187]
ビデオ言語事前学習モデルは、ビデオ質問応答タスクの指導において顕著な成功を収めている。
ビデオシーケンスの長さのため、大規模なビデオベースモデルのトレーニングは、画像ベースモデルのトレーニングよりもかなりコストがかかる。
これは、画像ドメインとビデオドメインの間に明らかなギャップがあるにもかかわらず、画像ベースの事前学習からの知識を活用する動機となります。
論文 参考訳（メタデータ） (2023-08-16T15:00:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。