論文の概要: VidHarness: Evolving Agent Harnesses for Cost-Efficient Long Video Understanding

• arxiv url: http://arxiv.org/abs/2609.38413v1
• Date: Tue, 29 Sep 2026 19:06:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.624473
• Title: VidHarness: Evolving Agent Harnesses for Cost-Efficient Long Video Understanding
• Title（参考訳）: VidHarness: コスト効率のよい長時間ビデオ理解のためのエージェントハーネスの進化
• Abstract要約: VidHarnessはコスト効率のよいロングビデオ理解のためのハーネス設計を自動化するフレームワークである。 我々は,いくつかの質問に新たなハーネスをスクリーニングし,期待できるもののみを促進する不確実性認識多忠実性検証を導入する。 VidHarnessは、LongVideoBench、Video-MME、およびVideo-Holmesで、最先端のビデオエージェントを11.2ドルまで上回っている。
• 参考スコア（独自算出の注目度）: 8.512576173560758
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Vision-language models (VLMs) can answer questions about hour-long videos, but processing every frame is prohibitively expensive, even though the evidence for a question usually spans only a few seconds. Video agents, i.e., harness programs wrapped around a frozen VLM, address this by observing the video selectively, yet existing harnesses are hand-crafted by experts through slow build-and-test cycles. We propose VidHarness, a framework that automates harness design for cost-efficient long video understanding, in which a harness proposer iteratively evolves harnesses based on execution feedback from an evolution environment. To escape the local optima of greedy refinement, we organize the evolution as Monte Carlo tree search (MCTS), and to reduce the evaluation cost, we integrate uncertainty-aware multi-fidelity validation, which screens new harnesses on a few questions and promotes only the promising ones. Since the best harness varies with the frame budget, we further introduce a mixture-of-harness that routes each question to a harness specialized for its budget. VidHarness sets new state-of-the-art results on LongVideoBench, Video-MME, and Video-Holmes, outperforms the strongest hand-crafted video agent by up to $11.2$ points, and generalizes to the knowledge-intensive benchmarks Video-MMMU and MMVU with fewer than half of the frames of uniform sampling.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、1時間のビデオに関する質問に答えることができますが、すべてのフレームを処理するのは非常に高価です。 ビデオエージェント、すなわち凍結したVLMに包まれたハーネスプログラムは、ビデオを選択的に観察することでこの問題に対処するが、既存のハーネスは遅いビルド・アンド・テストサイクルを通じて専門家によって手作りされる。 コスト効率のよい長時間ビデオ理解のためのハーネス設計を自動化するフレームワークであるVidHarnessを提案する。 そこで我々は,モンテカルロ木探索 (MCTS) として進化を組織し,その評価コストを削減し,いくつかの質問に新たなハーネスをスクリーニングし,期待できるもののみを促進する不確実性を考慮した多面性検証を統合する。 最適なハーネスはフレーム予算によって異なるため、各質問をその予算に特化したハーネスにルーティングする混合ハーネスも導入する。 VidHarnessは、LongVideoBench、Video-MME、Video-Holmesに新しい最先端の結果をセットし、最強の手作りビデオエージェントを最大11.2ドルポイント上回り、一様サンプリングのフレームの半分未満の知識集約型ベンチマークであるVideo-MMMUとMMVUに一般化する。

関連論文リスト

• Online Video Agent Harness for Long Video Understanding [35.044765942623876]
  長いビデオ理解は、しばしば視覚的な針・ア・ヘイスタック問題のように振る舞う。 既存のビデオエージェントは、クエリに依存しないオフライン前処理やアドホックツールセットに依存することが多い。 我々は、ビデオ理解のための純粋にオンラインビデオエージェントであるVideoXAgentを紹介する。
  論文  参考訳（メタデータ） (2026-09-11T13:13:03Z)
• Video-MTR: Reinforced Multi-Turn Reasoning for Long Video Understanding [33.58579390725519]
  Video-MTRは、反復的なキーセグメントの選択と質問理解を可能にするために設計された強化されたマルチターン推論フレームワークである。 単一のターンで予測を生成する従来のビデオ推論パイプラインとは異なり、Video-MTRは複数のターンで推論を実行する。 中間推論プロセスを保証するため,新たな二段階報酬システムを導入する。
  論文  参考訳（メタデータ） (2025-08-28T06:55:08Z)
• SF2T: Self-supervised Fragment Finetuning of Video-LLMs for Fine-Grained Understanding [23.96372422130216]
  ビデオベースのLarge Language Models (VideoVid-LLMs) は近年大きく進歩している。 彼らは細かな理解に苦しむが、特に視覚力学やビデオの詳細などの側面においてである。 これらの欠点に対処するため、自己監督的断片化タスクにおける細調整ビデオLLMは、そのきめ細かい映像理解能力を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-04-10T13:40:34Z)
• MomentSeeker: A Task-Oriented Benchmark For Long-Video Moment Retrieval [61.414236415351446]
  長ビデオモーメント検索(LMVR)のための新しいベンチマークであるMomentSeekerを提案する。 MomentSeekerは、長く多様なビデオに基づいて作られ、平均1200秒以上持続する。 グローバルレベル、イベントレベル、オブジェクトレベル、アクション認識、オブジェクトローカライゼーション、因果推論といった一般的なタスクをカバーする。
  論文  参考訳（メタデータ） (2025-02-18T05:50:23Z)
• Koala: Key frame-conditioned long video-LLM [70.52369588364992]
  我々は、より長いビデオに一般化するために、事前訓練されたvLLMに適応するための軽量で自己監督型の長ビデオLLM(Koala)を提案する。 提案手法は,全タスクの絶対精度を3～6%向上させる。 意外なことに、我々のアプローチは、訓練済みのvLLMが長いビデオを理解するのに役立つだけでなく、短期的な行動認識における精度を向上させることを実証的に示す。
  論文  参考訳（メタデータ） (2024-04-05T18:33:04Z)
• LvBench: A Benchmark for Long-form Video Understanding with Versatile Multi-modal Question Answering [49.68215536040896]
  LvBenchは多目的なマルチモーダル質問応答のための長文ビデオ理解ベンチマークである。 ビデオは70秒から4時間で、シングルシーン、マルチシーン、フルシーンのコンテキストをカバーしています。 本データセットは、慎重に選択された100本の映画から得られた20,061組の質問応答対からなる。
  論文  参考訳（メタデータ） (2023-12-08T03:33:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。