論文の概要: VideoMind: A Chain-of-LoRA Agent for Long Video Reasoning

• arxiv url: http://arxiv.org/abs/2503.13444v1
• Date: Mon, 17 Mar 2025 17:59:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:34:55.249730
• Title: VideoMind: A Chain-of-LoRA Agent for Long Video Reasoning
• Title（参考訳）: VideoMind:Long Video ReasoningのためのChain-of-LoRAエージェント
• Authors: Ye Liu, Kevin Qinghong Lin, Chang Wen Chen, Mike Zheng Shou,
• Abstract要約: VideoMindは、ビデオ理解のための新しいビデオ言語エージェントである。 ビデオの時間的推論に不可欠な機能を特定し,ロールベースのエージェントワークフローを開発する。 軽量なLoRAアダプタによるシームレスなロールスイッチングを実現する新しいChain-of-LoRA戦略を提案する。
• 参考スコア（独自算出の注目度）: 33.37714717781103
• License:
• Abstract: Videos, with their unique temporal dimension, demand precise grounded understanding, where answers are directly linked to visual, interpretable evidence. Despite significant breakthroughs in reasoning capabilities within Large Language Models, multi-modal reasoning - especially for videos - remains unexplored. In this work, we introduce VideoMind, a novel video-language agent designed for temporal-grounded video understanding. VideoMind incorporates two key innovations: (i) We identify essential capabilities for video temporal reasoning and develop a role-based agentic workflow, including a planner for coordinating different roles, a grounder for temporal localization, a verifier to assess temporal interval accuracy, and an answerer for question-answering. (ii) To efficiently integrate these diverse roles, we propose a novel Chain-of-LoRA strategy, enabling seamless role-switching via lightweight LoRA adaptors while avoiding the overhead of multiple models, thus balancing efficiency and flexibility. Extensive experiments on 14 public benchmarks demonstrate that our agent achieves state-of-the-art performance on diverse video understanding tasks, including 3 on grounded video question-answering, 6 on video temporal grounding, and 5 on general video question-answering, underscoring its effectiveness in advancing video agent and long-form temporal reasoning.
• Abstract（参考訳）: ビデオは、そのユニークな時間次元で、答えが直接視覚的、解釈可能な証拠に結びついている、正確な根拠付き理解を要求する。 大規模言語モデルにおける推論機能の重大なブレークスルーにもかかわらず、マルチモーダル推論(特にビデオ)は、まだ探索されていない。 本研究では,時間的映像理解のためのビデオ言語エージェントであるVideoMindを紹介する。 VideoMindには2つの重要なイノベーションが含まれている。 一 時間的推論に欠かせない機能を特定し、異なる役割をコーディネートするためのプランナー、時間的局所化のためのグラウンド、時間的間隔の精度を評価する検証器、質問応答器を含むロールベースのエージェントワークフローを開発する。 2) これらの多様な役割を効率的に統合するために, 軽量なLoRAアダプタによるシームレスなロールスイッチングを実現するとともに, 複数のモデルのオーバーヘッドを回避し, 効率と柔軟性のバランスをとる新しいChain-of-LoRA戦略を提案する。 14件の公開ベンチマーク実験の結果,映像質問応答3件,ビデオ時間的グラウンド6件,ビデオ時間的グラウンド5件を含む多様な映像理解タスクにおいて,エージェントが最先端の映像理解タスクを達成し,映像エージェントの進歩と長時間の時間的推論におけるその効果を実証した。

関連論文リスト

• MomentSeeker: A Comprehensive Benchmark and A Strong Baseline For Moment Retrieval Within Long Videos [62.01402470874109]
  我々は、一般的な長時間ビデオモーメント検索タスクの処理において、検索モデルの性能を評価するベンチマークであるMomentSeekerを提案する。 平均で500秒を超える長いビデオが組み込まれており、長時間ビデオのモーメント検索に特化した最初のベンチマークとなっている。 幅広いタスクカテゴリ(Moment Search, Caption Alignment, Image-conditioned Moment Search, Video-conditioned Moment Searchなど)と多様なアプリケーションシナリオをカバーする。 さらに、MLLMベースのLVMRレトリバーを合成データ上に微調整し、ベンチマークで高い性能を示す。
  論文  参考訳（メタデータ） (2025-02-18T05:50:23Z)
• SEAL: Semantic Attention Learning for Long Video Representation [31.994155533019843]
  本稿では,長編ビデオの新たな統一表現であるセマンティック・アテンション・ラーニング(SEAL)を紹介する。 計算複雑性を低減するために、長いビデオは3つの異なるタイプのセマンティックエンティティに分解される。 私たちの表現は多目的であり、様々な長いビデオ理解タスクにまたがるアプリケーションを可能にします。
  論文  参考訳（メタデータ） (2024-12-02T18:46:12Z)
• STEP: Enhancing Video-LLMs' Compositional Reasoning by Spatio-Temporal Graph-guided Self-Training [87.58996020705258]
  Video Large Language Models (Video-LLMs) は近年,ビデオ理解タスクに強い派生性を示している。 ビデオLLMは、多段階の明示的時間的推論を必要とする構成的推論と、オブジェクトの関係、相互作用、イベントに苦労する。 本稿では,ビデオLLMが生ビデオから推論に富んだ微調整データを生成し,自己改善を実現するための,グラフ誘導型自己学習手法STEPを提案する。
  論文  参考訳（メタデータ） (2024-11-29T11:54:55Z)
• SALOVA: Segment-Augmented Long Video Assistant for Targeted Retrieval and Routing in Long-Form Video Analysis [52.050036778325094]
  本稿では,SALOVA: Segment-Augmented Video Assistantを紹介する。 87.8Kビデオの高品質なコレクションをセグメントレベルで高密度にキャプションし、シーンの連続性を捕捉し、リッチなコンテキストを維持する。 本フレームワークは,クエリに応答して,関連ビデオセグメントの正確な識別と検索を可能にすることで,現在のビデオLMMの限界を緩和する。
  論文  参考訳（メタデータ） (2024-11-25T08:04:47Z)
• Motion-Grounded Video Reasoning: Understanding and Perceiving Motion at Pixel Level [63.18855743293851]
  Motion-Grounded Video Reasoningは、入力された質問に応じて視覚的回答(ビデオセグメンテーションマスク)を必要とする新しい動作理解タスクである。 このタスクは、質問による暗黙の推論を可能にすることで、明示的なアクション/モーショングラウンドの既存の基盤作業を、より一般的なフォーマットに拡張する。 我々はMotion-Grounded Video Reasoning Assistant(MORA)という新しいベースラインモデルを導入する。
  論文  参考訳（メタデータ） (2024-11-15T03:45:09Z)
• Grounded Multi-Hop VideoQA in Long-Form Egocentric Videos [35.974750867072345]
  本稿では,長めの自己中心型ビデオにおけるMH-VidQA(Multi-Hop Video Question Answering)の問題について考察する。 時間的エビデンスを伴う複数ホップ質問応答ペアを生成するための自動パイプラインを開発する。 次に,大規模言語モデル (GeLM) を用いたグラウンディング散乱証拠 (Gunding Scattered Evidence with Large Language Model) と呼ばれる新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-08-26T17:58:47Z)
• VideoAgent: A Memory-augmented Multimodal Agent for Video Understanding [28.316828641898375]
  VideoAgent: 1)は、一般的な時間的イベント記述と、ビデオのオブジェクト中心のトラッキング状態の両方を格納する構造化メモリを構築する。 2) 入力タスククエリが与えられた場合,ビデオセグメントのローカライゼーションやオブジェクトメモリクエリなどのツールと,他の視覚基盤モデルを用いて対話的にタスクを解く。
  論文  参考訳（メタデータ） (2024-03-18T05:07:59Z)
• MVBench: A Comprehensive Multi-modal Video Understanding Benchmark [63.14000659130736]
  本稿では、MVBenchという総合的なマルチモーダルビデオ理解ベンチマークを紹介する。 まず、これらの時間的タスクを定義するための新しい静的-動的手法を提案する。 そして,タスク定義に従って,公開ビデオアノテーションを複数選択QAに自動的に変換し,各タスクを評価する。
  論文  参考訳（メタデータ） (2023-11-28T17:59:04Z)
• Video-based Person Re-identification with Long Short-Term Representation Learning [101.62570747820541]
  ビデオベースの人物再識別(V-ReID)は、オーバーラップしないカメラで撮影した生のビデオから特定の人物を回収することを目的としている。 本稿では,V-ReIDのためのLong Short-Term Representation Learning(LSTRL)という新しいディープラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-07T16:22:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。