論文の概要: Video Panels for Long Video Understanding
- arxiv url: http://arxiv.org/abs/2509.23724v1
- Date: Sun, 28 Sep 2025 08:05:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-30 22:32:19.401172
- Title: Video Panels for Long Video Understanding
- Title（参考訳）: 長いビデオ理解のためのビデオパネル
- Authors: Lars Doorenbos, Federico Spurio, Juergen Gall,
- Abstract要約: 本稿では,長時間ビデオ理解に特化して設計された視覚的プロンプト戦略を提案する。
複数のフレームを1つの画像に組み合わせることで、時間分解能の空間的詳細を効果的に取り除くことができる。
我々のアプローチは、トレーニングフリー、パラメータフリー、モデル非依存であり、既存のビデオ言語モデルにシームレスに統合できる。
- 参考スコア（独自算出の注目度）: 25.560912635941662
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent Video-Language Models (VLMs) achieve promising results on long-video understanding, but their performance still lags behind that achieved on tasks involving images or short videos. This has led to great interest in improving the long context modeling of VLMs by introducing novel modules and additional complexity. % additional training time. In this paper, we take a different approach: rather than fine-tuning VLMs with the limited data available, we attempt to maximize the performance of existing models. To this end, we propose a novel visual prompting strategy specifically designed for long-video understanding. By combining multiple frames as panels into one image, we effectively trade off spatial details for temporal resolution. Our approach is training-free, parameter-free, and model-agnostic, and can be seamlessly integrated into existing VLMs. Extensive experiments on five established benchmarks across a wide range of model architectures, sizes, and context windows confirm the consistency of our approach. For the TimeScope (Long) dataset, which has the longest videos, the accuracy for video question answering is improved by up to 19.4\%. Overall, our method raises the bar for long video understanding models. We will make our code available upon acceptance.
- Abstract（参考訳）: 最近のビデオ言語モデル(VLM)は、長いビデオ理解において有望な結果をもたらすが、画像やショートビデオを含むタスクで達成されたパフォーマンスは、まだ遅れている。
これにより、新しいモジュールの導入と複雑さの追加により、VLMの長期コンテキストモデリングの改善に大きな関心が寄せられている。
%増量した。
本稿では,限られたデータしか持たないVLMを微調整するのではなく,既存のモデルの性能を最大化しようと試みる。
そこで本研究では,映像理解に特化して設計された視覚的プロンプト戦略を提案する。
複数のフレームを1つの画像に組み合わせることで、時間分解能の空間的詳細を効果的に取り除くことができる。
我々のアプローチは、トレーニングフリー、パラメータフリー、モデル非依存であり、既存のVLMにシームレスに統合できる。
幅広いモデルアーキテクチャ、サイズ、コンテキストウィンドウにまたがる5つの確立されたベンチマークに関する大規模な実験は、我々のアプローチの一貫性を確認します。
最長ビデオを持つTimeScope(Long)データセットでは、ビデオ質問応答の精度が19.4\%向上している。
全体として,本手法は長大な映像理解モデルのバーを高くする。
私たちは受け入れ次第コードを利用できるようにします。
関連論文リスト
- VideoBrain: Learning Adaptive Frame Sampling for Long Video Understanding [9.415923244280542]
VideoBrainは、Vision-Language Modelsが学習したサンプリングポリシーを通じて視覚情報を適応的に取得することを可能にするエンドツーエンドフレームワークである。
提案手法は,ビデオ間の意味検索を行うCLIPエージェントと,時間間隔内での高密度サンプリングを行うUniformエージェントの2つの補完エージェントを特徴とする。
論文 参考訳（メタデータ） (2026-02-04T00:08:35Z) - Temporal Chain of Thought: Long-Video Understanding by Thinking in Frames [70.93346841539626]
本稿では,ビデオ質問応答のための推論戦略である思考の時間的連鎖について述べる。
VLM自体を使用して、ビデオから最も関連性の高いフレームを反復的に識別し、抽出する。
推論時により多くの計算を利用すれば、最も関連性の高いコンテキストを選択することで、精度が向上することを示す。
論文 参考訳（メタデータ） (2025-07-01T18:39:26Z) - Universal Video Temporal Grounding with Generative Multi-modal Large Language Models [59.781211641591405]
本稿では,自然言語クエリに基づいて映像中の時間的モーメントを正確に局所化する,ユニバーサルビデオ時間的グラウンドの計算モデルを提案する。
生成型マルチモーダル大言語モデル(MLLM)の強力な視覚言語理解機能を活用した,堅牢で普遍的なビデオグラウンドモデルUniTimeを提案する。
我々のモデルは、複雑な言語クエリを解釈しながら、多様なビュー、ジャンル、長さの動画を効果的に処理する。
論文 参考訳（メタデータ） (2025-06-23T17:53:18Z) - Moment Sampling in Video LLMs for Long-Form Video QA [22.638644170177013]
モーメントサンプリング(moment sample)とは、モデルが最も関係のあるフレームを質問の文脈に応じて選択できるモデルに依存しないアプローチである。
与えられた質問に最も関係のあるフレームに焦点をあてることで、ビデオLLMにおける長大なビデオQA性能を向上させることができる。
論文 参考訳（メタデータ） (2025-06-18T03:23:56Z) - STORM: Token-Efficient Long Video Understanding for Multimodal LLMs [116.4479155699528]
STORMは、イメージエンコーダとビデオLLMの間に専用のテンポラリエンコーダを組み込んだ、新しいアーキテクチャである。
我々は,STORMが様々な長いビデオ理解ベンチマークにおいて最先端の結果を達成することを示す。
論文 参考訳（メタデータ） (2025-03-06T06:17:38Z) - InternVideo2.5: Empowering Video MLLMs with Long and Rich Context Modeling [56.130911402831906]
本稿では,LRC(Long and rich context)モデリングによるビデオ大言語モデル(LM)の性能向上を目的とする。
InternVideo2.5の新バージョンを開発し、ビデオの細かい詳細を知覚するオリジナルのMLLMの能力の向上に焦点をあてる。
実験により、このユニークな設計ML LRCは、主流理解ベンチマークにおけるビデオMLLMの結果を大幅に改善することを示した。
論文 参考訳（メタデータ） (2025-01-21T18:59:00Z) - GIRAFFE: Design Choices for Extending the Context Length of Visual Language Models [20.976319536167512]
我々は、視覚言語モデルの長期的性能を高める効果的なソリューションを確立することを目指している。
本稿では, 有効長が128Kまで拡張されたジリンを提案する。
コード、データ、モデルをオープンソースにします。
論文 参考訳（メタデータ） (2024-12-17T09:57:21Z) - Visual Context Window Extension: A New Perspective for Long Video Understanding [45.134271969594614]
我々は、コンテキストウィンドウの観点から、長いビデオ理解の課題に取り組む。
視覚的コンテキストウィンドウを拡張し,LMMを長時間の映像理解タスクに適用することを提案する。
ビデオフレーム数の増加に伴い,本手法は連続的に性能を向上する。
論文 参考訳（メタデータ） (2024-09-30T07:25:16Z) - MA-LMM: Memory-Augmented Large Multimodal Model for Long-Term Video Understanding [66.56100008577134]
本研究は,長期的映像理解のための効率的かつ効果的なモデルの設計に焦点を当てる。
我々は,過去の映像情報をメモリバンクに格納し,オンラインで動画を処理することを提案する。
我々のモデルは、複数のデータセットにわたって最先端のパフォーマンスを達成することができる。
論文 参考訳（メタデータ） (2024-04-08T17:59:24Z) - LongVLM: Efficient Long Video Understanding via Large Language Models [55.813206751150716]
LongVLMはビデオ理解のためのシンプルだが強力なビデオLLMである。
ローカル情報とグローバル情報の両方を含むビデオ表現をエンコードする。
我々のモデルは、長いビデオ理解のためのより正確な応答を生成する。
論文 参考訳（メタデータ） (2024-04-04T11:33:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。