論文の概要: Improving Spatial-Temporal Reasoning in Video-Language Models with Structured Video Prompting
- arxiv url: http://arxiv.org/abs/2608.28666v1
- Date: Sun, 23 Aug 2026 20:16:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:30.696985
- Title: Improving Spatial-Temporal Reasoning in Video-Language Models with Structured Video Prompting
- Title（参考訳）: 構造化ビデオプロンプティングを用いたビデオ言語モデルにおける空間時間推論の改善
- Abstract要約: ビデオ言語モデル(VLM)は、時間とともにイベントを追跡し、特定の空間領域で答えをグラウンド化する必要があるタスクに対して脆弱なままである。
本稿では,軽量な空間構造と時間構造で入力映像を増強する学習不要な推論時間手法である構造化ビデオプロンプトを導入する。
2つの相補的なビデオベンチマークと2つのオープンなビデオ言語モデルでこのアプローチを評価する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Video-language models (VLMs) remain brittle on tasks that require tracking events over time and grounding answers in specific spatial regions. We propose that part of this limitation can be addressed through better organization of visual evidence at inference time. We introduce structured video prompting, a training-free inference-time method that augments the input video with lightweight spatial structure and temporal structure, providing explicit anchors for organizing evidence across space and time without changing model weights or decoding and without altering the question prompt in the main comparison. We evaluate this approach on two complementary video benchmarks and two open video-language models. Across these settings, structured inputs improve performance in several cases, with gains varying by model and task. Our findings suggest that some failures of VLMs arise not only from reasoning capacity, but also from how video evidence is presented at inference time. These results highlight structured video prompting as a simple and practical direction for improving video understanding.
- Abstract（参考訳）: ビデオ言語モデル(VLM)は、時間とともにイベントを追跡し、特定の空間領域で答えをグラウンド化する必要があるタスクに対して脆弱なままである。
この制限の一部は、推論時の視覚的エビデンスをよりよく構成することで対処できると提案する。
本研究では,空間的構造と時間的構造によって入力映像を拡張し,モデル重みや復号を変更せずに,主比較において質問プロンプトを変更することなく,空間的・時間的に証拠を整理するための明示的なアンカーを提供する,学習不要な推論時間プロンプト手法である構造化ビデオプロンプトを導入する。
2つの相補的なビデオベンチマークと2つのオープンなビデオ言語モデルでこのアプローチを評価する。
これらの設定全体で、構造化された入力はいくつかのケースでパフォーマンスを改善し、モデルとタスクによってゲインが変化する。
以上の結果から,VLMの故障は推論能力だけでなく,推論時にビデオエビデンスがどのように提示されるかからも生じることが示唆された。
これらの結果は、ビデオ理解を改善するためのシンプルで実践的な方向として、構造化ビデオプロンプトを強調している。
関連論文リスト
- Training-Free Temporal Abstraction for General Video Understanding [12.051446549851844]
映像を意味的に意味のある時間的チャンクに分割する訓練不要なSTITCHを提案する。
我々は,汎用イベント境界検出,言語に基づくモーメント検索,長ビデオVLM推論のためのフレーム選択についてSTITCHを評価する。
論文 参考訳（メタデータ） (2026-08-28T05:10:54Z) - VideoWeave: A Data-Centric Approach for Efficient Video Understanding [54.5804686337209]
我々は、合成長文学習サンプルを構築して、データ効率を改善するためのシンプルで効果的な方法であるVideoWeaveを提案する。
VideoWeaveは、利用可能なビデオテキストペアを再編成して、固定計算内で時間的多様性を拡大する。
我々の結果は、アーキテクチャを変更するのではなく、トレーニングデータを再編成することで、ビデオ言語モデルをトレーニングするためのシンプルでスケーラブルなパスを提供できることを強調している。
論文 参考訳（メタデータ） (2026-01-09T20:55:26Z) - VideoPerceiver: Enhancing Fine-Grained Temporal Perception in Video Multimodal Large Language Models [9.896951371033229]
VideoPerceiverはビデオ理解における微細な認識を高めるビデオマルチモーダル大言語モデル(VMLLM)である。
そこで我々は,キャプションからイベントアクションキーワードを抽出し,対応するキーフレームを識別し,隣接するフレームに置き換えることで,キー情報伝達ビデオを構築する。
VideoPerceiverは、詳細なアクション理解とまれなイベントキャプションベンチマークにおいて、最先端のVMLLMを大幅に上回っている。
論文 参考訳（メタデータ） (2025-11-24T06:57:26Z) - Video-LMM Post-Training: A Deep Dive into Video Reasoning with Large Multimodal Models [78.32948112203228]
ビデオ理解はコンピュータビジョンにおける最も困難なフロンティアである。
近年,映像理解タスクにおいて,映像多時間モデルが顕著に出現している。
Surveyは、ビデオ-LMM能力を向上するための統一的なフレームワークを研究者や実践者に提供することを目的としている。
論文 参考訳（メタデータ） (2025-10-06T17:10:44Z) - Episodic Memory Representation for Long-form Video Understanding [52.33907540905242]
大きなビデオ言語モデルは、一般的なビデオ理解において優れているが、長い形式のコンテキストウィンドウの制限に苦労する。
人間の記憶の原理にインスパイアされたトレーニングフリーのフレームワークであるVideo-EMを紹介する。
Video-EMでは、各ベースラインに対して4-9%のパフォーマンス向上を実現し、フレームの削減を実現している。
論文 参考訳（メタデータ） (2025-08-13T04:33:07Z) - Low-Cost Test-Time Adaptation for Robust Video Editing [4.707015344498921]
ビデオ編集は、生の映像を特定の視覚的・物語的目的に沿ったコヒーレントな作品に変換するコンテンツ創造の重要な要素である。
既存のアプローチでは、複雑なモーションパターンのキャプチャの失敗による時間的不整合、UNetバックボーンアーキテクチャの制限による単純なプロンプトへの過度な適合、という2つの大きな課題に直面している。
自己教師型補助タスクによる推論中に各テストビデオの最適化をパーソナライズする軽量なテスト時間適応フレームワークであるVid-TTAを提案する。
論文 参考訳（メタデータ） (2025-07-29T14:31:17Z) - Universal Video Temporal Grounding with Generative Multi-modal Large Language Models [59.781211641591405]
本稿では,自然言語クエリに基づいて映像中の時間的モーメントを正確に局所化する,ユニバーサルビデオ時間的グラウンドの計算モデルを提案する。
生成型マルチモーダル大言語モデル(MLLM)の強力な視覚言語理解機能を活用した,堅牢で普遍的なビデオグラウンドモデルUniTimeを提案する。
我々のモデルは、複雑な言語クエリを解釈しながら、多様なビュー、ジャンル、長さの動画を効果的に処理する。
論文 参考訳（メタデータ） (2025-06-23T17:53:18Z) - STOP: Integrated Spatial-Temporal Dynamic Prompting for Video Understanding [48.12128042470839]
本稿では,STOP(Spatial-Temporal dynamic Prompting)モデルを提案する。
2つの相補的なモジュールで構成され、フレーム内の空間的プロンプトとフレーム間の時間的プロンプトである。
STOPは、最先端のメソッドに対して一貫して優れたパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-03-20T09:16:20Z) - InternVideo2: Scaling Foundation Models for Multimodal Video Understanding [51.129913789991924]
InternVideo2は、ビデオファウンデーションモデル(FM)の新たなファミリーで、ビデオ認識、ビデオ音声タスク、ビデオ中心タスクの最先端の結果を達成する。
私たちのコアデザインは、マスク付きビデオモデリング、クロスコントラスト学習、予測トークンを統合し、最大6Bビデオサイズまでスケールアップするプログレッシブトレーニングアプローチです。
論文 参考訳（メタデータ） (2024-03-22T17:57:42Z) - VidCoM: Fast Video Comprehension through Large Language Models with Multimodal Tools [44.78291853329394]
textbfVidCoMは、Large Language Models (LLM)を活用して、軽量なビジュアルツールを使用して動画を推論する高速適応フレームワークである。
InsOVERアルゴリズムは、言語命令の分解とビデオイベントの間の効率的なハンガリー語マッチングに基づいて、対応するビデオイベントを特定する。
論文 参考訳（メタデータ） (2023-10-16T17:05:56Z) - Structured Video-Language Modeling with Temporal Grouping and Spatial Grounding [112.3913646778859]
簡単なビデオ言語モデリングフレームワークであるS-ViLMを提案する。
これには、学習領域オブジェクトのアライメントと時間認識機能を促進するために、クリップ間の空間的接地と、クリップ内の時間的グループ化という、2つの新しい設計が含まれている。
S-ViLMは4つの下流タスクにおいて、最先端の手法を大幅に超えている。
論文 参考訳（メタデータ） (2023-03-28T22:45:07Z) - Revisiting the "Video" in Video-Language Understanding [56.15777956496518]
本稿では,ビデオ言語解析の新しいモデルであるアテンポラルプローブ(ATP)を提案する。
現在のビデオ言語ベンチマークの限界とポテンシャルを特徴付ける。
ATPをフルビデオレベル時間モデルに効果的に統合することで、効率と最先端の精度が向上することを示す。
論文 参考訳（メタデータ） (2022-06-03T17:57:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。