論文の概要: T2SGrid: Temporal-to-Spatial Gridification for Video Temporal Grounding

• arxiv url: http://arxiv.org/abs/2603.06973v1
• Date: Sat, 07 Mar 2026 01:25:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-10 15:13:13.5122
• Title: T2SGrid: Temporal-to-Spatial Gridification for Video Temporal Grounding
• Title（参考訳）: T2SGrid:ビデオ時間的接地のための時間-空間的格子化
• Authors: Chaohong Guo, Yihan He, Yongwei Nie, Fei Ma, Xuemiao Xu, Chengjiang Long,
• Abstract要約: Video Temporal Groundingは、自然言語クエリに対応するビデオセグメントをローカライズすることを目的としている。 既存のビジョン-LMMは、通常、位置エンコーディング、テキストベースのタイムスタンプ、または視覚フレーム番号による時間ダイナミクスを知覚する。 本稿では,空間的理解タスクとしてビデオの時間的理解を再構築する新しいフレームワークであるT2SGridを提案する。
• 参考スコア（独自算出の注目度）: 39.50722040335288
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Video Temporal Grounding (VTG) aims to localize the video segment that corresponds to a natural language query, which requires a comprehensive understanding of complex temporal dynamics. Existing Vision-LMMs typically perceive temporal dynamics via positional encoding, text-based timestamps, or visual frame numbering. However, these approaches exhibit notable limitations: assigning each frame a text-based timestamp token introduces additional computational overhead and leads to sparsity in visual attention, positional encoding struggles to capture absolute temporal information, and visual frame numbering often compromises spatial detail. To address these issues, we propose Temporal to Spatial Gridification (T2SGrid), a novel framework that reformulates video temporal understanding as a spatial understanding task. The core idea of T2SGrid is to process video content in clips rather than individual frames. we employ a overlapping sliding windows mechanism to segment the video into temporal clips. Within each window, frames are arranged chronologically in a row-major order into a composite grid image, effectively transforming temporal sequences into structured 2D layouts. The gridification not only encodes temporal information but also enhances local attention within each grid. Furthermore, T2SGrid enables the use of composite text timestamps to establish global temporal awareness. Experiments on standard VTG benchmarks demonstrate that T2SGrid achieves superior performance.
• Abstract（参考訳）: Video Temporal Grounding (VTG) は、複雑な時間的ダイナミクスの包括的理解を必要とする自然言語クエリに対応するビデオセグメントをローカライズすることを目的としている。 既存のビジョン-LMMは、通常、位置エンコーディング、テキストベースのタイムスタンプ、または視覚フレーム番号による時間ダイナミクスを知覚する。 しかし、これらのアプローチは、各フレームにテキストベースのタイムスタンプトークンを割り当てることによって、余分な計算オーバーヘッドが生じ、視覚的注意の空間性、絶対時間情報の取得に苦慮する位置符号化、視覚的フレーム番号付けが空間的詳細を損なうことがしばしばある。 これらの課題に対処するために,ビデオの時間的理解を空間的理解タスクとして再構成する新しいフレームワークであるT2SGridを提案する。 T2SGridの基本的な考え方は、ビデオコンテンツを個々のフレームではなくクリップで処理することだ。 オーバーラップするウィンドウ機構を使って 映像を時間的なクリップに分割します 各ウィンドウ内では、フレームを行長順に時系列的に複合格子画像に配置し、時間列を効果的に構造化された2次元レイアウトに変換する。 グリッド化は時間情報を符号化するだけでなく、各グリッド内の局所的な注意を高める。 さらに、T2SGridは、複合テキストタイムスタンプを使用して、グローバルな時間的認識を確立することができる。 標準VTGベンチマークの実験は、T2SGridが優れたパフォーマンスを達成することを示した。

関連論文リスト

• TV-RAG: A Temporal-aware and Semantic Entropy-Weighted Framework for Long Video Retrieval and Understanding [14.570869250170139]
  TV-RAGは、時間的アライメントとエントロピー誘導のセマンティクスを結合して、長時間ビデオの推論を改善する、トレーニング不要のアーキテクチャである。 これらの時間的および意味的な信号を織り合わせることで、TV-RAGは、再トレーニングや微調整なしに任意のLVLMに移植できる二重レベルの推論ルーチンを実現する。
  論文  参考訳（メタデータ） (2025-12-29T14:10:22Z)
• Dense Video Understanding with Gated Residual Tokenization [49.17263029080152]
  高時間分解能は、ビデオ理解における微細な細部を捉えるのに不可欠である。 現在のベンチマークは主に低フレームレートサンプリングに依存している。 Dense Video Understanding (DVU)は、トークン化時間とトークンオーバーヘッドの両方を削減することで、高FPSビデオの理解を可能にする。
  論文  参考訳（メタデータ） (2025-09-17T17:34:40Z)
• DisTime: Distribution-based Time Representation for Video Large Language Models [23.176698643825123]
  DisTimeは、ビデオLLMにおける時間的理解を強化するために設計された軽量フレームワークである。 DisTimeは、連続的な時間的埋め込みスペースを作成するために学習可能なトークンを使用する。 DisTimeは3つの時間に敏感なタスクでベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-05-30T08:10:18Z)
• STOP: Integrated Spatial-Temporal Dynamic Prompting for Video Understanding [48.12128042470839]
  本稿では,STOP(Spatial-Temporal dynamic Prompting)モデルを提案する。 2つの相補的なモジュールで構成され、フレーム内の空間的プロンプトとフレーム間の時間的プロンプトである。 STOPは、最先端のメソッドに対して一貫して優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-03-20T09:16:20Z)
• Enhancing Video-Language Representations with Structural Spatio-Temporal Alignment [130.15775113897553]
  フィンスタは微細な構造的時間的アライメント学習法である。 既存の13の強化されたビデオ言語モデルも一貫して改善されている。
  論文  参考訳（メタデータ） (2024-06-27T15:23:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。