論文の概要: T2SGrid: Temporal-to-Spatial Gridification for Video Temporal Grounding

• arxiv url: http://arxiv.org/abs/2603.06973v1
• Date: Sat, 07 Mar 2026 01:25:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-10 15:13:13.5122
• Title: T2SGrid: Temporal-to-Spatial Gridification for Video Temporal Grounding
• Title（参考訳）: T2SGrid:ビデオ時間的接地のための時間-空間的格子化
• Abstract要約: Video Temporal Groundingは、自然言語クエリに対応するビデオセグメントをローカライズすることを目的としている。 既存のビジョン-LMMは、通常、位置エンコーディング、テキストベースのタイムスタンプ、または視覚フレーム番号による時間ダイナミクスを知覚する。 本稿では,空間的理解タスクとしてビデオの時間的理解を再構築する新しいフレームワークであるT2SGridを提案する。
• 参考スコア（独自算出の注目度）: 39.50722040335288
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Video Temporal Grounding (VTG) aims to localize the video segment that corresponds to a natural language query, which requires a comprehensive understanding of complex temporal dynamics. Existing Vision-LMMs typically perceive temporal dynamics via positional encoding, text-based timestamps, or visual frame numbering. However, these approaches exhibit notable limitations: assigning each frame a text-based timestamp token introduces additional computational overhead and leads to sparsity in visual attention, positional encoding struggles to capture absolute temporal information, and visual frame numbering often compromises spatial detail. To address these issues, we propose Temporal to Spatial Gridification (T2SGrid), a novel framework that reformulates video temporal understanding as a spatial understanding task. The core idea of T2SGrid is to process video content in clips rather than individual frames. we employ a overlapping sliding windows mechanism to segment the video into temporal clips. Within each window, frames are arranged chronologically in a row-major order into a composite grid image, effectively transforming temporal sequences into structured 2D layouts. The gridification not only encodes temporal information but also enhances local attention within each grid. Furthermore, T2SGrid enables the use of composite text timestamps to establish global temporal awareness. Experiments on standard VTG benchmarks demonstrate that T2SGrid achieves superior performance.
• Abstract（参考訳）: Video Temporal Grounding (VTG) は、複雑な時間的ダイナミクスの包括的理解を必要とする自然言語クエリに対応するビデオセグメントをローカライズすることを目的としている。 既存のビジョン-LMMは、通常、位置エンコーディング、テキストベースのタイムスタンプ、または視覚フレーム番号による時間ダイナミクスを知覚する。 しかし、これらのアプローチは、各フレームにテキストベースのタイムスタンプトークンを割り当てることによって、余分な計算オーバーヘッドが生じ、視覚的注意の空間性、絶対時間情報の取得に苦慮する位置符号化、視覚的フレーム番号付けが空間的詳細を損なうことがしばしばある。 これらの課題に対処するために,ビデオの時間的理解を空間的理解タスクとして再構成する新しいフレームワークであるT2SGridを提案する。 T2SGridの基本的な考え方は、ビデオコンテンツを個々のフレームではなくクリップで処理することだ。 オーバーラップするウィンドウ機構を使って 映像を時間的なクリップに分割します 各ウィンドウ内では、フレームを行長順に時系列的に複合格子画像に配置し、時間列を効果的に構造化された2次元レイアウトに変換する。 グリッド化は時間情報を符号化するだけでなく、各グリッド内の局所的な注意を高める。 さらに、T2SGridは、複合テキストタイムスタンプを使用して、グローバルな時間的認識を確立することができる。 標準VTGベンチマークの実験は、T2SGridが優れたパフォーマンスを達成することを示した。

関連論文リスト

• TAME: Temporal-Aware Mixture-of-Experts for Text-Video Retrieval [1.4874449172133888]
  Text-Video Retrieval (TVR)は、自然言語クエリにマッチしたビデオを取得する。 TVRは時間モデリングの欠如によって制限されている。 テキストビデオ検索(TAME)のためのテンポラル・アウェア・ミックス・オブ・エクササイズを提案する。
  論文  参考訳（メタデータ） (2026-09-02T07:12:50Z)
• CoSTL: Comprehensive Spatial-Temporal Representation Learning for Moment Retrieval and Highlight Detection [36.404472837216346]
  ビデオモーメント検索(MR)とハイライト検出(HD)は、特定のモーメントをローカライズし、所定のテキストクエリに基づいてクリップワイズ関連性を推定することを目的としたビデオ分析において重要なタスクである。 最近のアプローチでは、同様のビデオグラウンドタスクとして扱い、同じアーキテクチャを使って解決している。 これらのタスクは、画像レベルでのきめ細かい理解と、ビデオ全体にわたる高レベルの時間的理解の両方を必要とする。 既存のアプローチは主にフレームレベルの特徴を用いた時間的モデリングに重点を置いており、多くの場合、個々のフレーム内のテキストクエリに関連する豊富な視覚情報を無視している。
  論文  参考訳（メタデータ） (2026-05-31T10:36:49Z)
• TV-RAG: A Temporal-aware and Semantic Entropy-Weighted Framework for Long Video Retrieval and Understanding [14.570869250170139]
  TV-RAGは、時間的アライメントとエントロピー誘導のセマンティクスを結合して、長時間ビデオの推論を改善する、トレーニング不要のアーキテクチャである。 これらの時間的および意味的な信号を織り合わせることで、TV-RAGは、再トレーニングや微調整なしに任意のLVLMに移植できる二重レベルの推論ルーチンを実現する。
  論文  参考訳（メタデータ） (2025-12-29T14:10:22Z)
• Dense Video Understanding with Gated Residual Tokenization [49.17263029080152]
  高時間分解能は、ビデオ理解における微細な細部を捉えるのに不可欠である。 現在のベンチマークは主に低フレームレートサンプリングに依存している。 Dense Video Understanding (DVU)は、トークン化時間とトークンオーバーヘッドの両方を削減することで、高FPSビデオの理解を可能にする。
  論文  参考訳（メタデータ） (2025-09-17T17:34:40Z)
• Identity-Preserving Text-to-Video Generation Guided by Simple yet Effective Spatial-Temporal Decoupled Representations [131.33758144860988]
  アイデンティティ保存型テキスト・ツー・ビデオ(IPT2V)生成は、一貫した人間のアイデンティティを持つ高忠実度ビデオを作成することを目的としている。 現在のエンドツーエンドフレームワークは、重要な空間的・時間的トレードオフを被る。 本稿では,表現をレイアウトの空間的特徴と運動力学の時間的特徴に分解する,シンプルで効果的な空間時空間分離フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-07-07T06:54:44Z)
• DisTime: Distribution-based Time Representation for Video Large Language Models [23.176698643825123]
  DisTimeは、ビデオLLMにおける時間的理解を強化するために設計された軽量フレームワークである。 DisTimeは、連続的な時間的埋め込みスペースを作成するために学習可能なトークンを使用する。 DisTimeは3つの時間に敏感なタスクでベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-05-30T08:10:18Z)
• STOP: Integrated Spatial-Temporal Dynamic Prompting for Video Understanding [48.12128042470839]
  本稿では,STOP(Spatial-Temporal dynamic Prompting)モデルを提案する。 2つの相補的なモジュールで構成され、フレーム内の空間的プロンプトとフレーム間の時間的プロンプトである。 STOPは、最先端のメソッドに対して一貫して優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-03-20T09:16:20Z)
• Enhancing Video-Language Representations with Structural Spatio-Temporal Alignment [130.15775113897553]
  フィンスタは微細な構造的時間的アライメント学習法である。 既存の13の強化されたビデオ言語モデルも一貫して改善されている。
  論文  参考訳（メタデータ） (2024-06-27T15:23:36Z)
• Edit Temporal-Consistent Videos with Image Diffusion Model [49.88186997567138]
  大規模テキスト・ツー・イメージ(T2I)拡散モデルがテキスト誘導ビデオ編集のために拡張されている。 Tは、ビデオ時間的一貫性とビデオ編集機能の両方において最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-08-17T16:40:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。