論文の概要: TT-VidT: Decoupling the Temporal Axis for Efficient Motion-Centric Video Pretraining

• arxiv url: http://arxiv.org/abs/2609.33419v2
• Date: Tue, 29 Sep 2026 05:59:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.668113
• Title: TT-VidT: Decoupling the Temporal Axis for Efficient Motion-Centric Video Pretraining
• Title（参考訳）: TT-VidT:効率的な動き中心ビデオ事前学習のための時間軸の分離
• Abstract要約: TT-VidTはJester, Some-Something V2, ARID, Diving48を同時に微調整し, 最強の非TT行を54%121%改善した。 最終比較では、TT-VidTがJester、Something V2、ARID、Diving48のファインチューニングを同時にリードし、最強の非TT行よりも54%121%改善した。
• 参考スコア（独自算出の注目度）: 29.632416784565866
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Comparisons in video self-supervised learning often evaluate complete training recipes rather than isolating the method itself: architecture, objective, data exposure, schedule, scale, and decoder capacity can all vary at once. This makes it hard to identify which choices yield motion-prioritized representations, whose gains concentrate on frame-to-frame change while retaining useful appearance. We address this with a matched $4 \times 6 = 24$ architecture-objective study at roughly 170M ~ 190M encoder scale on $\sim$1.7M OpenVid and Moments-in-Time v2 clips for 8 epochs, and propose TT-VidT. TT-VidT combines a DINOv3-initialized ViT-B/16 per-frame spatial path with a compact Temporal Transfer Layer, trained by Diff Compression to reconstruct target frames from a first-frame appearance anchor and frame-specific motion tokens. The sweep shows that TT3D with Diff Compression, not either component alone, enters the strongest motion-sensitive regime, and decoder ablations favor a compact video-pretrained decoder. In final comparison, TT-VidT leads Jester, Something-Something V2, ARID, and Diving48 fine-tuning simultaneously, improving over the strongest non-TT row by 54% ~ 121%, while using 48% fewer encoder FLOPs than DisMo and 55% fewer than VideoMAE or V-JEPA2. HMDB51, IARD, and EPIC-Kitchens bound the claim.
• Abstract（参考訳）: ビデオ自己教師型学習では、アーキテクチャ、客観的、データ露出、スケジュール、スケール、デコーダのキャパシティなど、メソッド自体を分離するよりも、完全なトレーニングレシピを評価することが多い。 これにより、どの選択が動き優先の表現をもたらすかの特定が困難になる。 約170M ~ 190M encoder scale on $\sim$1.7M OpenVid and Moments-in-Time v2 clips for 8 epochs, and proposed TT-VidT。 TT-VidTは、DINOv3で初期化されたViT-B/16フレームの空間パスと、Diff Compressionによって訓練されたコンパクトなテンポラルトランスファー層を組み合わせて、第1フレームの外観アンカーとフレーム固有のモーショントークンからターゲットフレームを再構築する。 このスイープは、Diff CompressionによるTT3Dがコンポーネントのみでなく、最も強力なモーションセンシティブなレギュレーションに入り、デコーダのアブレーションは、コンパクトなビデオプリトレーニングされたデコーダを好んでいることを示している。 最終比較では、TT-VidTはJester、Something V2、ARID、Diving48のファインチューニングを同時にリードし、最強の非TT行よりも54%～121%改善した。 HMDB51、IARD、EPIC-Kitchensはこの主張を拘束した。

関連論文リスト

• LeVJEPA: Efficient & Scalable Video Pretraining without the Heuristics [50.45297537821907]
  我々はLeJEPAの崩壊のない目的の下で訓練された最初のビデオエンコーダLeVJEPAを紹介する。 単一のエンコーダは、クリップのグローバルおよびローカルビューよりも分散損失で訓練される。 LeVJEPAはV-JEPA 2とVT-S/B/Lの5.6から20.8倍の速さで一致または超える。
  論文  参考訳（メタデータ） (2026-08-27T17:26:24Z)
• HY-Himmel Technical Report: Hierarchical Interleaved Multi-stream Motion Encoding for Long Video Understanding [13.606091816002879]
  HY-Himmelは階層的なビデオ言語フレームワークで、セマンティックとモーションのキャパシティを別々に割り当てている。 Video-MMEでは、HY-Himmelは32フレームの高密度ベースラインを+2.3 pp (61.2から63.5%)超え、コンテキストトークンは3.6倍少ない。
  論文  参考訳（メタデータ） (2026-05-04T09:35:25Z)
• Small Vision-Language Models are Smart Compressors for Long Video Understanding [73.65465038390771]
  長時間のビデオ理解は、欲求に満ちたコンテキストではなく、意図駆動の効率に頼っている。 本稿では,下流の理解のために長い動画を圧縮する効率的なクエリ認識フレームワークであるTempoを提案する。 テストでは、Tempoが1時間のビデオを理論的限界以下に圧縮し、真のロングフォームビデオ理解が意図駆動の効率に依存することを示した。
  論文  参考訳（メタデータ） (2026-04-09T11:40:25Z)
• From Play to Replay: Composed Video Retrieval for Temporally Fine-Grained Videos [48.666667545084835]
  Composed Video Retrieval(CoVR)は、クエリビデオと、意図した変更を記述した修正テキストが与えられたターゲットビデオを取得する。 TF-CoVRは、時間的にきめ細かなCoVRに特化した最初の大規模ベンチマークである。 TF-CoVRは体操とダイビングに重点を置いており、FinGymとFineDivingから180Kのトリプルを提供している。
  論文  参考訳（メタデータ） (2025-06-05T17:31:17Z)
• Towards Scalable Modeling of Compressed Videos for Efficient Action Recognition [6.168286187549952]
  提案するハイブリッドなエンドツーエンドフレームワークは,3つの重要な概念にまたがって学習を分解し,推論コストを先行技術に対して330倍に削減する。 実験により,本手法は最先端のビデオ認識性能を実現する軽量なアーキテクチャを実現することが示された。
  論文  参考訳（メタデータ） (2025-03-17T21:13:48Z)
• ReTaKe: Reducing Temporal and Knowledge Redundancy for Long Video Understanding [55.320254859515714]
  ReTaKeは、ビデオLLMsが8倍のフレーム(最大2048年まで)を処理し、類似のモデルも3～5%縮小し、ビデオMME、MLVU、LongVideoBench、LVBenchなどと競合する。 私たちのコードはhttps://github.com/SCZwangxiao/video-ReTaKe.comで公開されています。
  論文  参考訳（メタデータ） (2024-12-29T15:42:24Z)
• Improved Video VAE for Latent Video Diffusion Model [55.818110540710215]
  ビデオオートエンコーダ(VAE)は、ピクセルデータを低次元の潜在空間に圧縮することを目的としており、OpenAIのSoraで重要な役割を果たしている。 既存のVAEのほとんどは、時間空間圧縮のために3次元因果構造に事前訓練された画像VAEを注入する。 ビデオVAE(IV-VAE)をさらに改善するための新しいKTCアーキテクチャとGCConvモジュールを提案する。
  論文  参考訳（メタデータ） (2024-11-10T12:43:38Z)
• You Can Ground Earlier than See: An Effective and Efficient Pipeline for Temporal Sentence Grounding in Compressed Videos [56.676761067861236]
  ビデオがトリミングされていない場合、時間的文のグラウンド化は、文問合せに従って目的のモーメントを意味的に見つけることを目的としている。 それまでの優れた作品は、かなり成功したが、それらはデコードされたフレームから抽出されたハイレベルな視覚的特徴にのみ焦点を当てている。 本稿では,圧縮された映像を直接視覚入力として利用する,圧縮された領域のTSGを提案する。
  論文  参考訳（メタデータ） (2023-03-14T12:53:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。