論文の概要: From Static to Dynamic: Exploring Self-supervised Image-to-Video Representation Transfer Learning
- arxiv url: http://arxiv.org/abs/2603.26597v1
- Date: Fri, 27 Mar 2026 16:56:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-30 21:49:48.606671
- Title: From Static to Dynamic: Exploring Self-supervised Image-to-Video Representation Transfer Learning
- Title（参考訳）: 静的から動的へ:自己教師付き画像から映像への表現伝達学習
- Abstract要約: 微調整重モジュールは、ビデオ間のセマンティックセマンティックセパビリティを損なう可能性がある。
本稿では,一貫性・セパビリティ・トレードオフ・トランスファー学習フレームワークを提案する。
8つの画像事前学習モデルの実験では、複数のレベルのビデオタスクで一貫した改善が示されている。
- 参考スコア（独自算出の注目度）: 79.76998842796515
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent studies have made notable progress in video representation learning by transferring image-pretrained models to video tasks, typically with complex temporal modules and video fine-tuning. However, fine-tuning heavy modules may compromise inter-video semantic separability, i.e., the essential ability to distinguish objects across videos. While reducing the tunable parameters hinders their intra-video temporal consistency, which is required for stable representations of the same object within a video. This dilemma indicates a potential trade-off between the intra-video temporal consistency and inter-video semantic separability during image-to-video transfer. To this end, we propose the Consistency-Separability Trade-off Transfer Learning (Co-Settle) framework, which applies a lightweight projection layer on top of the frozen image-pretrained encoder to adjust representation space with a temporal cycle consistency objective and a semantic separability constraint. We further provide a theoretical support showing that the optimized projection yields a better trade-off between the two properties under appropriate conditions. Experiments on eight image-pretrained models demonstrate consistent improvements across multiple levels of video tasks with only five epochs of self-supervised training. The code is available at https://github.com/yafeng19/Co-Settle.
- Abstract（参考訳）: 近年の研究では、複雑な時間的モジュールとビデオ微調整を伴う映像予測モデルをビデオタスクに転送することで、映像表現学習において顕著な進歩を遂げている。
しかし、微調整重モジュールは、ビデオ間のセマンティックセマンティックセパビリティ、すなわち、ビデオ間でオブジェクトを区別する重要な能力を損なう可能性がある。
調整可能なパラメータを減らすことは、ビデオ内の同じオブジェクトの安定した表現に必要な、ビデオ内の時間的一貫性を妨げる。
このジレンマは、ビデオ間の時間的一貫性と映像間セマンティックセマンティックセパビリティの間の潜在的なトレードオフを示す。
この目的のために,凍結した画像調整エンコーダ上に軽量なプロジェクション層を適用し,時間周期の整合性とセマンティックセパビリティ制約による表現空間の調整を行うConsistency-Separability Trade-off Transfer Learning (Co-Settle) フレームワークを提案する。
さらに、最適化された射影が適切な条件下での2つの特性間のトレードオフをより良くすることを示す理論的支援を提供する。
8つの画像事前学習モデルによる実験では、複数のレベルのビデオタスクにおいて、自己教師付きトレーニングの5つのエポックで一貫した改善が示されている。
コードはhttps://github.com/yafeng19/Co-Settle.comで公開されている。
関連論文リスト
- Temporal Gains, Spatial Costs: Revisiting Video Fine-Tuning in Multimodal Large Language Models [36.34630132055548]
我々は,ビデオSFTがMLLMの視覚能力にどう影響するかを系統的に研究する。
Video-SFTは、ビデオのパフォーマンスを確実に改善するが、静的画像ベンチマークでは、利得や劣化が制限されることが多い。
本稿では,フレーム数を適応的に割り当て,映像と映像のトレードオフを部分的に緩和する命令対応ハイブリッドフレーム戦略について検討する。
論文 参考訳（メタデータ） (2026-03-18T09:46:44Z) - Edit2Interp: Adapting Image Foundation Models from Spatial Editing to Video Frame Interpolation with Few-Shot Learning [5.6616478694920405]
ビデオフレーム補間(VFI)において,Low-Rank Adaptation (LoRA) を用いた64-256のトレーニングサンプルのみを用いて,大規模な画像編集モデル(Qwen-Image-Edit)を適用可能であることを示す。
我々の研究は、基礎画像編集モデルが時間的課題の未解決の可能性を秘めており、資源制約のあるシナリオにおける映像合成のためのデータ効率の高い経路を提供するものであることを証明している。
論文 参考訳（メタデータ） (2026-03-16T09:07:25Z) - Zero-Shot Video Translation and Editing with Frame Spatial-Temporal Correspondence [81.82643953694485]
フレーム内対応とフレーム間対応を統合し,より堅牢な時空間制約を定式化するFRESCOを提案する。
提案手法は注意誘導を超越して特徴を明示的に最適化し,入力ビデオとの空間的整合性を実現する。
動画翻訳とテキスト誘導ビデオ編集の2つのゼロショットタスクに対してFRESCO適応を検証する。
論文 参考訳（メタデータ） (2025-12-03T15:51:11Z) - Compositional Video Synthesis by Temporal Object-Centric Learning [3.2228025627337864]
本稿では、時間的に一貫したオブジェクト中心表現を利用する合成ビデオ合成のための新しいフレームワークを提案する。
提案手法は, 物体中心スロットの変動を学習し, 事前学習した拡散モデルに条件付けすることによって, 時間的ダイナミクスを明示的に捉える。
この設計により、時間コヒーレンスに優れた高品質の画素レベルのビデオ合成が可能となる。
論文 参考訳（メタデータ） (2025-07-28T14:11:04Z) - Tracktention: Leveraging Point Tracking to Attend Videos Faster and Better [61.381599921020175]
時間的一貫性は、出力が一貫性があり、アーティファクトがないことを保証するために、ビデオ予測において重要である。
時間的注意や3D畳み込みといった伝統的な手法は、重要な物体の動きに苦しむことがある。
本稿では,ポイントトラックを用いた動き情報を明示的に統合する新しいアーキテクチャコンポーネントであるトラックキート・レイヤを提案する。
論文 参考訳（メタデータ） (2025-03-25T17:58:48Z) - CrossVideoMAE: Self-Supervised Image-Video Representation Learning with Masked Autoencoders [6.159948396712944]
CrossVideoMAEはビデオレベルとフレームレベルのリッチテンポラル表現とセマンティック属性の両方を学ぶ。
提案手法は,ビデオからの時間的情報とサンプルフレームからの空間的情報を統合する。
これは、ビデオおよびフレーム画像のモダリティから、リッチでラベルなしなガイド信号の自己教師型取得に不可欠である。
論文 参考訳（メタデータ） (2025-02-08T06:15:39Z) - Training-Free Semantic Video Composition via Pre-trained Diffusion Model [96.0168609879295]
現在のアプローチは、主に前景の色と照明を調整したビデオで訓練されており、表面的な調整以上の深い意味の相違に対処するのに苦労している。
本研究では,事前知識を付加した事前学習拡散モデルを用いた学習自由パイプラインを提案する。
実験の結果,我々のパイプラインは出力の視覚的調和とフレーム間のコヒーレンスを確実にすることがわかった。
論文 参考訳（メタデータ） (2024-01-17T13:07:22Z) - Long-Short Temporal Contrastive Learning of Video Transformers [62.71874976426988]
ビデオのみのデータセットにおけるビデオトランスフォーマーの自己教師付き事前トレーニングは、大規模画像データセットでの教師付き事前トレーニングで得られたものよりも、同等以上のアクション認識結果につながる可能性がある。
我々の手法は、長短時空間コントラスト学習(Long-Short Temporal Contrastive Learning)と呼ばれ、ビデオトランスフォーマーが、より長い時間的範囲から捉えた時間的文脈を予測することによって、効果的なクリップレベルの表現を学習することを可能にする。
論文 参考訳（メタデータ） (2021-06-17T02:30:26Z) - Contrastive Transformation for Self-supervised Correspondence Learning [120.62547360463923]
野生のラベルのない動画を用いて,視覚的対応の自己監督学習について検討する。
本手法は,信頼性の高い対応推定のための映像内および映像間表現関連を同時に検討する。
我々のフレームワークは、近年の視覚的タスクにおける自己監督型対応手法よりも優れています。
論文 参考訳（メタデータ） (2020-12-09T14:05:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。