論文の概要: Learning Video Representations without Natural Videos

• arxiv url: http://arxiv.org/abs/2410.24213v1
• Date: Thu, 31 Oct 2024 17:59:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 17:01:33.170760
• Title: Learning Video Representations without Natural Videos
• Title（参考訳）: 自然映像のない映像表現の学習
• Authors: Xueyang Yu, Xinlei Chen, Yossi Gandelsman,
• Abstract要約: 本研究では, 自然映像を訓練に取り入れることなく, 合成ビデオや自然画像から有用な映像表現を学習できることを示す。 人工ビデオに事前学習したビデオMAEモデルでは、UCF101アクション分類におけるパフォーマンスギャップの97.2%を、スクラッチからのトレーニングと自然ビデオからの自己教師付き事前訓練の間に閉じている。 UCF101-Pの14のアウト・オブ・ディストリビューションデータセットのうち11で、UCF101事前トレーニングと同様のパフォーマンスを示し、UCF101事前トレーニングモデルを上回っている。
• 参考スコア（独自算出の注目度）: 36.0052738021796
• License:
• Abstract: In this paper, we show that useful video representations can be learned from synthetic videos and natural images, without incorporating natural videos in the training. We propose a progression of video datasets synthesized by simple generative processes, that model a growing set of natural video properties (e.g. motion, acceleration, and shape transformations). The downstream performance of video models pre-trained on these generated datasets gradually increases with the dataset progression. A VideoMAE model pre-trained on our synthetic videos closes 97.2% of the performance gap on UCF101 action classification between training from scratch and self-supervised pre-training from natural videos, and outperforms the pre-trained model on HMDB51. Introducing crops of static images to the pre-training stage results in similar performance to UCF101 pre-training and outperforms the UCF101 pre-trained model on 11 out of 14 out-of-distribution datasets of UCF101-P. Analyzing the low-level properties of the datasets, we identify correlations between frame diversity, frame similarity to natural data, and downstream performance. Our approach provides a more controllable and transparent alternative to video data curation processes for pre-training.
• Abstract（参考訳）: 本稿では,自然映像を訓練に取り入れることなく,合成ビデオや自然画像から有用な映像表現を学習できることを示す。 本稿では, 映像の自然な特性(動き, 加速度, 形状変換など)をモデル化する, 単純な生成プロセスによって合成された映像データセットの進行について述べる。 これらの生成されたデータセットで事前訓練されたビデオモデルの下流性能は、データセットの進行とともに徐々に向上する。 合成ビデオ上で事前学習したビデオMAEモデルは、スクラッチからのトレーニングと自然ビデオからの自己教師付き事前学習の間のUCF101動作分類におけるパフォーマンスギャップの97.2%を閉じ、HMDB51で事前学習したモデルより優れていた。 UCF101-Pの14のアウト・オブ・ディストリビューションデータセットのうち11で、UCF101事前トレーニングと同様のパフォーマンスを示し、UCF101事前トレーニングモデルを上回っている。 データセットの低レベル特性を分析し、フレームの多様性、自然なデータとのフレーム類似性、下流のパフォーマンスの相関関係を同定する。 我々のアプローチは、事前学習のためのビデオデータキュレーションプロセスに対して、より制御可能で透明な代替手段を提供する。

関連論文リスト

• HVM-1: Large-scale video models pretrained with nearly 5000 hours of human-like video data [10.225358400539722]
  224xと448xの空間解像度で訓練された2つの633Mパラメータモデルをリリースする。 下流の映像や画像認識タスクにおいて,これらのモデルの性能を評価する。 HVM-1モデルは、画像ベースMAEアルゴリズムで事前訓練されたモデルと比較して、より正確で堅牢なオブジェクト表現を学習する。
  論文  参考訳（メタデータ） (2024-07-25T14:21:50Z)
• ZeroSmooth: Training-free Diffuser Adaptation for High Frame Rate Video Generation [81.90265212988844]
  本稿では,プラグイン・アンド・プレイ方式で生成ビデオモデルを作成するためのトレーニング不要なビデオ手法を提案する。 我々は,映像モデルを隠れ状態補正モジュールを備えた自己カスケード映像拡散モデルに変換する。 私たちのトレーニングフリーの手法は、巨大な計算リソースと大規模データセットによってサポートされているトレーニングモデルにさえ匹敵するものです。
  論文  参考訳（メタデータ） (2024-06-03T00:31:13Z)
• Preserve Your Own Correlation: A Noise Prior for Video Diffusion Models [52.93036326078229]
  画像生成のための数十億のデータセットが市販されているが、同じスケールの同様のビデオデータを集めることは依然として難しい。 本研究では,ビデオ合成タスクの実用的な解決策として,ビデオデータを用いた事前学習画像拡散モデルの微調整について検討する。 我々のモデルであるPreserve Your Own correlation (PYoCo)は、UCF-101およびMSR-VTTベンチマークでSOTAゼロショットのテキスト・ビデオ結果が得られる。
  論文  参考訳（メタデータ） (2023-05-17T17:59:16Z)
• Frozen CLIP Models are Efficient Video Learners [86.73871814176795]
  ビデオ認識はエンドツーエンドの学習パラダイムに支配されている。 Contrastive Vision-Language Pre-Trainingの最近の進歩は、視覚認識タスクのための新しいルートの道を開く。 高品質なビデオ認識モデルを直接トレーニングする効率的なフレームワークである、効率的なビデオ学習を提案する。
  論文  参考訳（メタデータ） (2022-08-06T17:38:25Z)
• Auxiliary Learning for Self-Supervised Video Representation via Similarity-based Knowledge Distillation [2.6519061087638014]
  本稿では,知識類似度蒸留法(auxSKD)を基礎として,補助的プレトレーニングフェーズを通じて自己指導型プレトレーニングを補完する新しい手法を提案する。 本手法は,学習者の学習モデルに対する知識を反復的に消し去る教師ネットワークを,未学習映像データのセグメント間の類似情報をキャプチャすることで展開する。 また、入力ビデオのランダムに選択されたセグメントの再生速度を予測し、より信頼性の高い自己教師付き表現を提供するための新しいプリテキストタスク、ビデオセグメントペース予測(VSPP)を導入する。
  論文  参考訳（メタデータ） (2021-12-07T21:50:40Z)
• CUPID: Adaptive Curation of Pre-training Data for Video-and-Language Representation Learning [49.18591896085498]
  ソースデータとターゲットデータのドメインギャップを埋めるCUPIDを提案します。 CUPIDは、複数のビデオ言語およびビデオタスクにまたがる最新のパフォーマンスを提供します。
  論文  参考訳（メタデータ） (2021-04-01T06:42:16Z)
• ViViT: A Video Vision Transformer [75.74690759089529]
  ビデオ分類にpure-transformerベースのモデルを提案する。 本モデルでは,入力ビデオから時間トークンを抽出し,一連のトランスフォーマー層で符号化する。 トレーニング中にモデルを効果的に正規化し、トレーニング済みの画像モデルを利用して比較的小さなデータセットでトレーニングできることを示します。
  論文  参考訳（メタデータ） (2021-03-29T15:27:17Z)
• Learning Spatiotemporal Features via Video and Text Pair Discrimination [30.64670449131973]
  クロスモーダルペア(CPD)フレームワークは、ビデオとその関連テキスト間の相関をキャプチャする。 我々は、標準的なビデオデータセット(Kinetics-210k)と未処理のWebビデオデータセット(-300k)でCDDモデルをトレーニングし、その効果を実証する。
  論文  参考訳（メタデータ） (2020-01-16T08:28:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。