論文の概要: Pre-training for Action Recognition with Automatically Generated Fractal Datasets
- arxiv url: http://arxiv.org/abs/2411.17584v1
- Date: Tue, 26 Nov 2024 16:51:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-27 13:34:42.356486
- Title: Pre-training for Action Recognition with Automatically Generated Fractal Datasets
- Title（参考訳）: 自動生成フラクタルデータセットによる行動認識のための事前学習
- Authors: Davyd Svyezhentsev, George Retsinas, Petros Maragos,
- Abstract要約: 本稿では,短い合成ビデオクリップの大規模データセットを自動生成する手法を提案する。
生成されたビデオクリップは、複雑なマルチスケール構造を生成するフラクタルの自然能力に起因した顕著な多様性によって特徴づけられる。
通常のKineeticsの事前トレーニングと比較すると、報告結果が近くなり、下流のデータセットよりも優れています。
- 参考スコア（独自算出の注目度）: 23.686476742398973
- License:
- Abstract: In recent years, interest in synthetic data has grown, particularly in the context of pre-training the image modality to support a range of computer vision tasks, including object classification, medical imaging etc. Previous work has demonstrated that synthetic samples, automatically produced by various generative processes, can replace real counterparts and yield strong visual representations. This approach resolves issues associated with real data such as collection and labeling costs, copyright and privacy. We extend this trend to the video domain applying it to the task of action recognition. Employing fractal geometry, we present methods to automatically produce large-scale datasets of short synthetic video clips, which can be utilized for pre-training neural models. The generated video clips are characterized by notable variety, stemmed by the innate ability of fractals to generate complex multi-scale structures. To narrow the domain gap, we further identify key properties of real videos and carefully emulate them during pre-training. Through thorough ablations, we determine the attributes that strengthen downstream results and offer general guidelines for pre-training with synthetic videos. The proposed approach is evaluated by fine-tuning pre-trained models on established action recognition datasets HMDB51 and UCF101 as well as four other video benchmarks related to group action recognition, fine-grained action recognition and dynamic scenes. Compared to standard Kinetics pre-training, our reported results come close and are even superior on a portion of downstream datasets. Code and samples of synthetic videos are available at https://github.com/davidsvy/fractal_video .
- Abstract（参考訳）: 近年、合成データへの関心が高まり、特に画像モダリティを事前訓練することで、オブジェクト分類や医用画像など、様々なコンピュータビジョンタスクをサポートするようになった。
これまでの研究は、様々な生成過程によって自動的に合成サンプルが生成され、実際のものを置き換えることができ、強力な視覚的表現が得られることを示した。
このアプローチは、コレクションやラベル付けコスト、著作権、プライバシといった実際のデータに関連する問題を解決する。
我々は、この傾向をアクション認識のタスクに適用するビデオ領域に拡張する。
フラクタル幾何を用いた短い合成ビデオクリップの大規模データセットを自動生成する手法を提案する。
生成されたビデオクリップは、複雑なマルチスケール構造を生成するフラクタルの自然能力に起因した顕著な多様性によって特徴づけられる。
ドメインギャップを狭めるために、実際のビデオの重要な特性を更に特定し、事前トレーニング中に慎重にエミュレートする。
徹底的な改善を通じて、下流結果を強化する属性を決定し、合成ビデオによる事前学習のための一般的なガイドラインを提供する。
提案手法は、確立された行動認識データセットHMDB51とUCF101の微調整済みモデルと、グループ行動認識、きめ細かい行動認識、動的シーンに関連する他の4つのビデオベンチマークにより評価される。
通常のKineeticsの事前トレーニングと比較すると、報告結果が近くなり、下流のデータセットよりも優れています。
合成ビデオのコードとサンプルはhttps://github.com/davidsvy/fractal_videoで公開されている。
関連論文リスト
- Learning Video Representations without Natural Videos [36.0052738021796]
本研究では, 自然映像を訓練に取り入れることなく, 合成ビデオや自然画像から有用な映像表現を学習できることを示す。
人工ビデオに事前学習したビデオMAEモデルでは、UCF101アクション分類におけるパフォーマンスギャップの97.2%を、スクラッチからのトレーニングと自然ビデオからの自己教師付き事前訓練の間に閉じている。
UCF101-Pの14のアウト・オブ・ディストリビューションデータセットのうち11で、UCF101事前トレーニングと同様のパフォーマンスを示し、UCF101事前トレーニングモデルを上回っている。
論文 参考訳（メタデータ） (2024-10-31T17:59:30Z) - An Evaluation of Large Pre-Trained Models for Gesture Recognition using Synthetic Videos [32.257816070522885]
本研究では,大規模な事前学習モデルを用いた映像に基づくジェスチャー認識における合成データの利用の可能性を検討する。
我々は,k-nearest近辺分類に使用する特徴を抽出するために,最先端のビデオエンコーダを用いている。
その結果, 実検動画の分類精度は, 比較的少数の実検動画に比べて有意に低いことがわかった。
論文 参考訳（メタデータ） (2024-10-03T02:31:14Z) - Appearance-Based Refinement for Object-Centric Motion Segmentation [85.2426540999329]
本稿では,ビデオストリームの時間的一貫性を利用して,不正確なフローベース提案を補正する外観に基づく改善手法を提案する。
提案手法では,高精度なフロー予測マスクを模範として,シーケンスレベルの選択機構を用いる。
パフォーマンスは、DAVIS、YouTube、SegTrackv2、FBMS-59など、複数のビデオセグメンテーションベンチマークで評価されている。
論文 参考訳（メタデータ） (2023-12-18T18:59:51Z) - Learning Human Action Recognition Representations Without Real Humans [66.61527869763819]
そこで本研究では,仮想人間を含む合成データを用いて,実世界の映像を活用してモデルを事前学習するベンチマークを提案する。
次に、このデータに基づいて学習した表現を、下流行動認識ベンチマークの様々なセットに転送可能であるかを評価する。
私たちのアプローチは、以前のベースラインを最大5%上回ります。
論文 参考訳（メタデータ） (2023-11-10T18:38:14Z) - CapST: An Enhanced and Lightweight Model Attribution Approach for
Synthetic Videos [9.209808258321559]
本稿では、最近提案されたデータセット、DFDM(Deepfakes from Different Models)からのDeepfakeビデオのモデル属性問題について検討する。
データセットは、エンコーダ、デコーダ、中間層、入力解像度、圧縮比の5つの異なるモデルによって生成された6,450のDeepfakeビデオからなる。
ディープフェイク・ベンチマーク・データセット(DFDM)による実験結果から提案手法の有効性が示され、ディープフェイク・ビデオの正確な分類において最大4%の改善が達成された。
論文 参考訳（メタデータ） (2023-11-07T08:05:09Z) - Leaping Into Memories: Space-Time Deep Feature Synthesis [93.10032043225362]
内部モデルから映像を合成するアーキテクチャ非依存の手法であるLEAPSを提案する。
我々は,Kineetics-400に基づく多種多様なアーキテクチャの進化的注目を反転させることにより,LEAPSの適用性を定量的かつ定性的に評価する。
論文 参考訳（メタデータ） (2023-03-17T12:55:22Z) - Render In-between: Motion Guided Video Synthesis for Action
Interpolation [53.43607872972194]
本研究では、リアルな人間の動きと外観を生成できる動き誘導型フレームアップサンプリングフレームワークを提案する。
大規模モーションキャプチャーデータセットを活用することにより、フレーム間の非線形骨格運動を推定するために、新しいモーションモデルが訓練される。
私たちのパイプラインでは、低フレームレートのビデオと不自由な人間のモーションデータしか必要としませんが、トレーニングには高フレームレートのビデオは必要ありません。
論文 参考訳（メタデータ） (2021-11-01T15:32:51Z) - HighlightMe: Detecting Highlights from Human-Centric Videos [52.84233165201391]
我々は,人間中心のビデオからハイライト可能な抜粋を検出するために,ドメインとユーザに依存しないアプローチを提案する。
本研究では,時空間グラフ畳み込みを用いたオートエンコーダネットワークを用いて,人間の活動やインタラクションを検出する。
我々は,最先端の手法に比べて,人手によるハイライトのマッチングの平均精度が4～12%向上したことを観察した。
論文 参考訳（メタデータ） (2021-10-05T01:18:15Z) - ViViT: A Video Vision Transformer [75.74690759089529]
ビデオ分類にpure-transformerベースのモデルを提案する。
本モデルでは,入力ビデオから時間トークンを抽出し,一連のトランスフォーマー層で符号化する。
トレーニング中にモデルを効果的に正規化し、トレーニング済みの画像モデルを利用して比較的小さなデータセットでトレーニングできることを示します。
論文 参考訳（メタデータ） (2021-03-29T15:27:17Z) - Dynamic texture analysis for detecting fake faces in video sequences [6.1356022122903235]
本研究では,映像信号のテクスチャ・時間的ダイナミクスの解析について検討する。
目標は、実際の偽のシーケンスを識別し、識別することである。
時間セグメントの連成解析に基づいて複数の二分決定を構築することを提案する。
論文 参考訳（メタデータ） (2020-07-30T07:21:24Z) - Complex Human Action Recognition in Live Videos Using Hybrid FR-DL
Method [1.027974860479791]
入力シーケンス中の代表フレームの自動選択により,前処理フェーズの課題に対処する。
本稿では,バックグラウンドサブトラクションとHOGを用いたハイブリッド手法を提案し,続いて深層ニューラルネットワークと骨格モデリング手法を適用した。
本稿では,このモデルをFR-DL(Feature Reduction & Deep Learning based action recognition method)と呼ぶ。
論文 参考訳（メタデータ） (2020-07-06T15:12:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。