論文の概要: Don't Judge by the Look: Towards Motion Coherent Video Representation
- arxiv url: http://arxiv.org/abs/2403.09506v2
- Date: Mon, 25 Mar 2024 02:45:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-27 00:56:02.606797
- Title: Don't Judge by the Look: Towards Motion Coherent Video Representation
- Title（参考訳）: 見た目で判断するな:モーションコヒーレントなビデオ表現を目指して
- Authors: Yitian Zhang, Yue Bai, Huan Wang, Yizhou Wang, Yun Fu,
- Abstract要約: Motion Coherent Augmentation (MCA)は、ビデオ理解のためのデータ拡張手法である。
MCAはビデオの外観変化を導入し、静的な外観ではなく、モデルに動きのパターンを優先するよう暗黙的に促す。
- 参考スコア（独自算出の注目度）: 56.09346222721583
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Current training pipelines in object recognition neglect Hue Jittering when doing data augmentation as it not only brings appearance changes that are detrimental to classification, but also the implementation is inefficient in practice. In this study, we investigate the effect of hue variance in the context of video understanding and find this variance to be beneficial since static appearances are less important in videos that contain motion information. Based on this observation, we propose a data augmentation method for video understanding, named Motion Coherent Augmentation (MCA), that introduces appearance variation in videos and implicitly encourages the model to prioritize motion patterns, rather than static appearances. Concretely, we propose an operation SwapMix to efficiently modify the appearance of video samples, and introduce Variation Alignment (VA) to resolve the distribution shift caused by SwapMix, enforcing the model to learn appearance invariant representations. Comprehensive empirical evaluation across various architectures and different datasets solidly validates the effectiveness and generalization ability of MCA, and the application of VA in other augmentation methods. Code is available at https://github.com/BeSpontaneous/MCA-pytorch.
- Abstract（参考訳）: オブジェクト認識における現在のトレーニングパイプラインは、データ拡張を行う際のHue Jitteringを無視している。
本研究では,映像情報を含む映像において,静的な外観が重要でないため,映像理解の文脈における色相の相違が有益であることを示す。
本研究では,映像理解のためのデータ拡張手法であるMotion Coherent Augmentation (MCA)を提案する。
具体的には,映像サンプルの外観を効率よく修正するSwapMix操作を提案し,SwapMixによる分布変化を解消するためにVAを導入し,そのモデルに外見不変表現の学習を強制する。
様々なアーキテクチャおよび異なるデータセットにわたる総合的な経験的評価は、MCAの有効性と一般化能力、および他の拡張手法におけるVAの適用をしっかりと検証する。
コードはhttps://github.com/BeSpontaneous/MCA-pytorchで入手できる。
関連論文リスト
- Stem-OB: Generalizable Visual Imitation Learning with Stem-Like Convergent Observation through Diffusion Inversion [18.990678061962825]
我々は,事前学習した画像拡散モデルを用いて低レベルの視覚的差を抑えるStem-OBを提案する。
この画像逆転過程は、観測結果を共有表現に変換するのと似ている。
提案手法は, シンプルかつ高効率なプラグアンドプレイソリューションである。
論文 参考訳（メタデータ） (2024-11-07T17:56:16Z) - Diffusion Models With Learned Adaptive Noise [12.530583016267768]
本稿では,拡散過程がデータから学べるかどうかを考察する。
広く信じられている仮定は、ELBOはノイズプロセスに不変であるということである。
画像間で異なる速度でノイズを印加する学習拡散過程であるMULANを提案する。
論文 参考訳（メタデータ） (2023-12-20T18:00:16Z) - RePo: Resilient Model-Based Reinforcement Learning by Regularizing
Posterior Predictability [25.943330238941602]
本稿では,視覚モデルに基づくRL法を提案する。
我々の訓練目的は、表現が力学と報酬を最大限に予測することを奨励する。
我々の取り組みは、モデルベースのRLを動的で多様なドメインのための実用的で有用なツールにするためのステップです。
論文 参考訳（メタデータ） (2023-08-31T18:43:04Z) - Unsupervised Video Anomaly Detection with Diffusion Models Conditioned
on Compact Motion Representations [17.816344808780965]
教師なしビデオ異常検出(VAD)問題とは、ビデオ内の各フレームをラベルにアクセスすることなく正常または異常に分類することである。
提案手法は条件付き拡散モデルを用いて,事前学習したネットワークから入力データを抽出する。
提案手法は,データ駆動しきい値を用いて,異常事象の指標として高い再構成誤差を考慮している。
論文 参考訳（メタデータ） (2023-07-04T07:36:48Z) - EAN: Event Adaptive Network for Enhanced Action Recognition [66.81780707955852]
本稿では,映像コンテンツの動的性質を調査するための統合された行動認識フレームワークを提案する。
まず、局所的な手がかりを抽出する際に、動的スケールの時空間カーネルを生成し、多様な事象を適応的に適合させる。
第2に、これらのキューを正確にグローバルなビデオ表現に集約するために、トランスフォーマーによって選択されたいくつかの前景オブジェクト間のインタラクションのみをマイニングすることを提案する。
論文 参考訳（メタデータ） (2021-07-22T15:57:18Z) - Composable Augmentation Encoding for Video Representation Learning [94.2358972764708]
自己教師型ビデオ表現学習におけるコントラスト手法に着目した。
対照的な学習における一般的なパラダイムは、同じインスタンスで異なるデータビューをサンプリングし、異なるデータインスタンスを負として、ポジティブペアを構築することである。
そこで我々は,拡張パラメータの列を明示的に提供する,拡張対応型コントラスト学習フレームワークを提案する。
提案手法は,特定の空間的あるいは時間的拡張に関する情報をエンコードすると同時に,多数のビデオベンチマークで最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2021-04-01T16:48:53Z) - Learning Representational Invariances for Data-Efficient Action
Recognition [52.23716087656834]
我々は,データ拡張戦略により,Kinetics-100,UCF-101,HMDB-51データセットのパフォーマンスが期待できることを示す。
また,完全な教師付き設定でデータ拡張戦略を検証し,性能向上を実証した。
論文 参考訳（メタデータ） (2021-03-30T17:59:49Z) - DecAug: Augmenting HOI Detection via Decomposition [54.65572599920679]
現在のアルゴリズムでは、データセット内のトレーニングサンプルやカテゴリの不均衡が不足している。
本稿では,HOI検出のためのDECAugと呼ばれる効率的かつ効率的なデータ拡張手法を提案する。
実験の結果,V-COCOおよびHICODETデータセットの3.3mAPと1.6mAPの改善が得られた。
論文 参考訳（メタデータ） (2020-10-02T13:59:05Z) - Demystifying Contrastive Self-Supervised Learning: Invariances,
Augmentations and Dataset Biases [34.02639091680309]
近年のパフォーマンス向上は、インスタンス分類モデルをトレーニングし、各イメージを扱い、拡張バージョンを単一のクラスのサンプルとして扱うことで実現している。
我々は,MOCO や PIRL のようなアプローチがオクルージョン不変表現を学習することを示した。
第2に、Imagenetのようなクリーンなオブジェクト中心のトレーニングデータセットにアクセスすることで、これらのアプローチがさらに利益を得ることを示す。
論文 参考訳（メタデータ） (2020-07-28T00:11:31Z) - TransMoMo: Invariance-Driven Unsupervised Video Motion Retargeting [107.39743751292028]
TransMoMoは、ソースビデオ中の人の動きを、ターゲットの別のビデオに現実的に転送することができる。
動き, 構造, ビューアングルを含む3つの要因の不変性を利用する。
本研究では,最先端手法に対する提案手法の有効性を実証する。
論文 参考訳（メタデータ） (2020-03-31T17:49:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。