論文の概要: MacDiff: Unified Skeleton Modeling with Masked Conditional Diffusion
- arxiv url: http://arxiv.org/abs/2409.10473v1
- Date: Mon, 16 Sep 2024 17:06:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-17 14:48:31.369591
- Title: MacDiff: Unified Skeleton Modeling with Masked Conditional Diffusion
- Title（参考訳）: MacDiff: Masked Conditional Diffusion を用いた統一骨格モデリング
- Authors: Lehong Wu, Lilang Lin, Jiahang Zhang, Yiyang Ma, Jiaying Liu,
- Abstract要約: 人間の骨格モデリングのための統合フレームワークとして,Masked Diffusion Conditional (MacDiff)を提案する。
まず,拡散モデルを用いて効率的な骨格表現学習を行う。
MacDiffは、生成タスクの能力を維持しながら、表現学習ベンチマークで最先端のパフォーマンスを達成する。
- 参考スコア（独自算出の注目度）: 14.907473847787541
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Self-supervised learning has proved effective for skeleton-based human action understanding. However, previous works either rely on contrastive learning that suffers false negative problems or are based on reconstruction that learns too much unessential low-level clues, leading to limited representations for downstream tasks. Recently, great advances have been made in generative learning, which is naturally a challenging yet meaningful pretext task to model the general underlying data distributions. However, the representation learning capacity of generative models is under-explored, especially for the skeletons with spacial sparsity and temporal redundancy. To this end, we propose Masked Conditional Diffusion (MacDiff) as a unified framework for human skeleton modeling. For the first time, we leverage diffusion models as effective skeleton representation learners. Specifically, we train a diffusion decoder conditioned on the representations extracted by a semantic encoder. Random masking is applied to encoder inputs to introduce a information bottleneck and remove redundancy of skeletons. Furthermore, we theoretically demonstrate that our generative objective involves the contrastive learning objective which aligns the masked and noisy views. Meanwhile, it also enforces the representation to complement for the noisy view, leading to better generalization performance. MacDiff achieves state-of-the-art performance on representation learning benchmarks while maintaining the competence for generative tasks. Moreover, we leverage the diffusion model for data augmentation, significantly enhancing the fine-tuning performance in scenarios with scarce labeled data. Our project is available at https://lehongwu.github.io/ECCV24MacDiff/.
- Abstract（参考訳）: 自己教師型学習は骨格に基づく人間の行動理解に有効であることが証明された。
しかし、従来の研究は、誤ったネガティブな問題に悩まされる対照的な学習に依存するか、過度に無意味な低レベルな手がかりを学習する再構成に基づいており、下流のタスクの表現が限られている。
近年、生成学習において大きな進歩がおこなわれており、これは一般的な基礎となるデータ分布をモデル化する上で、困難だが有意義な前提課題である。
しかしながら、生成モデルの表現学習能力は、特に、空間的間隔と時間的冗長性を持つ骨格について、未探索である。
そこで本研究では,ヒト骨格モデリングのための統合フレームワークとして,Masked Conditional Diffusion (MacDiff)を提案する。
まず,拡散モデルを用いて効率的な骨格表現学習を行う。
具体的には,意味エンコーダによって抽出された表現に基づいて,拡散デコーダを訓練する。
ランダムマスキングはエンコーダ入力に適用され、情報のボトルネックを導入し、骨格の冗長性を除去する。
さらに、我々の生成目的が、マスキングとノイズの多い視点を整列する対照的な学習目的を含むことを理論的に実証する。
一方、ノイズの多いビューを補完する表現も強制され、一般化性能が向上する。
MacDiffは、生成タスクの能力を維持しながら、表現学習ベンチマークで最先端のパフォーマンスを達成する。
さらに,データ拡張のための拡散モデルを活用し,ラベル付きデータが少ないシナリオにおける微調整性能を大幅に向上させる。
私たちのプロジェクトはhttps://lehongwu.github.io/ECCV24MacDiff/で利用可能です。
関連論文リスト
- Idempotent Unsupervised Representation Learning for Skeleton-Based Action Recognition [13.593511876719367]
教師なし表現学習のための新しい骨格ベース等等化生成モデル(IGM)を提案する。
ベンチマークデータセットであるNTU RGB+DとPKUMMDに関する実験により,提案手法の有効性を実証した。
論文 参考訳（メタデータ） (2024-10-27T06:29:04Z) - Face Forgery Detection with Elaborate Backbone [50.914676786151574]
Face Forgery Detectionは、デジタル顔が本物か偽物かを決定することを目的としている。
以前のFFDモデルは、偽造の手がかりを表現および抽出するために既存のバックボーンを直接使用していた。
本稿では,実顔データセットを用いた自己教師型学習でVTネットワークを活用することで,バックボーンの事前トレーニングを提案する。
次に、多様な偽の手がかりを抽出するバックボーンの能力を強化するために、競争力のあるバックボーンの微調整フレームワークを構築します。
論文 参考訳（メタデータ） (2024-09-25T13:57:16Z) - Premonition: Using Generative Models to Preempt Future Data Changes in
Continual Learning [63.850451635362425]
継続的な学習には、データ分散の継続的な変化に対応するためのモデルが必要である。
本稿では,大規模言語モデルと画像生成モデルの組み合わせが有用であることを示す。
トレーニング済みネットワークのバックボーンは、下流の連続学習問題に有用な表現を学習できることがわかった。
論文 参考訳（メタデータ） (2024-03-12T06:29:54Z) - DiffAug: Enhance Unsupervised Contrastive Learning with Domain-Knowledge-Free Diffusion-based Data Augmentation [48.25619775814776]
本稿では,拡散モードに基づく正データ生成を用いた新しい教師なしコントラスト学習手法であるDiffAugを提案する。
DiffAugはセマンティックエンコーダと条件拡散モデルから構成されており、条件拡散モデルはセマンティックエンコーダに条件付された新しい正のサンプルを生成する。
実験的評価により、DiffAugは、DNA配列、視覚、および生体機能データセットのハンドデザインおよびSOTAモデルに基づく拡張手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2023-09-10T13:28:46Z) - Learning to Jump: Thinning and Thickening Latent Counts for Generative
Modeling [69.60713300418467]
ジャンプの学習は、様々な種類のデータの生成モデリングのための一般的なレシピである。
ジャンプの学習が、デノゼの学習と相容れないパフォーマンスを期待される場合と、より良いパフォーマンスを期待される場合を実証する。
論文 参考訳（メタデータ） (2023-05-28T05:38:28Z) - ChiroDiff: Modelling chirographic data with Diffusion Models [132.5223191478268]
チャーログラフィーデータのための強力なモデルクラスである「拡散確率モデル(Denoising Diffusion Probabilistic Models)」やDDPMを導入している。
我々のモデルは「ChiroDiff」と呼ばれ、非自己回帰的であり、全体論的概念を捉えることを学び、したがって高い時間的サンプリングレートに回復する。
論文 参考訳（メタデータ） (2023-04-07T15:17:48Z) - Diffusion Models as Masked Autoencoders [52.442717717898056]
拡散モデルに対する近年の関心を踏まえて、生成的に事前学習された視覚表現を再考する。
拡散モデルによる直接事前学習では強い表現は得られないが、マスク付き入力上での拡散モデルと公式拡散モデルをマスク付きオートエンコーダ(DiffMAE)として条件付ける。
設計選択の長所と短所について包括的な研究を行い、拡散モデルとマスク付きオートエンコーダ間の接続を構築する。
論文 参考訳（メタデータ） (2023-04-06T17:59:56Z) - Conditional Mutual information-based Contrastive Loss for Financial Time
Series Forecasting [12.0855096102517]
金融時系列予測のための表現学習フレームワークを提案する。
本稿では、まず時系列データからコンパクトな表現を学習し、次に学習した表現を用いて、時系列の動きを予測するためのより単純なモデルを訓練する。
論文 参考訳（メタデータ） (2020-02-18T15:24:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。