論文の概要: Diffusion Model as Representation Learner

• arxiv url: http://arxiv.org/abs/2308.10916v1
• Date: Mon, 21 Aug 2023 00:38:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-23 20:07:59.249964
• Title: Diffusion Model as Representation Learner
• Title（参考訳）: 表現学習者としての拡散モデル
• Authors: Xingyi Yang and Xinchao Wang
• Abstract要約: Diffusion Probabilistic Models (DPMs) は、最近、様々な生成タスクにおいて顕著な結果を示した。 本稿では,DPMが獲得した知識を認識タスクに活用する新しい知識伝達手法を提案する。
• 参考スコア（独自算出の注目度）: 86.09969334071478
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion Probabilistic Models (DPMs) have recently demonstrated impressive results on various generative tasks.Despite its promises, the learned representations of pre-trained DPMs, however, have not been fully understood. In this paper, we conduct an in-depth investigation of the representation power of DPMs, and propose a novel knowledge transfer method that leverages the knowledge acquired by generative DPMs for recognition tasks. Our study begins by examining the feature space of DPMs, revealing that DPMs are inherently denoising autoencoders that balance the representation learning with regularizing model capacity. To this end, we introduce a novel knowledge transfer paradigm named RepFusion. Our paradigm extracts representations at different time steps from off-the-shelf DPMs and dynamically employs them as supervision for student networks, in which the optimal time is determined through reinforcement learning. We evaluate our approach on several image classification, semantic segmentation, and landmark detection benchmarks, and demonstrate that it outperforms state-of-the-art methods. Our results uncover the potential of DPMs as a powerful tool for representation learning and provide insights into the usefulness of generative models beyond sample generation. The code is available at \url{https://github.com/Adamdad/Repfusion}.
• Abstract（参考訳）: 拡散確率モデル (DPM) は近年, 様々な生成タスクにおいて顕著な成果を上げているが, 事前学習したDPMの表現は十分に理解されていない。 本稿では,DPMの表現力に関する詳細な調査を行い,生成的DPMが獲得した知識を認識タスクに活用する新しい知識伝達手法を提案する。 本研究は, dpmの特徴空間の検討から始まり, dpmは本質的に表現学習と正規化モデルのキャパシティのバランスをとる自動エンコーダであることを明らかにした。 そこで我々はRepFusionという新しい知識伝達パラダイムを導入する。 提案手法は,既成のdpmから異なる時間ステップにおける表現を抽出し,強化学習により最適な時間を決定する学生ネットワークの監督として動的に活用する。 我々は,いくつかの画像分類,意味セグメンテーション,ランドマーク検出ベンチマークのアプローチを評価し,最先端手法よりも優れていることを示す。 本結果は,DPMを表現学習の強力なツールとしての可能性を明らかにし,サンプル生成以上の生成モデルの有用性について考察する。 コードは \url{https://github.com/adamdad/repfusion} で入手できる。

関連論文リスト

• Efficient Distribution Matching of Representations via Noise-Injected Deep InfoMax [73.03684002513218]
  我々はDeep InfoMax(DIM)を拡張し、学習した表現を選択された事前分布に自動マッチングできるようにする。 このような修正により、一様かつ通常に分散した表現を学習できることを示す。 その結果,下流作業における性能とDMの品質の中間的なトレードオフが示唆された。
  論文  参考訳（メタデータ） (2024-10-09T15:40:04Z)
• Towards a Theoretical Understanding of Memorization in Diffusion Models [76.85077961718875]
  拡散確率モデル(DPM)は、生成人工知能(GenAI)の主流モデルとして採用されている。 モデル収束を前提とした条件付きおよび非条件付きDPMにおける記憶の理論的理解を提供する。 本研究では、生成されたデータに基づいて訓練された時間依存型分類器を代理条件として利用し、無条件DPMからトレーニングデータを抽出する、textbfSurrogate condItional Data extract (SIDE) という新しいデータ抽出手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T13:17:06Z)
• Multi Teacher Privileged Knowledge Distillation for Multimodal Expression Recognition [58.41784639847413]
  人間の感情は、表情、声調、ボディランゲージ、生理的信号を通じて伝達され知覚される複雑な現象である。 本稿では, 学生に蒸留する前に, 教師の多様な表現を並べ合わせるために, 自己蒸留による多教師PKD(MT-PKDOT)法を提案する。 その結果,提案手法はSOTA PKD法より優れていることがわかった。
  論文  参考訳（メタデータ） (2024-08-16T22:11:01Z)
• Mitigating Shortcut Learning with Diffusion Counterfactuals and Diverse Ensembles [95.49699178874683]
  拡散確率モデル(DPM)を利用したアンサンブル多様化フレームワークDiffDivを提案する。 DPMは、相関した入力特徴を示すサンプルを用いて訓練しても、新しい特徴の組み合わせで画像を生成することができることを示す。 そこで本研究では,DPM誘導の多様化は,教師付き信号の追加を必要とせず,ショートカットキューへの依存を取り除くのに十分であることを示す。
  論文  参考訳（メタデータ） (2023-11-23T15:47:33Z)
• Efficient Transfer Learning in Diffusion Models via Adversarial Noise [21.609168219488982]
  拡散確率モデル (DPM) は画像生成タスクにおいて大きな可能性を証明している。 GANのような以前の研究は、十分なデータで学習したトレーニング済みモデルを転送することで、限られたデータ問題に対処してきた。 限られたデータ問題に対処するために,新しいDPMに基づくトランスファー学習手法であるTANを提案する。
  論文  参考訳（メタデータ） (2023-08-23T06:44:44Z)
• DisDiff: Unsupervised Disentanglement of Diffusion Probabilistic Models [42.58375679841317]
  拡散確率モデル(DPM)の解離という新たな課題を提案する。 この課題は、観測の背後にある固有の因子を自動的に発見し、DPMの勾配場を下位段階の磁場に分解することである。 そこで我々は,DPMの枠組みにおいて,不整合表現学習を実現するために,DisDiffという教師なしのアプローチを考案した。
  論文  参考訳（メタデータ） (2023-01-31T15:58:32Z)
• Unsupervised Representation Learning from Pre-trained Diffusion Probabilistic Models [83.75414370493289]
  拡散確率モデル(DPM)は高品質の画像サンプルを生成する強力な能力を示している。 Diff-AEは自動符号化による表現学習のためのDPMを探索するために提案されている。 我々は、既存のトレーニング済みDPMをデコーダに適応させるために、textbfPre-trained textbfAutotextbfEncoding (textbfPDAE)を提案する。
  論文  参考訳（メタデータ） (2022-12-26T02:37:38Z)
• DDPM-CD: Denoising Diffusion Probabilistic Models as Feature Extractors for Change Detection [31.125812018296127]
  Deno Diffusion Probabilistic Model (DDPM) の事前学習による変化検出のための新しいアプローチを提案する。 DDPMは、訓練画像を徐々にマルコフ連鎖を用いてガウス分布に変換することにより、トレーニングデータ分布を学習する。 推論(サンプリング)中に、トレーニング分布に近い多様なサンプルセットを生成することができる。 LEVIR-CD, WHU-CD, DSIFN-CD, CDDデータセットを用いて行った実験により,提案手法は既存の変化検出法よりもF1スコアで大幅に優れており, I。
  論文  参考訳（メタデータ） (2022-06-23T17:58:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。