論文の概要: Diffusion Model as Representation Learner
- arxiv url: http://arxiv.org/abs/2308.10916v1
- Date: Mon, 21 Aug 2023 00:38:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-23 20:07:59.249964
- Title: Diffusion Model as Representation Learner
- Title(参考訳): 表現学習者としての拡散モデル
- Authors: Xingyi Yang and Xinchao Wang
- Abstract要約: Diffusion Probabilistic Models (DPMs) は、最近、様々な生成タスクにおいて顕著な結果を示した。
本稿では,DPMが獲得した知識を認識タスクに活用する新しい知識伝達手法を提案する。
- 参考スコア(独自算出の注目度): 86.09969334071478
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion Probabilistic Models (DPMs) have recently demonstrated impressive
results on various generative tasks.Despite its promises, the learned
representations of pre-trained DPMs, however, have not been fully understood.
In this paper, we conduct an in-depth investigation of the representation power
of DPMs, and propose a novel knowledge transfer method that leverages the
knowledge acquired by generative DPMs for recognition tasks. Our study begins
by examining the feature space of DPMs, revealing that DPMs are inherently
denoising autoencoders that balance the representation learning with
regularizing model capacity. To this end, we introduce a novel knowledge
transfer paradigm named RepFusion. Our paradigm extracts representations at
different time steps from off-the-shelf DPMs and dynamically employs them as
supervision for student networks, in which the optimal time is determined
through reinforcement learning. We evaluate our approach on several image
classification, semantic segmentation, and landmark detection benchmarks, and
demonstrate that it outperforms state-of-the-art methods. Our results uncover
the potential of DPMs as a powerful tool for representation learning and
provide insights into the usefulness of generative models beyond sample
generation. The code is available at
\url{https://github.com/Adamdad/Repfusion}.
- Abstract(参考訳): 拡散確率モデル (DPM) は近年, 様々な生成タスクにおいて顕著な成果を上げているが, 事前学習したDPMの表現は十分に理解されていない。
本稿では,DPMの表現力に関する詳細な調査を行い,生成的DPMが獲得した知識を認識タスクに活用する新しい知識伝達手法を提案する。
本研究は, dpmの特徴空間の検討から始まり, dpmは本質的に表現学習と正規化モデルのキャパシティのバランスをとる自動エンコーダであることを明らかにした。
そこで我々はRepFusionという新しい知識伝達パラダイムを導入する。
提案手法は,既成のdpmから異なる時間ステップにおける表現を抽出し,強化学習により最適な時間を決定する学生ネットワークの監督として動的に活用する。
我々は,いくつかの画像分類,意味セグメンテーション,ランドマーク検出ベンチマークのアプローチを評価し,最先端手法よりも優れていることを示す。
本結果は,DPMを表現学習の強力なツールとしての可能性を明らかにし,サンプル生成以上の生成モデルの有用性について考察する。
コードは \url{https://github.com/adamdad/repfusion} で入手できる。
関連論文リスト
- Mitigating Biases with Diverse Ensembles and Diffusion Models [99.6100669122048]
拡散確率モデル(DPM)を利用したアンサンブル多様化フレームワークを提案する。
DPMは、相関した入力特徴を示すサンプルを用いて訓練しても、新しい特徴の組み合わせで画像を生成することができることを示す。
そこで本研究では,DPM誘導の多様化は,制御信号の追加を必要とせず,一次ショートカットキューへの依存を取り除くのに十分であることを示す。
論文 参考訳(メタデータ) (2023-11-23T15:47:33Z) - Efficient Transfer Learning in Diffusion Models via Adversarial Noise [21.609168219488982]
拡散確率モデル (DPM) は画像生成タスクにおいて大きな可能性を証明している。
GANのような以前の研究は、十分なデータで学習したトレーニング済みモデルを転送することで、限られたデータ問題に対処してきた。
限られたデータ問題に対処するために,新しいDPMに基づくトランスファー学習手法であるTANを提案する。
論文 参考訳(メタデータ) (2023-08-23T06:44:44Z) - MOCA: Self-supervised Representation Learning by Predicting Masked
Online Codebook Assignments [48.67345147676275]
自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。
相乗的, 計算効率の両パラダイムを効果的に活用する方法を示す。
我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
論文 参考訳(メタデータ) (2023-07-18T15:46:20Z) - MinT: Boosting Generalization in Mathematical Reasoning via Multi-View
Fine-Tuning [53.90744622542961]
数学領域における推論は、小言語モデル(LM)にとって重要な課題である。
多様なアノテーションスタイルで既存の数学的問題データセットを利用する新しい手法を提案する。
実験結果から,LLaMA-7Bモデルが先行手法より優れていることが示された。
論文 参考訳(メタデータ) (2023-07-16T05:41:53Z) - Unleashing Mask: Explore the Intrinsic Out-of-Distribution Detection
Capability [70.72426887518517]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイする際に、セキュアAIの必須の側面である。
本稿では,IDデータを用いた学習モデルのOOD識別能力を復元する新しい手法であるUnleashing Maskを提案する。
本手法では, マスクを用いて記憶した非定型サンプルを抽出し, モデルを微調整するか, 導入したマスクでプルーする。
論文 参考訳(メタデータ) (2023-06-06T14:23:34Z) - Restoration based Generative Models [0.886014926770622]
デノイング拡散モデル(DDM)は、印象的な合成品質を示すことで注目を集めている。
本稿では、画像復元(IR)の観点からDDMの解釈を確立する。
本稿では,前処理の柔軟性を生かして,拡散過程と比較して性能を向上するマルチスケールトレーニングを提案する。
われわれのフレームワークは、新しいタイプのフレキシブル・ジェネラル・ジェネラル・ジェネレーティブ・モデルの設計の道を開いたと信じている。
論文 参考訳(メタデータ) (2023-02-20T00:53:33Z) - DisDiff: Unsupervised Disentanglement of Diffusion Probabilistic Models [42.58375679841317]
拡散確率モデル(DPM)の解離という新たな課題を提案する。
この課題は、観測の背後にある固有の因子を自動的に発見し、DPMの勾配場を下位段階の磁場に分解することである。
そこで我々は,DPMの枠組みにおいて,不整合表現学習を実現するために,DisDiffという教師なしのアプローチを考案した。
論文 参考訳(メタデータ) (2023-01-31T15:58:32Z) - Unsupervised Representation Learning from Pre-trained Diffusion
Probabilistic Models [83.75414370493289]
拡散確率モデル(DPM)は高品質の画像サンプルを生成する強力な能力を示している。
Diff-AEは自動符号化による表現学習のためのDPMを探索するために提案されている。
我々は、既存のトレーニング済みDPMをデコーダに適応させるために、textbfPre-trained textbfAutotextbfEncoding (textbfPDAE)を提案する。
論文 参考訳(メタデータ) (2022-12-26T02:37:38Z) - DDPM-CD: Denoising Diffusion Probabilistic Models as Feature Extractors
for Change Detection [31.125812018296127]
Deno Diffusion Probabilistic Model (DDPM) の事前学習による変化検出のための新しいアプローチを提案する。
DDPMは、訓練画像を徐々にマルコフ連鎖を用いてガウス分布に変換することにより、トレーニングデータ分布を学習する。
推論(サンプリング)中に、トレーニング分布に近い多様なサンプルセットを生成することができる。
LEVIR-CD, WHU-CD, DSIFN-CD, CDDデータセットを用いて行った実験により,提案手法は既存の変化検出法よりもF1スコアで大幅に優れており, I。
論文 参考訳(メタデータ) (2022-06-23T17:58:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。