論文の概要: OCD: Learning to Overfit with Conditional Diffusion Models
- arxiv url: http://arxiv.org/abs/2210.00471v1
- Date: Sun, 2 Oct 2022 09:42:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-04 16:29:01.655466
- Title: OCD: Learning to Overfit with Conditional Diffusion Models
- Title(参考訳): OCD: 条件付き拡散モデルによるオーバーフィットの学習
- Authors: Shahar Shlomo Lutati and Lior Wolf
- Abstract要約: 入力サンプル x 上で重みを条件付けし,x とそのラベル y 上で基底モデルを微調整することによって得られるものと一致することを学習する動的モデルを提案する。
この入力サンプルとネットワーク重みのマッピングは、サンプル分布の線形変換によって近似される。
- 参考スコア(独自算出の注目度): 91.3755431537592
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a dynamic model in which the weights are conditioned on an input
sample x and are learned to match those that would be obtained by finetuning a
base model on x and its label y. This mapping between an input sample and
network weights is shown to be approximated by a linear transformation of the
sample distribution, which suggests that a denoising diffusion model can be
suitable for this task. The diffusion model we therefore employ focuses on
modifying a single layer of the base model and is conditioned on the input,
activations, and output of this layer. Our experiments demonstrate the wide
applicability of the method for image classification, 3D reconstruction,
tabular data, and speech separation. Our code is available at
https://github.com/ShaharLutatiPersonal/OCD.
- Abstract(参考訳): 本稿では,入力サンプル x 上で重みを条件付けし,x 上の基底モデルとそのラベル y を微調整して得られる重みと一致するように学習する動的モデルを提案する。
この入力サンプルとネットワーク重みのマッピングは, 標本分布の線形変換によって近似されることが示され, 偏波拡散モデルがこの課題に適していることが示唆された。
そこで本研究では, ベースモデルの単一層の変更に焦点をあて, この層の入力, アクティベーション, 出力を条件とした拡散モデルを提案する。
実験では, 画像分類, 3次元再構成, 表層データ, 音声分離などに適用可能であることを示す。
私たちのコードはhttps://github.com/ShaharLutatiPersonal/OCDで利用可能です。
関連論文リスト
- Lecture Notes in Probabilistic Diffusion Models [0.5361320134021585]
拡散モデルは非平衡熱力学に基づいてゆるやかにモデル化される。
拡散モデルは、元のデータサンプルが属するデータ多様体を学習する。
拡散モデルは、変分オートエンコーダやフローモデルとは異なり、元のデータと同じ次元の潜伏変数を持つ。
論文 参考訳(メタデータ) (2023-12-16T09:36:54Z) - Denoising Diffusion Bridge Models [54.87947768074036]
拡散モデルは、プロセスを使用してデータにノイズをマッピングする強力な生成モデルである。
画像編集のような多くのアプリケーションでは、モデル入力はランダムノイズではない分布から来る。
本研究では, DDBM(Denoising Diffusion Bridge Models)を提案する。
論文 参考訳(メタデータ) (2023-09-29T03:24:24Z) - Reflected Diffusion Models [93.26107023470979]
本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。
提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
論文 参考訳(メタデータ) (2023-04-10T17:54:38Z) - SinDiffusion: Learning a Diffusion Model from a Single Natural Image [159.4285444680301]
SinDiffusionは1つの自然な画像からパッチの内部分布を捉えるためにデノナイズ拡散モデルを利用する。
SinDiffusionは、2つのコア設計に基づいている。まず、SinDiffusionは、段階的にスケールが成長する複数のモデルではなく、1つのスケールで1つのモデルで訓練されている。
第2に,拡散ネットワークのパッチレベルの受容領域は,画像のパッチ統計を捉える上で重要かつ効果的であることを示す。
論文 参考訳(メタデータ) (2022-11-22T18:00:03Z) - Unifying Diffusion Models' Latent Space, with Applications to
CycleDiffusion and Guidance [95.12230117950232]
関係領域で独立に訓練された2つの拡散モデルから共通潜時空間が現れることを示す。
テキスト・画像拡散モデルにCycleDiffusionを適用することで、大規模なテキスト・画像拡散モデルがゼロショット画像・画像拡散エディタとして使用できることを示す。
論文 参考訳(メタデータ) (2022-10-11T15:53:52Z) - Understanding Diffusion Models: A Unified Perspective [0.0]
拡散モデルは生成モデルとして素晴らしい能力を示している。
変動的視点と得点的視点の両方にわたる拡散モデルの理解をレビューし、デミスティフィケートし、統一する。
論文 参考訳(メタデータ) (2022-08-25T09:55:25Z) - Diffusion models as plug-and-play priors [98.16404662526101]
我々は、事前の$p(mathbfx)$と補助的な制約である$c(mathbfx,mathbfy)$からなるモデルにおいて、高次元データ$mathbfx$を推論する問題を考える。
拡散モデルの構造は,異なるノイズ量に富んだ定性デノナイジングネットワークを通じて,微分を反復することで近似推論を行うことができる。
論文 参考訳(メタデータ) (2022-06-17T21:11:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。