論文の概要: OCD: Learning to Overfit with Conditional Diffusion Models

• arxiv url: http://arxiv.org/abs/2210.00471v1
• Date: Sun, 2 Oct 2022 09:42:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 16:29:01.655466
• Title: OCD: Learning to Overfit with Conditional Diffusion Models
• Title（参考訳）: OCD: 条件付き拡散モデルによるオーバーフィットの学習
• Authors: Shahar Shlomo Lutati and Lior Wolf
• Abstract要約: 入力サンプル x 上で重みを条件付けし,x とそのラベル y 上で基底モデルを微調整することによって得られるものと一致することを学習する動的モデルを提案する。 この入力サンプルとネットワーク重みのマッピングは、サンプル分布の線形変換によって近似される。
• 参考スコア（独自算出の注目度）: 91.3755431537592
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a dynamic model in which the weights are conditioned on an input sample x and are learned to match those that would be obtained by finetuning a base model on x and its label y. This mapping between an input sample and network weights is shown to be approximated by a linear transformation of the sample distribution, which suggests that a denoising diffusion model can be suitable for this task. The diffusion model we therefore employ focuses on modifying a single layer of the base model and is conditioned on the input, activations, and output of this layer. Our experiments demonstrate the wide applicability of the method for image classification, 3D reconstruction, tabular data, and speech separation. Our code is available at https://github.com/ShaharLutatiPersonal/OCD.
• Abstract（参考訳）: 本稿では,入力サンプル x 上で重みを条件付けし,x 上の基底モデルとそのラベル y を微調整して得られる重みと一致するように学習する動的モデルを提案する。 この入力サンプルとネットワーク重みのマッピングは, 標本分布の線形変換によって近似されることが示され, 偏波拡散モデルがこの課題に適していることが示唆された。 そこで本研究では, ベースモデルの単一層の変更に焦点をあて, この層の入力, アクティベーション, 出力を条件とした拡散モデルを提案する。 実験では, 画像分類, 3次元再構成, 表層データ, 音声分離などに適用可能であることを示す。 私たちのコードはhttps://github.com/ShaharLutatiPersonal/OCDで利用可能です。

関連論文リスト

• Derivative-Free Guidance in Continuous and Discrete Diffusion Models with Soft Value-Based Decoding [84.3224556294803]
  拡散モデルは、画像、分子、DNA、RNA、タンパク質配列の自然なデザイン空間を捉えるのに優れている。 これらの設計空間の自然性を保ちながら、下流の報酬関数を最適化することを目指している。 提案アルゴリズムは,中間雑音状態が将来高い報酬をもたらすことの先駆けとして,ソフトバリュー関数を統合する。
  論文  参考訳（メタデータ） (2024-08-15T16:47:59Z)
• An Expectation-Maximization Algorithm for Training Clean Diffusion Models from Corrupted Observations [21.411327264448058]
  本稿では, 予測最大化(EM)手法を提案し, 劣化した観測から拡散モデルを訓練する。 本手法は, 既知拡散モデル(E-step)を用いた劣化データからのクリーン画像の再構成と, これらの再構成(M-step)に基づく拡散モデル重みの精製とを交互に行う。 この反復過程は、学習された拡散モデルを真のクリーンなデータ分布に徐々に収束させる。
  論文  参考訳（メタデータ） (2024-07-01T07:00:17Z)
• Glauber Generative Model: Discrete Diffusion Models via Binary Classification [21.816933208895843]
  離散拡散モデルの新しいクラスであるグラウバー生成モデル(GGM)を紹介する。 GGMはマルコフ連鎖を展開させ、離散トークンの共分散からサンプルにノイズトークンの列を分解する。 言語生成や画像生成において,既存の離散拡散モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-27T10:42:13Z)
• Lecture Notes in Probabilistic Diffusion Models [0.5361320134021585]
  拡散モデルは非平衡熱力学に基づいてゆるやかにモデル化される。 拡散モデルは、元のデータサンプルが属するデータ多様体を学習する。 拡散モデルは、変分オートエンコーダやフローモデルとは異なり、元のデータと同じ次元の潜伏変数を持つ。
  論文  参考訳（メタデータ） (2023-12-16T09:36:54Z)
• Denoising Diffusion Bridge Models [54.87947768074036]
  拡散モデルは、プロセスを使用してデータにノイズをマッピングする強力な生成モデルである。 画像編集のような多くのアプリケーションでは、モデル入力はランダムノイズではない分布から来る。 本研究では, DDBM(Denoising Diffusion Bridge Models)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T03:24:24Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• SinDiffusion: Learning a Diffusion Model from a Single Natural Image [159.4285444680301]
  SinDiffusionは1つの自然な画像からパッチの内部分布を捉えるためにデノナイズ拡散モデルを利用する。 SinDiffusionは、2つのコア設計に基づいている。まず、SinDiffusionは、段階的にスケールが成長する複数のモデルではなく、1つのスケールで1つのモデルで訓練されている。 第2に,拡散ネットワークのパッチレベルの受容領域は,画像のパッチ統計を捉える上で重要かつ効果的であることを示す。
  論文  参考訳（メタデータ） (2022-11-22T18:00:03Z)
• Unifying Diffusion Models' Latent Space, with Applications to CycleDiffusion and Guidance [95.12230117950232]
  関係領域で独立に訓練された2つの拡散モデルから共通潜時空間が現れることを示す。 テキスト・画像拡散モデルにCycleDiffusionを適用することで、大規模なテキスト・画像拡散モデルがゼロショット画像・画像拡散エディタとして使用できることを示す。
  論文  参考訳（メタデータ） (2022-10-11T15:53:52Z)
• Understanding Diffusion Models: A Unified Perspective [0.0]
  拡散モデルは生成モデルとして素晴らしい能力を示している。 変動的視点と得点的視点の両方にわたる拡散モデルの理解をレビューし、デミスティフィケートし、統一する。
  論文  参考訳（メタデータ） (2022-08-25T09:55:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。