論文の概要: Mirror Diffusion Models for Constrained and Watermarked Generation

• arxiv url: http://arxiv.org/abs/2310.01236v1
• Date: Mon, 2 Oct 2023 14:26:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-04 21:18:41.072029
• Title: Mirror Diffusion Models for Constrained and Watermarked Generation
• Title（参考訳）: 拘束・透かし生成のためのミラー拡散モデル
• Authors: Guan-Horng Liu, Tianrong Chen, Evangelos A. Theodorou, Molei Tao
• Abstract要約: ミラー拡散モデル(MDM)は、トラクタビリティを損なうことなく凸制約セット上のデータを生成する新しい拡散モデルである。 安全とプライバシーのために、我々は、生成したデータに目に見えないが定量的な情報を埋め込む新しいメカニズムとして制約セットを探求する。
• 参考スコア（独自算出の注目度）: 41.27274841596343
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern successes of diffusion models in learning complex, high-dimensional data distributions are attributed, in part, to their capability to construct diffusion processes with analytic transition kernels and score functions. The tractability results in a simulation-free framework with stable regression losses, from which reversed, generative processes can be learned at scale. However, when data is confined to a constrained set as opposed to a standard Euclidean space, these desirable characteristics appear to be lost based on prior attempts. In this work, we propose Mirror Diffusion Models (MDM), a new class of diffusion models that generate data on convex constrained sets without losing any tractability. This is achieved by learning diffusion processes in a dual space constructed from a mirror map, which, crucially, is a standard Euclidean space. We derive efficient computation of mirror maps for popular constrained sets, such as simplices and $\ell_2$-balls, showing significantly improved performance of MDM over existing methods. For safety and privacy purposes, we also explore constrained sets as a new mechanism to embed invisible but quantitative information (i.e., watermarks) in generated data, for which MDM serves as a compelling approach. Our work brings new algorithmic opportunities for learning tractable diffusion on complex domains.
• Abstract（参考訳）: 複雑な高次元データ分布の学習における拡散モデルの成功は、部分的には、解析的遷移核とスコア関数を持つ拡散過程を構築する能力に起因している。 トラクタビリティは、安定な回帰損失を持つシミュレーションのないフレームワークとなり、そこから逆生成過程を大規模に学習することができる。 しかし、データが標準ユークリッド空間とは対照的に制約された集合に制限されている場合、これらの望ましい特徴は以前の試みによって失われるように見える。 本研究では, トラクタビリティを損なうことなく凸拘束集合上のデータを生成する新しい拡散モデルであるミラー拡散モデル(MDM)を提案する。 これはミラー写像から構築された双対空間における拡散過程の学習によって達成され、これは決定的に標準ユークリッド空間である。 我々は,従来の手法よりもMDMの性能が大幅に向上した,simplicesや$\ell_2$-ballsなどの制約セットに対するミラーマップの効率的な計算法を導出した。 安全性とプライバシの目的でも、MDMが魅力的なアプローチとして機能する生成データに、目に見えないが定量的な情報(すなわち透かし)を埋め込む新しいメカニズムとして制約セットを探求する。 本研究は,複雑な領域における可搬拡散の学習に新たなアルゴリズム的機会をもたらす。

関連論文リスト

• Derivative-Free Guidance in Continuous and Discrete Diffusion Models with Soft Value-Based Decoding [84.3224556294803]
  拡散モデルは、画像、分子、DNA、RNA、タンパク質配列の自然なデザイン空間を捉えるのに優れている。 これらの設計空間の自然性を保ちながら、下流の報酬関数を最適化することを目指している。 提案アルゴリズムは,中間雑音状態が将来高い報酬をもたらすことの先駆けとして,ソフトバリュー関数を統合する。
  論文  参考訳（メタデータ） (2024-08-15T16:47:59Z)
• Neural Approximate Mirror Maps for Constrained Diffusion Models [6.776705170481944]
  拡散モデルは視覚的に拘束力のある画像を作成するのに優れているが、トレーニングデータに固有の微妙な制約を満たすのに苦労することが多い。 一般制約に対するニューラル近似ミラーマップ(NAMM)を提案する。 MDMのような生成モデルは、学習されたミラー空間で訓練され、そのサンプルは逆写像によって設定された制約に復元される。
  論文  参考訳（メタデータ） (2024-06-18T17:36:09Z)
• Amortizing intractable inference in diffusion models for vision, language, and control [89.65631572949702]
  本稿では,p(mathbfx)$以前の拡散生成モデルとブラックボックス制約,あるいは関数$r(mathbfx)$からなるモデルにおいて,データ上の後部サンプルである $mathbfxsim prm post(mathbfx)propto p(mathbfx)r(mathbfx)$について検討する。 我々は,データフリー学習目標である相対軌道バランスの正しさを,サンプルから抽出した拡散モデルの訓練のために証明する。
  論文  参考訳（メタデータ） (2024-05-31T16:18:46Z)
• Unsupervised Discovery of Interpretable Directions in h-space of Pre-trained Diffusion Models [63.1637853118899]
  本稿では,事前学習した拡散モデルのh空間における解釈可能な方向を特定するための,教師なしおよび学習に基づく最初の手法を提案する。 我々は、事前訓練された拡散モデルのh-スペースで動作するシフト制御モジュールを用いて、サンプルをシフトしたバージョンに操作する。 それらを共同で最適化することで、モデルは自然に絡み合った、解釈可能な方向を発見する。
  論文  参考訳（メタデータ） (2023-10-15T18:44:30Z)
• Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
  拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。 本稿では,階層型統合拡散モデル(HI-Diff)を提案する。 人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2023-05-22T12:18:20Z)
• Score-based Diffusion Models in Function Space [140.792362459734]
  拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。 本稿では,関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)という,数学的に厳密なフレームワークを提案する。 データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
  論文  参考訳（メタデータ） (2023-02-14T23:50:53Z)
• Stochastic Mirror Descent in Average Ensemble Models [38.38572705720122]
  ミラー降下 (SMD) はトレーニングアルゴリズムの一般的なクラスであり、特別な場合として、祝い勾配降下 (SGD) を含む。 本稿では,平均場アンサンブルモデルにおけるミラーポテンシャルアルゴリズムの性能について検討する。
  論文  参考訳（メタデータ） (2022-10-27T11:04:00Z)
• Autoregressive Diffusion Models [34.125045462636386]
  本稿では,次数に依存しない自己回帰モデルを含むモデルクラスであるAutoregressive Diffusion Models (ARDMs)を紹介する。 ARDMは実装が簡単で、訓練も容易であり、現代の確率的拡散モデルに似た効率的な目的を用いて訓練することができる。 我々は,ARDMが完全なデータセットだけでなく,単一のデータポイントの圧縮においても,説得力のある結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-05T13:36:55Z)
• Structured Denoising Diffusion Models in Discrete State-Spaces [15.488176444698404]
  本稿では離散化拡散確率モデル(D3PM)を離散データに適用する。 遷移行列の選択は、画像およびテキスト領域における結果の改善につながる重要な設計決定である。 テキストでは、このモデルクラスは、LM1B上の大きな語彙にスケールしながら、文字レベルのテキスト生成に強い結果をもたらす。
  論文  参考訳（メタデータ） (2021-07-07T04:11:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。