論文の概要: BELM: Bidirectional Explicit Linear Multi-step Sampler for Exact Inversion in Diffusion Models

• arxiv url: http://arxiv.org/abs/2410.07273v1
• Date: Wed, 9 Oct 2024 06:32:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 21:16:58.077656
• Title: BELM: Bidirectional Explicit Linear Multi-step Sampler for Exact Inversion in Diffusion Models
• Title（参考訳）: BELM:拡散モデルにおける厳密なインバージョンのための双方向明示的線形多段階サンプリング器
• Authors: Fangyikang Wang, Hubery Yin, Yuejiang Dong, Huminhao Zhu, Chao Zhang, Hanbin Zhao, Hui Qian, Chen Li,
• Abstract要約: 本稿では,汎用的な定式化 emphBidirectional Linear Explicit Multi-step (BELM) について紹介する。 BELMの定式化は可変段-形式線形多段法から導かれる。 精度の高いインバージョン・スライダの既存の設計が準最適最小化をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 11.063964007950249
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The inversion of diffusion model sampling, which aims to find the corresponding initial noise of a sample, plays a critical role in various tasks. Recently, several heuristic exact inversion samplers have been proposed to address the inexact inversion issue in a training-free manner. However, the theoretical properties of these heuristic samplers remain unknown and they often exhibit mediocre sampling quality. In this paper, we introduce a generic formulation, \emph{Bidirectional Explicit Linear Multi-step} (BELM) samplers, of the exact inversion samplers, which includes all previously proposed heuristic exact inversion samplers as special cases. The BELM formulation is derived from the variable-stepsize-variable-formula linear multi-step method via integrating a bidirectional explicit constraint. We highlight this bidirectional explicit constraint is the key of mathematically exact inversion. We systematically investigate the Local Truncation Error (LTE) within the BELM framework and show that the existing heuristic designs of exact inversion samplers yield sub-optimal LTE. Consequently, we propose the Optimal BELM (O-BELM) sampler through the LTE minimization approach. We conduct additional analysis to substantiate the theoretical stability and global convergence property of the proposed optimal sampler. Comprehensive experiments demonstrate our O-BELM sampler establishes the exact inversion property while achieving high-quality sampling. Additional experiments in image editing and image interpolation highlight the extensive potential of applying O-BELM in varying applications.
• Abstract（参考訳）: サンプルの初期ノイズの発見を目的とした拡散モデルサンプリングの逆転は,様々なタスクにおいて重要な役割を果たす。 近年,不正確な逆転問題に対するトレーニング不要な対処法として,ヒューリスティックな正確な逆転検定器がいくつか提案されている。 しかし、これらのヒューリスティックサンプリングの理論的性質はいまだ不明であり、しばしば中程度のサンプリング品質を示す。 本稿では,従来提案されていたすべてのヒューリスティックな正確なインバージョン・サンプルを特別なケースとして含む,正確なインバージョン・サンプルの一般的な定式化であるBELM(emph{Bidirectional Explicit Linear Multi-step})について紹介する。 BELMの定式化は、双方向の明示的制約を統合することによって、可変段差可変形式線形多段階法から導かれる。 この双方向的明示的制約が数学的に正確な逆転の鍵であることを強調する。 BELMフレームワーク内の局所トラニケーション誤差(LTE)を系統的に検討し,既存の正逆サンプリング器のヒューリスティック設計により,準最適LTEが得られることを示す。 そこで本研究ではLTE最小化手法を用いて,O-BELM(Optimal BELM)サンプリング器を提案する。 我々は,提案した最適サンプリング器の理論的安定性と大域収束性を評価するために,さらなる解析を行う。 総合的な実験により,O-BELMサンプリング器は高品質なサンプリングを行いながら,正確な逆転特性を確立した。 画像編集と画像補間に関する追加実験は、O-BELMを様々な応用に適用する広範な可能性を強調している。

関連論文リスト

• Unified Convergence Analysis for Score-Based Diffusion Models with Deterministic Samplers [49.1574468325115]
  決定論的サンプリングのための統合収束分析フレームワークを提案する。 我々のフレームワークは$tilde O(d2/epsilon)$の反復複雑性を実現する。 また,Denoising Implicit Diffusion Models (DDIM) タイプのサンプルについて詳細な分析を行った。
  論文  参考訳（メタデータ） (2024-10-18T07:37:36Z)
• HJ-sampler: A Bayesian sampler for inverse problems of a stochastic process by leveraging Hamilton-Jacobi PDEs and score-based generative models [1.949927790632678]
  本稿では,ブラウン運動文脈におけるコールホップ変換(Cole-Hopf transform)と呼ばれるログ変換に基づく。 本稿では,HJ-sampler という新しいアルゴリズムを開発し,与えられた終端観測による微分方程式の逆問題に対する推論を行う。
  論文  参考訳（メタデータ） (2024-09-15T05:30:54Z)
• Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
  CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。 統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
  論文  参考訳（メタデータ） (2024-08-25T04:07:18Z)
• Variational Learning of Gaussian Process Latent Variable Models through Stochastic Gradient Annealed Importance Sampling [22.256068524699472]
  本研究では,これらの問題に対処するために,Annealed Importance Smpling (AIS)アプローチを提案する。 シークエンシャルモンテカルロサンプリング器とVIの強度を組み合わせることで、より広い範囲の後方分布を探索し、徐々にターゲット分布に接近する。 実験結果から,本手法はより厳密な変動境界,高い対数類似度,より堅牢な収束率で最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-13T08:09:05Z)
• Distributional Preference Alignment of LLMs via Optimal Transport [36.95053112313244]
  最適輸送(AOT)によるアライメント(Alignment)と呼ばれるLLMの分布選好アライメント手法を提案する。 AOTは、正のサンプルの報酬分布を負のサンプルの分布の第1次において支配的に支配することにより、LLMを未ペアの選好データに整合させる。 AOTは,Open LLM BenchmarksとAlpacaEvalで評価すると,7Bモデルの最先端モデルにつながることを示す。
  論文  参考訳（メタデータ） (2024-06-09T18:41:05Z)
• A Block Metropolis-Hastings Sampler for Controllable Energy-based Text Generation [78.81021361497311]
  我々は,大規模言語モデルの反復的プロンプトを通じて,各ステップにおけるシーケンス全体の書き直しを提案する新しいメトロポリス・ハスティングス(MH)サンプリング器を開発した。 対象分布からより効率的かつ正確なサンプリングが可能となり, (b) 事前に固定するのではなく, サンプリング手順により生成長を決定することが可能となった。
  論文  参考訳（メタデータ） (2023-12-07T18:30:15Z)
• Restoration-Degradation Beyond Linear Diffusions: A Non-Asymptotic Analysis For DDIM-Type Samplers [90.45898746733397]
  本研究では拡散生成モデルに用いる決定論的サンプリング器の非漸近解析のためのフレームワークを開発する。 確率フローODEに沿った1ステップは,1) 条件付き対数線上を無限に先行して上昇する回復ステップ,2) 雑音を現在の勾配に向けて前向きに進行する劣化ステップの2段階で表すことができる。
  論文  参考訳（メタデータ） (2023-03-06T18:59:19Z)
• Algorithmic Aspects of the Log-Laplace Transform and a Non-Euclidean Proximal Sampler [23.166642097170545]
  我々は、密度の対数ラプラス変換(LLT)と呼ばれる物体によって自然に正則化を誘導する、最近の[LST21]の近位サンプルの非ユークリッドアナログを開発する。 本稿では,Euclidean 設定 [GLL22] に適合させるため,$ell_p$ と $p in [1, 2]$ のSchatten-$p$ノルムの差分プライベート凸最適化の値オラクル複雑性を改善するとともに,最先端の余剰リスク境界を維持した。
  論文  参考訳（メタデータ） (2023-02-13T04:08:41Z)
• Locally Interpretable Model Agnostic Explanations using Gaussian Processes [2.9189409618561966]
  LIME(Local Interpretable Model-Agnostic Explanations)は、単一インスタンスの予測を説明する一般的なテクニックである。 局所的解釈可能なモデルのガウス過程(GP)に基づくバリエーションを提案する。 提案手法は,LIMEに比べてはるかに少ないサンプルを用いて忠実な説明を生成可能であることを示す。
  論文  参考訳（メタデータ） (2021-08-16T05:49:01Z)
• Reparameterized Sampling for Generative Adversarial Networks [71.30132908130581]
  本稿では,マルコフ連鎖をジェネレータの潜在空間に再配置することで,一般依存型提案を可能にする新しいサンプリング手法REP-GANを提案する。 実験的な実験により、我々のREP-GANはサンプル効率を大幅に改善し、同時により良いサンプル品質を得ることを示した。
  論文  参考訳（メタデータ） (2021-07-01T10:34:55Z)
• GANs with Variational Entropy Regularizers: Applications in Mitigating the Mode-Collapse Issue [95.23775347605923]
  深層学習の成功に基づいて、GAN(Generative Adversarial Networks)は、観測されたサンプルから確率分布を学習するための現代的なアプローチを提供する。 GANはしばしば、ジェネレータが入力分布の既存のすべてのモードをキャプチャできないモード崩壊問題に悩まされる。 情報理論のアプローチを採り、生成したサンプルのエントロピーの変動的下限を最大化し、それらの多様性を増大させる。
  論文  参考訳（メタデータ） (2020-09-24T19:34:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。