論文の概要: A First-order Generative Bilevel Optimization Framework for Diffusion Models

• arxiv url: http://arxiv.org/abs/2502.08808v1
• Date: Wed, 12 Feb 2025 21:44:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:49:32.054541
• Title: A First-order Generative Bilevel Optimization Framework for Diffusion Models
• Title（参考訳）: 拡散モデルのための一階生成二段階最適化フレームワーク
• Authors: Quan Xiao, Hui Yuan, A F M Saif, Gaowen Liu, Ramana Kompella, Mengdi Wang, Tianyi Chen,
• Abstract要約: 拡散モデルは、データサンプルを反復的に分解して高品質な出力を合成する。 従来の二値法は無限次元の確率空間と禁制的なサンプリングコストのために失敗する。 我々はこの問題を生成的二段階最適化問題として定式化する。 従来の2段階法と拡散過程の非互換性を克服する。
• 参考スコア（独自算出の注目度）: 57.40597004445473
• License:
• Abstract: Diffusion models, which iteratively denoise data samples to synthesize high-quality outputs, have achieved empirical success across domains. However, optimizing these models for downstream tasks often involves nested bilevel structures, such as tuning hyperparameters for fine-tuning tasks or noise schedules in training dynamics, where traditional bilevel methods fail due to the infinite-dimensional probability space and prohibitive sampling costs. We formalize this challenge as a generative bilevel optimization problem and address two key scenarios: (1) fine-tuning pre-trained models via an inference-only lower-level solver paired with a sample-efficient gradient estimator for the upper level, and (2) training diffusion models from scratch with noise schedule optimization by reparameterizing the lower-level problem and designing a computationally tractable gradient estimator. Our first-order bilevel framework overcomes the incompatibility of conventional bilevel methods with diffusion processes, offering theoretical grounding and computational practicality. Experiments demonstrate that our method outperforms existing fine-tuning and hyperparameter search baselines.
• Abstract（参考訳）: 拡散モデルは、データサンプルを反復的に分解して高品質な出力を合成し、ドメイン間で実証的な成功を収めている。 しかし、これらのモデルを下流タスクに最適化するには、細調整タスクのためのハイパーパラメータのチューニングや、トレーニング力学におけるノイズスケジュールのようなネストされた双レベル構造を伴い、従来の二レベル手法は無限次元の確率空間と禁制的なサンプリングコストのために失敗する。 この課題を生成的二段階最適化問題として定式化し,(1)推論のみによる事前学習モデルと上層階のサンプル効率勾配推定器を組み合わせた下層階勾配推定器,(2)下層階問題を再パラメータ化し,計算的に抽出可能な勾配推定器を設計することで,騒音スケジュール最適化によりスクラッチから拡散モデルを訓練する,という2つのシナリオに対処する。 我々は,従来の二段階法と拡散過程の非互換性を克服し,理論的基礎と計算的実用性を提供する。 実験により,提案手法は既存の微調整・ハイパーパラメータ探索ベースラインよりも優れていることが示された。

関連論文リスト

• Fast T2T: Optimization Consistency Speeds Up Diffusion-Based Training-to-Testing Solving for Combinatorial Optimization [83.65278205301576]
  雑音レベルから与えられたインスタンスの最適解への直接写像を学習し、最小限のショットで高品質な生成を容易にすることを提案する。 これは、サンプル間の差を最小限に抑える最適化一貫性トレーニングプロトコルによって達成される。 The Traveling Salesman Problem (TSP) と Maximal Independent Set (MIS) は、ソリューションの品質と効率の両方に関して、Fast T2Tの優位性を実証している。
  論文  参考訳（メタデータ） (2025-02-05T07:13:43Z)
• Fast Solvers for Discrete Diffusion Models: Theory and Applications of High-Order Algorithms [31.42317398879432]
  現在の推論アプローチは主に、正確なシミュレーションと$tau$-leapingのような近似メソッドの2つのカテゴリに分類される。 本研究では,高次数値推論スキームの最初の拡張を離散拡散モデルに合わせることで,後者のカテゴリを推し進める。 提案手法を厳密に解析し,KL分散における$theta$-trapezoidal法の2次精度を確立する。
  論文  参考訳（メタデータ） (2025-02-01T00:25:21Z)
• Beyond Fixed Horizons: A Theoretical Framework for Adaptive Denoising Diffusions [1.9116784879310031]
  本稿では, ノイズ発生過程とノイズ発生過程の両方において, 時間均質な構造を実現する新しい生成拡散モデルを提案する。 モデルの主な特徴は、ターゲットデータへの適応性であり、事前訓練された無条件生成モデルを使用して、様々な下流タスクを可能にする。
  論文  参考訳（メタデータ） (2025-01-31T18:23:27Z)
• Bilevel Learning with Inexact Stochastic Gradients [2.247833425312671]
  バイレベル学習は、機械学習、逆問題、イメージングアプリケーションで有名になった。 これらの問題の大規模な性質は、不正確な計算効率の手法の開発に繋がった。
  論文  参考訳（メタデータ） (2024-12-16T18:18:47Z)
• CoSIGN: Few-Step Guidance of ConSIstency Model to Solve General INverse Problems [3.3969056208620128]
  我々は, 高い復元品質を維持しつつ, 推論ステップの境界を1-2 NFEに推し進めることを提案する。 本手法は拡散型逆問題解法における新しい最先端技術を実現する。
  論文  参考訳（メタデータ） (2024-07-17T15:57:50Z)
• GRAWA: Gradient-based Weighted Averaging for Distributed Training of Deep Learning Models [9.377424534371727]
  時間制約環境における深層モデルの分散トレーニングについて検討する。 本稿では,労働者の平均値として計算された中心変数に対して,労働者を定期的に引き出すアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-07T04:22:34Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Protein Design with Guided Discrete Diffusion [67.06148688398677]
  タンパク質設計における一般的なアプローチは、生成モデルと条件付きサンプリングのための識別モデルを組み合わせることである。 離散拡散モデルのためのガイダンス手法であるdiffusioN Optimized Smpling (NOS)を提案する。 NOSは、構造に基づく手法の重要な制限を回避し、シーケンス空間で直接設計を行うことができる。
  論文  参考訳（メタデータ） (2023-05-31T16:31:24Z)
• Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
  GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。 本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T15:32:59Z)
• Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。