論文の概要: Diffusion Models as Constrained Samplers for Optimization with Unknown Constraints

• arxiv url: http://arxiv.org/abs/2402.18012v3
• Date: Mon, 21 Oct 2024 04:06:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:14:33.672939
• Title: Diffusion Models as Constrained Samplers for Optimization with Unknown Constraints
• Title（参考訳）: 未知制約を用いた最適化のための制約サンプリングとしての拡散モデル
• Authors: Lingkai Kong, Yuanqi Du, Wenhao Mu, Kirill Neklyudov, Valentin De Bortoli, Dongxia Wu, Haorui Wang, Aaron Ferber, Yi-An Ma, Carla P. Gomes, Chao Zhang,
• Abstract要約: 拡散モデルを用いてデータ多様体内で最適化を行う。 目的関数の微分可能性に応じて,2つの異なるサンプリング手法を提案する。 提案手法は,従来の最先端のベースラインよりも優れた,あるいは同等のパフォーマンスを実現する。
• 参考スコア（独自算出の注目度）: 42.47298301874283
• License:
• Abstract: Addressing real-world optimization problems becomes particularly challenging when analytic objective functions or constraints are unavailable. While numerous studies have addressed the issue of unknown objectives, limited research has focused on scenarios where feasibility constraints are not given explicitly. Overlooking these constraints can lead to spurious solutions that are unrealistic in practice. To deal with such unknown constraints, we propose to perform optimization within the data manifold using diffusion models. To constrain the optimization process to the data manifold, we reformulate the original optimization problem as a sampling problem from the product of the Boltzmann distribution defined by the objective function and the data distribution learned by the diffusion model. Depending on the differentiability of the objective function, we propose two different sampling methods. For differentiable objectives, we propose a two-stage framework that begins with a guided diffusion process for warm-up, followed by a Langevin dynamics stage for further correction. For non-differentiable objectives, we propose an iterative importance sampling strategy using the diffusion model as the proposal distribution. Comprehensive experiments on a synthetic dataset, six real-world black-box optimization datasets, and a multi-objective molecule optimization dataset show that our method achieves better or comparable performance with previous state-of-the-art baselines.
• Abstract（参考訳）: 実世界の最適化問題に対処することは、分析対象関数や制約が利用できない場合に特に困難になる。 多くの研究が未知の目的の問題に対処しているが、限定的な研究は、実現可能性の制約が明示的に与えられていないシナリオに焦点を当てている。 これらの制約を見渡すと、実際には非現実的な急激な解決につながる可能性がある。 このような未知の制約に対処するため、拡散モデルを用いてデータ多様体内で最適化を行う。 データ多様体に最適化過程を制約するために、目的関数で定義されるボルツマン分布と拡散モデルで学習したデータ分布からサンプリング問題として元の最適化問題を再構成する。 目的関数の微分可能性に応じて,2つの異なるサンプリング手法を提案する。 異なる目的のために、ウォームアップのためのガイド付き拡散プロセスから始まる2段階のフレームワークを提案する。 微分不可能な目的に対して,拡散モデルを用いた反復的重要度サンプリング戦略を提案する。 合成データセット,6つの実世界のブラックボックス最適化データセット,および多目的分子最適化データセットに関する総合的な実験により,本手法が従来の最先端のベースラインよりも優れた,あるいは同等のパフォーマンスを達成することを示す。

関連論文リスト

• Constrained Diffusion Models via Dual Training [80.03953599062365]
  拡散プロセスは、トレーニングデータセットのバイアスを反映したサンプルを生成する傾向がある。 所望の分布に基づいて拡散制約を付与し,制約付き拡散モデルを構築する。 本稿では,制約付き拡散モデルを用いて,目的と制約の最適なトレードオフを実現する混合データ分布から新しいデータを生成することを示す。
  論文  参考訳（メタデータ） (2024-08-27T14:25:42Z)
• Total Uncertainty Quantification in Inverse PDE Solutions Obtained with Reduced-Order Deep Learning Surrogate Models [50.90868087591973]
  機械学習サロゲートモデルを用いて得られた逆PDE解の総不確かさを近似したベイズ近似法を提案する。 非線型拡散方程式に対する反復的アンサンブルスムーズおよび深層アンサンブル法との比較により,提案手法を検証した。
  論文  参考訳（メタデータ） (2024-08-20T19:06:02Z)
• A Diffusion Model Framework for Unsupervised Neural Combinatorial Optimization [7.378582040635655]
  現在のディープラーニングアプローチは、正確なサンプル確率を生み出す生成モデルに依存している。 この研究は、この制限を解除し、高度に表現力のある潜在変数モデルを採用する可能性を開放する手法を導入する。 我々は,データフリーなコンビネーション最適化におけるアプローチを実験的に検証し,幅広いベンチマーク問題に対して新しい最先端の手法を実現することを実証した。
  論文  参考訳（メタデータ） (2024-06-03T17:55:02Z)
• Constraint-Aware Diffusion Models for Trajectory Optimization [9.28162057044835]
  本稿では,軌道最適化のための制約対応拡散モデルを提案する。 拡散サンプルの制約違反を最小限に抑える訓練用ハイブリッド損失関数を提案する。 本モデルでは, テーブルトップ操作と2台のリーチ回避問題について検討した。
  論文  参考訳（メタデータ） (2024-06-03T04:53:20Z)
• Differentiation of Multi-objective Data-driven Decision Pipeline [34.577809430781144]
  実世界のシナリオは、しばしば多目的データ駆動最適化問題を含む。 従来の2段階の手法では、機械学習モデルを用いて問題係数を推定し、続いて予測された最適化問題に取り組むためにソルバを呼び出す。 近年の取り組みは、下流最適化問題から導かれる意思決定損失を用いた予測モデルのエンドツーエンドトレーニングに重点を置いている。
  論文  参考訳（メタデータ） (2024-06-02T15:42:03Z)
• Model-Based Diffusion for Trajectory Optimization [8.943418808959494]
  データ無しで軌道最適化(TO)問題を解決するために拡散法を用いた最適化手法であるモデルベース拡散(MBD)を導入する。 MBDは外部データを必要としないが、様々な性質のデータと自然に統合して拡散過程を制御できる。 MBDは、最先端の強化学習とサンプリングベースのTOメソッドを上回り、コンタクトリッチなタスクに挑戦する。
  論文  参考訳（メタデータ） (2024-05-28T22:14:25Z)
• Diffusion Model for Data-Driven Black-Box Optimization [54.25693582870226]
  我々は、強力な生成AI技術である拡散モデルに注目し、ブラックボックス最適化の可能性について検討する。 本研究では,1)実数値報酬関数のノイズ測定と,2)対比較に基づく人間の嗜好の2種類のラベルについて検討する。 提案手法は,設計最適化問題を条件付きサンプリング問題に再構成し,拡散モデルのパワーを有効活用する。
  論文  参考訳（メタデータ） (2024-03-20T00:41:12Z)
• DiffuSolve: Diffusion-based Solver for Non-convex Trajectory Optimization [9.28162057044835]
  最適軌道局所は非線形および高次元力学系において計算コストが高い。 本稿では,非次元オプティマ問題に対するDiffuに基づく一般モデルを提案する。 また,新たな制約付き拡散モデルであるDiff+を提案する。
  論文  参考訳（メタデータ） (2024-02-22T03:52:17Z)
• Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
  ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。 両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。 転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2023-10-10T10:48:52Z)
• Protein Design with Guided Discrete Diffusion [67.06148688398677]
  タンパク質設計における一般的なアプローチは、生成モデルと条件付きサンプリングのための識別モデルを組み合わせることである。 離散拡散モデルのためのガイダンス手法であるdiffusioN Optimized Smpling (NOS)を提案する。 NOSは、構造に基づく手法の重要な制限を回避し、シーケンス空間で直接設計を行うことができる。
  論文  参考訳（メタデータ） (2023-05-31T16:31:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。