論文の概要: Diffusion Models as Constrained Samplers for Optimization with Unknown Constraints

• arxiv url: http://arxiv.org/abs/2402.18012v2
• Date: Tue, 30 Apr 2024 03:32:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-01 19:08:44.484692
• Title: Diffusion Models as Constrained Samplers for Optimization with Unknown Constraints
• Title（参考訳）: 未知制約を用いた最適化のための制約サンプリングとしての拡散モデル
• Authors: Lingkai Kong, Yuanqi Du, Wenhao Mu, Kirill Neklyudov, Valentin De Bortoli, Haorui Wang, Dongxia Wu, Aaron Ferber, Yi-An Ma, Carla P. Gomes, Chao Zhang,
• Abstract要約: 拡散モデルを用いてデータ多様体内で最適化を行う。 ボルツマン分布の積からサンプリング問題として元の最適化問題を再構成する。 提案手法は,従来の最先端のベースラインよりも優れた,あるいは同等のパフォーマンスを達成できることを示す。
• 参考スコア（独自算出の注目度）: 42.47298301874283
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Addressing real-world optimization problems becomes particularly challenging when analytic objective functions or constraints are unavailable. While numerous studies have addressed the issue of unknown objectives, limited research has focused on scenarios where feasibility constraints are not given explicitly. Overlooking these constraints can lead to spurious solutions that are unrealistic in practice. To deal with such unknown constraints, we propose to perform optimization within the data manifold using diffusion models. To constrain the optimization process to the data manifold, we reformulate the original optimization problem as a sampling problem from the product of the Boltzmann distribution defined by the objective function and the data distribution learned by the diffusion model. To enhance sampling efficiency, we propose a two-stage framework that begins with a guided diffusion process for warm-up, followed by a Langevin dynamics stage for further correction. Theoretical analysis shows that the initial stage results in a distribution focused on feasible solutions, thereby providing a better initialization for the later stage. Comprehensive experiments on a synthetic dataset, six real-world black-box optimization datasets, and a multi-objective optimization dataset show that our method achieves better or comparable performance with previous state-of-the-art baselines.
• Abstract（参考訳）: 実世界の最適化問題に対処することは、分析対象関数や制約が利用できない場合に特に困難になる。 多くの研究が未知の目的の問題に対処しているが、限定的な研究は、実現可能性の制約が明示的に与えられていないシナリオに焦点を当てている。 これらの制約を見渡すと、実際には非現実的な急激な解決につながる可能性がある。 このような未知の制約に対処するため、拡散モデルを用いてデータ多様体内で最適化を行う。 データ多様体に最適化過程を制約するために、目的関数で定義されるボルツマン分布と拡散モデルで学習したデータ分布からサンプリング問題として元の最適化問題を再構成する。 サンプリング効率を向上させるために, ウォームアップのための誘導拡散プロセスから始まる2段階のフレームワークを提案する。 理論的解析により、初期段階は実現可能な解に焦点をあてた分布をもたらすことが示され、それによって後半段階のより優れた初期化が得られる。 合成データセット、実世界の6つのブラックボックス最適化データセット、および多目的最適化データセットに関する総合的な実験により、我々の手法は、過去の最先端のベースラインでより良い、あるいは同等のパフォーマンスを達成することを示す。

関連論文リスト

• Differentiation of Multi-objective Data-driven Decision Pipeline [34.577809430781144]
  実世界のシナリオは、しばしば多目的データ駆動最適化問題を含む。 従来の2段階の手法では、機械学習モデルを用いて問題係数を推定し、続いて予測された最適化問題に取り組むためにソルバを呼び出す。 近年の取り組みは、下流最適化問題から導かれる意思決定損失を用いた予測モデルのエンドツーエンドトレーニングに重点を置いている。
  論文  参考訳（メタデータ） (2024-06-02T15:42:03Z)
• Diffusion Model for Data-Driven Black-Box Optimization [54.25693582870226]
  我々は、強力な生成AI技術である拡散モデルに注目し、ブラックボックス最適化の可能性について検討する。 本研究では,1)実数値報酬関数のノイズ測定と,2)対比較に基づく人間の嗜好の2種類のラベルについて検討する。 提案手法は,設計最適化問題を条件付きサンプリング問題に再構成し,拡散モデルのパワーを有効活用する。
  論文  参考訳（メタデータ） (2024-03-20T00:41:12Z)
• Combining Constrained Diffusion Models and Numerical Solvers for Efficient and Robust Non-Convex Trajectory Optimization [9.28162057044835]
  本稿では,拡散モデルと数値最適化解法を組み合わせた一般フレームワークを提案する。 局所最適解の真の分布を近似する新しい制約付き拡散モデルを開発する。 実験は、改善された制約満足度と計算効率を4$times$から30$times$Accelerationで検証する。
  論文  参考訳（メタデータ） (2024-02-22T03:52:17Z)
• Functional Graphical Models: Structure Enables Offline Data-Driven Optimization [121.57202302457135]
  構造がサンプル効率のよいデータ駆動最適化を実現する方法を示す。 また、FGM構造自体を推定するデータ駆動最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-08T22:33:14Z)
• Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
  ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。 両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。 転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2023-10-10T10:48:52Z)
• Information Theoretical Importance Sampling Clustering [18.248246885248733]
  多くのクラスタリング手法の現在の仮定は、トレーニングデータと将来のデータが同じ分布から取られるというものである。 我々は,クラスタリング問題(itisC)に対する情報理論的重要度サンプリングに基づくアプローチを提案する。 合成データセットの実験結果と実世界の負荷予測問題により,提案モデルの有効性が検証された。
  論文  参考訳（メタデータ） (2023-02-09T03:18:53Z)
• Extension of Dynamic Mode Decomposition for dynamic systems with incomplete information based on t-model of optimal prediction [69.81996031777717]
  動的モード分解は、動的データを研究するための非常に効率的な手法であることが証明された。 このアプローチの適用は、利用可能なデータが不完全である場合に問題となる。 本稿では,森-Zwanzig分解の1次近似を考察し,対応する最適化問題を記述し,勾配に基づく最適化法を用いて解く。
  論文  参考訳（メタデータ） (2022-02-23T11:23:59Z)
• Careful! Training Relevance is Real [0.7742297876120561]
  我々は、トレーニングの妥当性を強制するために設計された制約を提案する。 提案した制約を加えることで,ソリューションの品質が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-01-12T11:54:31Z)
• Integrated Conditional Estimation-Optimization [6.037383467521294]
  確率のある不確実なパラメータを文脈的特徴情報を用いて推定できる実世界の多くの最適化問題である。 不確実なパラメータの分布を推定する標準的な手法とは対照的に,統合された条件推定手法を提案する。 当社のI CEOアプローチは、穏健な条件下で理論的に一貫性があることを示します。
  論文  参考訳（メタデータ） (2021-10-24T04:49:35Z)
• Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
  我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。 このアプローチは多くの実装と最適化の課題をもたらします。 提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
  論文  参考訳（メタデータ） (2021-03-18T14:26:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。