論文の概要: Diffusion Models as Constrained Samplers for Optimization with Unknown
Constraints
- arxiv url: http://arxiv.org/abs/2402.18012v1
- Date: Wed, 28 Feb 2024 03:09:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-29 16:36:52.433422
- Title: Diffusion Models as Constrained Samplers for Optimization with Unknown
Constraints
- Title(参考訳): 未知制約を用いた最適化のための制約サンプリングとしての拡散モデル
- Authors: Lingkai Kong, Yuanqi Du, Wenhao Mu, Kirill Neklyudov, Valentin De
Bortol, Haorui Wang, Dongxia Wu, Aaron Ferber, Yi-An Ma, Carla P. Gomes, Chao
Zhang
- Abstract要約: 拡散モデルを用いてデータ多様体内で最適化を行う。
ボルツマン分布の積からサンプリング問題として元の最適化問題を再構成する。
提案手法は,従来の最先端のベースラインよりも優れた,あるいは同等のパフォーマンスを達成できることを示す。
- 参考スコア(独自算出の注目度): 39.54265889656945
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Addressing real-world optimization problems becomes particularly challenging
when analytic objective functions or constraints are unavailable. While
numerous studies have addressed the issue of unknown objectives, limited
research has focused on scenarios where feasibility constraints are not given
explicitly. Overlooking these constraints can lead to spurious solutions that
are unrealistic in practice. To deal with such unknown constraints, we propose
to perform optimization within the data manifold using diffusion models. To
constrain the optimization process to the data manifold, we reformulate the
original optimization problem as a sampling problem from the product of the
Boltzmann distribution defined by the objective function and the data
distribution learned by the diffusion model. To enhance sampling efficiency, we
propose a two-stage framework that begins with a guided diffusion process for
warm-up, followed by a Langevin dynamics stage for further correction.
Theoretical analysis shows that the initial stage results in a distribution
focused on feasible solutions, thereby providing a better initialization for
the later stage. Comprehensive experiments on a synthetic dataset, six
real-world black-box optimization datasets, and a multi-objective optimization
dataset show that our method achieves better or comparable performance with
previous state-of-the-art baselines.
- Abstract(参考訳): 実世界の最適化問題に対処することは、分析対象関数や制約が利用できない場合に特に困難になる。
多くの研究が未知の目的の問題を扱っているが、限定的な研究は実現可能性の制約が明示的に与えられないシナリオに焦点を当てている。
これらの制約を見過ごせば、実際には非現実的な解決策につながる可能性がある。
このような未知の制約に対処するため、拡散モデルを用いてデータ多様体内で最適化を行う。
最適化プロセスをデータ多様体に限定するために,目的関数で定義されるボルツマン分布と拡散モデルで学習したデータ分布の積からサンプリング問題として元の最適化問題を再構成する。
サンプリング効率を向上させるために,ウォームアップのための誘導拡散プロセスから始まり,さらにさらなる補正のためにランジュバンダイナミクスステージから開始する2段階フレームワークを提案する。
理論的解析により、初期段階は実現可能な解に焦点をあてた分布をもたらすことが示され、それによって後半段階のより優れた初期化が得られる。
総合的なデータセット、6つの実世界のブラックボックス最適化データセット、多目的最適化データセットに関する包括的な実験により、従来の最先端のベースラインと同等の性能が得られることを示した。
関連論文リスト
- Functional Graphical Models: Structure Enables Offline Data-Driven
Optimization [121.57202302457135]
構造がサンプル効率のよいデータ駆動最適化を実現する方法を示す。
また、FGM構造自体を推定するデータ駆動最適化アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-01-08T22:33:14Z) - Self-Supervised Dataset Distillation for Transfer Learning [82.09002658558529]
ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。
両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。
転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
論文 参考訳(メタデータ) (2023-10-10T10:48:52Z) - Data-driven decision-focused surrogate modeling [10.1947610432159]
本稿では,実時間設定における非線形最適化問題の解決を目的とした,意思決定中心の代理モデルの概念を紹介する。
提案したデータ駆動フレームワークは、決定予測エラーを最小限に抑えるためにトレーニングされた、よりシンプルな、例えば凸(convex)、代理最適化モデル(surrogate optimization model)を学ぶことを目指している。
我々は、一般的な非線形化学プロセスの最適化を含む数値実験を通して、我々の枠組みを検証する。
論文 参考訳(メタデータ) (2023-08-23T14:23:26Z) - Information Theoretical Importance Sampling Clustering [18.248246885248733]
多くのクラスタリング手法の現在の仮定は、トレーニングデータと将来のデータが同じ分布から取られるというものである。
我々は,クラスタリング問題(itisC)に対する情報理論的重要度サンプリングに基づくアプローチを提案する。
合成データセットの実験結果と実世界の負荷予測問題により,提案モデルの有効性が検証された。
論文 参考訳(メタデータ) (2023-02-09T03:18:53Z) - Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。
1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。
本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
論文 参考訳(メタデータ) (2023-01-28T01:50:42Z) - Extension of Dynamic Mode Decomposition for dynamic systems with
incomplete information based on t-model of optimal prediction [69.81996031777717]
動的モード分解は、動的データを研究するための非常に効率的な手法であることが証明された。
このアプローチの適用は、利用可能なデータが不完全である場合に問題となる。
本稿では,森-Zwanzig分解の1次近似を考察し,対応する最適化問題を記述し,勾配に基づく最適化法を用いて解く。
論文 参考訳(メタデータ) (2022-02-23T11:23:59Z) - Careful! Training Relevance is Real [0.7742297876120561]
我々は、トレーニングの妥当性を強制するために設計された制約を提案する。
提案した制約を加えることで,ソリューションの品質が大幅に向上することを示す。
論文 参考訳(メタデータ) (2022-01-12T11:54:31Z) - Integrated Conditional Estimation-Optimization [6.037383467521294]
確率のある不確実なパラメータを文脈的特徴情報を用いて推定できる実世界の多くの最適化問題である。
不確実なパラメータの分布を推定する標準的な手法とは対照的に,統合された条件推定手法を提案する。
当社のI CEOアプローチは、穏健な条件下で理論的に一貫性があることを示します。
論文 参考訳(メタデータ) (2021-10-24T04:49:35Z) - Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。
このアプローチは多くの実装と最適化の課題をもたらします。
提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
論文 参考訳(メタデータ) (2021-03-18T14:26:26Z) - Extracting Optimal Solution Manifolds using Constrained Neural
Optimization [6.800113407368289]
制約付き最適化解アルゴリズムは点ベース解に制限される。
最適集合を近似として抽出する手法を提案する。
論文 参考訳(メタデータ) (2020-09-13T15:37:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。