論文の概要: Learning Proximal Operators to Discover Multiple Optima
- arxiv url: http://arxiv.org/abs/2201.11945v1
- Date: Fri, 28 Jan 2022 05:53:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-01 03:50:47.620589
- Title: Learning Proximal Operators to Discover Multiple Optima
- Title(参考訳): 複数のオプティマスを発見するための近位演算子学習
- Authors: Lingxiao Li, Noam Aigerman, Vladimir G. Kim, Jiajin Li, Kristjan
Greenewald, Mikhail Yurochkin, Justin Solomon
- Abstract要約: 非家族問題における近位演算子を学習するためのエンドツーエンド手法を提案する。
本手法は,弱い目的と穏やかな条件下では,世界規模で収束することを示す。
- 参考スコア(独自算出の注目度): 66.98045013486794
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Finding multiple solutions of non-convex optimization problems is a
ubiquitous yet challenging task. Typical existing solutions either apply
single-solution optimization methods from multiple random initial guesses or
search in the vicinity of found solutions using ad hoc heuristics. We present
an end-to-end method to learn the proximal operator across a family of
non-convex problems, which can then be used to recover multiple solutions for
unseen problems at test time. Our method only requires access to the objectives
without needing the supervision of ground truth solutions. Notably, the added
proximal regularization term elevates the convexity of our formulation: by
applying recent theoretical results, we show that for weakly-convex objectives
and under mild regularity conditions, training of the proximal operator
converges globally in the over-parameterized setting. We further present a
benchmark for multi-solution optimization including a wide range of
applications and evaluate our method to demonstrate its effectiveness.
- Abstract(参考訳): 非凸最適化問題の複数の解を見つけることは至るところで困難である。
一般的な既存の解は、複数のランダムな初期推測からの単一解最適化法を適用するか、アドホックなヒューリスティックを用いた解の近傍で探索する。
本研究では,非凸問題群にまたがる近位演算子をエンドツーエンドに学習し,テスト時に見つからない問題に対する複数の解を復元する手法を提案する。
本手法は,真理解の監督を必要とせず,目的へのアクセスのみを要求できる。
最近の理論的結果を適用することで、弱い凸目標と穏やかな規則性条件の下では、近似作用素の訓練は過度なパラメータ化条件下でグローバルに収束することを示す。
さらに,幅広いアプリケーションを含むマルチソリューション最適化のためのベンチマークを示し,その効果を示すために提案手法を評価した。
関連論文リスト
- Smooth Tchebycheff Scalarization for Multi-Objective Optimization [15.047246588148495]
多目的最適化問題は、現実世界の多くのアプリケーションで見られる。
本稿では,勾配に基づく多目的最適化のための新しいスムーズなTchebycheffスキャラライズ手法を提案する。
論文 参考訳(メタデータ) (2024-02-29T12:03:05Z) - Analyzing and Enhancing the Backward-Pass Convergence of Unrolled
Optimization [50.38518771642365]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。
この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。
本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。
Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
論文 参考訳(メタデータ) (2023-12-28T23:15:18Z) - Predict-Then-Optimize by Proxy: Learning Joint Models of Prediction and
Optimization [59.386153202037086]
Predict-Then-フレームワークは、機械学習モデルを使用して、最適化問題の未知のパラメータを、解決前の機能から予測する。
このアプローチは非効率であり、最適化ステップを通じてバックプロパゲーションのための手作りの、問題固有のルールを必要とする。
本稿では,予測モデルを用いて観測可能な特徴から最適解を直接学習する手法を提案する。
論文 参考訳(メタデータ) (2023-11-22T01:32:06Z) - Optimizing Solution-Samplers for Combinatorial Problems: The Landscape
of Policy-Gradient Methods [52.0617030129699]
本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。
我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。
本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
論文 参考訳(メタデータ) (2023-10-08T23:39:38Z) - Scalable Uni-directional Pareto Optimality for Multi-Task Learning with
Constraints [4.4044968357361745]
制約下での最適化を含む多目的(MOO)問題に対するスケーラブルなMOOソルバを提案する。
この重要な応用は、ニューラル分類タスクの高次元ランタイムを推定することである。
論文 参考訳(メタデータ) (2021-10-28T21:35:59Z) - PAMELI: A Meta-Algorithm for Computationally Expensive Multi-Objective
Optimization Problems [0.0]
提案アルゴリズムは,実モデルのモデルによって定義される一連の代理問題の解法に基づく。
また,最適化ランドスケープのための最適なサロゲートモデルとナビゲーション戦略のメタ検索を行う。
論文 参考訳(メタデータ) (2021-03-19T11:18:03Z) - Efficient Methods for Structured Nonconvex-Nonconcave Min-Max
Optimization [98.0595480384208]
定常点に収束する一般化外空間を提案する。
このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
論文 参考訳(メタデータ) (2020-10-31T21:35:42Z) - Global Optimization of Objective Functions Represented by ReLU Networks [77.55969359556032]
ニューラルネットワークは複雑で非敵対的な関数を学ぶことができ、安全クリティカルな文脈でそれらの正しい振る舞いを保証することは困難である。
ネットワーク内の障害を見つけるための多くのアプローチ(例えば、敵の例)があるが、これらは障害の欠如を保証できない。
本稿では,最適化プロセスを検証手順に統合し,本手法よりも優れた性能を実現する手法を提案する。
論文 参考訳(メタデータ) (2020-10-07T08:19:48Z) - Extracting Optimal Solution Manifolds using Constrained Neural
Optimization [6.800113407368289]
制約付き最適化解アルゴリズムは点ベース解に制限される。
最適集合を近似として抽出する手法を提案する。
論文 参考訳(メタデータ) (2020-09-13T15:37:44Z) - Learning the Solution Manifold in Optimization and Its Application in
Motion Planning [4.177892889752434]
我々は、変数のような変数上の多様体を学習し、そのようなモデルは無限の解の集合を表す。
本フレームワークでは,この重要度を用いて問題推定を行う。
本研究では,高次元パラメータの最適化を含む動き計画問題に適用する。
論文 参考訳(メタデータ) (2020-07-24T08:05:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。