論文の概要: A Hybrid 2-stage Neural Optimization for Pareto Front Extraction
- arxiv url: http://arxiv.org/abs/2101.11684v2
- Date: Sat, 13 Feb 2021 17:03:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-13 20:53:11.842064
- Title: A Hybrid 2-stage Neural Optimization for Pareto Front Extraction
- Title（参考訳）: パレートフロント抽出のためのハイブリッド2段階ニューラル最適化
- Authors: Gurpreet Singh, Soumyajit Gupta, Matthew Lease, Clint Dawson
- Abstract要約: 最適なトレードオフソリューションに対する大きな障害は、それらが必ずしも互いに収束しないことです。
正確かつ費用対効果の高い二段階アプローチを提案する。
- 参考スコア（独自算出の注目度）: 3.918940900258555
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Classification, recommendation, and ranking problems often involve competing
goals with additional constraints (e.g., to satisfy fairness or diversity
criteria). Such optimization problems are quite challenging, often involving
non-convex functions along with considerations of user preferences in balancing
trade-offs. Pareto solutions represent optimal frontiers for jointly optimizing
multiple competing objectives. A major obstacle for frequently used
linear-scalarization strategies is that the resulting optimization problem
might not always converge to a global optimum. Furthermore, such methods only
return one solution point per run. A Pareto solution set is a subset of all
such global optima over multiple runs for different trade-off choices.
Therefore, a Pareto front can only be guaranteed with multiple runs of the
linear-scalarization problem, where all runs converge to their respective
global optima. Consequently, extracting a Pareto front for practical problems
is computationally intractable with substantial computational overheads,
limited scalability, and reduced accuracy. We propose a robust, low cost,
two-stage, hybrid neural Pareto optimization approach that is accurate and
scales (compute space and time) with data dimensions, as well as number of
functions and constraints. The first stage (neural network) efficiently
extracts a weak Pareto front, using Fritz-John conditions as the discriminator,
with no assumptions of convexity on the objectives or constraints. The second
stage (efficient Pareto filter) extracts the strong Pareto optimal subset given
the weak front from stage 1. Fritz-John conditions provide us with theoretical
bounds on approximation error between the true and network extracted weak
Pareto front. Numerical experiments demonstrates the accuracy and efficiency on
a canonical set of benchmark problems and a fairness optimization task from
prior works.
- Abstract（参考訳）: 分類、推薦、ランキングの問題は、しばしば追加の制約(例えば公平さや多様性の基準を満たすために)を伴う競合目標を伴う。
このような最適化問題は極めて困難であり、しばしば非凸関数とユーザの好みを考慮することでトレードオフのバランスをとる。
Paretoソリューションは、複数の競合目標を共同で最適化するための最適なフロンティアを表します。
頻繁に使用される線形スカラー化戦略の大きな障害は、結果の最適化問題が必ずしも大域的最適に収束するとは限らないことである。
さらに、そのようなメソッドは実行時に1つのソリューションポイントだけを返す。
Paretoソリューションセットは、異なるトレードオフ選択のための複数の実行上のそのようなグローバルオプティマイマのすべてのサブセットです。
したがって、パレートフロントは線形スカラー化問題の複数の実行でのみ保証され、全ての実行はそれぞれの大域的最適に収束する。
したがって、現実的な問題に対するParetoフロントの抽出は、かなりの計算オーバーヘッド、スケーラビリティの制限、精度の低下など、計算的に困難である。
本論文では,データ次元による精度とスケール(空間と時間),機能や制約の数を特徴とする,堅牢で低コスト,二段階,ハイブリッドなニューラルパレート最適化手法を提案する。
第1段階(ニューラルネットワーク)は、目標や制約に対する凸性の仮定なしに、フリッツ・ジョン条件を判別器として、弱いパレートフロントを効率的に抽出する。
第2段階(効率の良いパレートフィルタ)は、ステージ1から弱い前面を与えられた強いパレート最適部分集合を抽出する。
fritz-john条件は、true と network extract weak pareto front の間の近似誤差の理論的境界を与える。
数値実験は、標準的なベンチマーク問題と事前の作業からの公正度最適化タスクの精度と効率を実証する。
関連論文リスト
- Towards Efficient Pareto-optimal Utility-Fairness between Groups in
Repeated Rankings [7.6275971668447005]
消費者と生産者のパレート最適バランスを保証し、ランキングの列を計算する問題に対処する。
本稿では,全ての項目が露出する点を表すペルムタヘドロンであるExpohedronを用いて,上記の問題に対する新しいアプローチを提案する。
さらに,Expohedronの囲む$n$-sphereの最適化問題を緩和し,実行時間を大幅に改善する効率的な手法を提案する。
論文 参考訳（メタデータ） (2024-02-22T05:48:54Z) - Optimization on Pareto sets: On a theory of multi-objective optimization [7.907376287850398]
多目的最適化では、単一の決定ベクトルは、多くの目的間のトレードオフのバランスをとる必要がある。
我々は,制約セットの最適化を目標とする,より現実的に重要な最適化問題を考える。
論文 参考訳（メタデータ） (2023-08-04T05:55:52Z) - Symmetric Tensor Networks for Generative Modeling and Constrained
Combinatorial Optimization [72.41480594026815]
ポートフォリオ最適化からロジスティクスに至るまで、制約付き最適化問題は業界に多い。
これらの問題の解決における主要な障害の1つは、有効な検索空間を制限する非自明なハード制約の存在である。
本研究では、Ax=bという形の任意の整数値等式制約をU(1)対称ネットワーク(TN)に直接エンコードし、それらの適用性を量子に着想を得た生成モデルとして活用する。
論文 参考訳（メタデータ） (2022-11-16T18:59:54Z) - Polynomial Optimization: Enhancing RLT relaxations with Conic
Constraints [0.0]
円錐最適化は、非スケール問題に対するトラクタブルで保証されたアルゴリズムを設計するための強力なツールとして登場した。
最適化問題に対するRLT緩和の強化について,9種類の制約を加えて検討する。
我々は、これらの変種とその性能を、互いに、そして標準RCT緩和に関してどのように設計するかを示す。
論文 参考訳（メタデータ） (2022-08-11T02:13:04Z) - Learning Proximal Operators to Discover Multiple Optima [66.98045013486794]
非家族問題における近位演算子を学習するためのエンドツーエンド手法を提案する。
本手法は,弱い目的と穏やかな条件下では,世界規模で収束することを示す。
論文 参考訳（メタデータ） (2022-01-28T05:53:28Z) - Faster Algorithm and Sharper Analysis for Constrained Markov Decision
Process [56.55075925645864]
制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。
新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。
これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
論文 参考訳（メタデータ） (2021-10-20T02:57:21Z) - Pareto Navigation Gradient Descent: a First-Order Algorithm for
Optimization in Pareto Set [17.617944390196286]
マルチタスク学習のような現代の機械学習アプリケーションは、複数の目的関数をトレードオフするために最適なモデルパラメータを見つける必要がある。
勾配情報のみを用いてOPT-in-Paretoを近似的に解く1次アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-10-17T04:07:04Z) - Near-Optimal High Probability Complexity Bounds for Non-Smooth
Stochastic Optimization with Heavy-Tailed Noise [63.304196997102494]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
既存の非滑らか凸最適化法は、負のパワーまたは対数的な信頼度に依存する境界の複雑さを持つ。
クリッピングを用いた2つの勾配法に対して, 新たなステップサイズルールを提案する。
論文 参考訳（メタデータ） (2021-06-10T17:54:21Z) - Recent Theoretical Advances in Non-Convex Optimization [56.88981258425256]
近年、深層ネットワークにおける非最適化アルゴリズムの解析やデータ問題への関心が高まっており、非最適化のための理論的最適化アルゴリズムの最近の結果の概要を概説する。
論文 参考訳（メタデータ） (2020-12-11T08:28:51Z) - Extracting Optimal Solution Manifolds using Constrained Neural
Optimization [6.800113407368289]
制約付き最適化解アルゴリズムは点ベース解に制限される。
最適集合を近似として抽出する手法を提案する。
論文 参考訳（メタデータ） (2020-09-13T15:37:44Z) - Convergence of adaptive algorithms for weakly convex constrained
optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。
我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文 参考訳（メタデータ） (2020-06-11T17:43:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。