論文の概要: Exact Pareto Optimal Search for Multi-Task Learning and Multi-Criteria
Decision-Making
- arxiv url: http://arxiv.org/abs/2108.00597v2
- Date: Sun, 17 Sep 2023 13:29:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-20 02:22:57.975363
- Title: Exact Pareto Optimal Search for Multi-Task Learning and Multi-Criteria
Decision-Making
- Title（参考訳）: マルチタスク学習と複数行列決定のためのパレート最適探索
- Authors: Debabrata Mahapatra, Vaibhav Rajan
- Abstract要約: EPO 探索は線形収束速度で EPO 解に収束することを示す。
我々は, PFを後部MCDMで近似するPESA-EPOと, 対話型MCDMで誘導するGP-EPOという新しいアルゴリズムを開発した。
EPO検索は変数数と線形にスケールし、ディープEコマースネットワークに使用することができる。
- 参考スコア（独自算出の注目度）: 10.914300987810128
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Given multiple non-convex objective functions and objective-specific weights,
Chebyshev scalarization (CS) is a well-known approach to obtain an Exact Pareto
Optimal (EPO), i.e., a solution on the Pareto front (PF) that intersects the
ray defined by the inverse of the weights. First-order optimizers that use the
CS formulation to find EPO solutions encounter practical problems of
oscillations and stagnation that affect convergence. Moreover, when initialized
with a PO solution, they do not guarantee a controlled trajectory that lies
completely on the PF. These shortcomings lead to modeling limitations and
computational inefficiency in multi-task learning (MTL) and multi-criteria
decision-making (MCDM) methods that utilize CS for their underlying non-convex
multi-objective optimization (MOO). To address these shortcomings, we design a
new MOO method, EPO Search. We prove that EPO Search converges to an EPO
solution and empirically illustrate its computational efficiency and robustness
to initialization. When initialized on the PF, EPO Search can trace the PF and
converge to the required EPO solution at a linear rate of convergence. Using
EPO Search we develop new algorithms: PESA-EPO for approximating the PF in a
posteriori MCDM, and GP-EPO for preference elicitation in interactive MCDM;
experiments on benchmark datasets confirm their advantages over competing
alternatives. EPO Search scales linearly with the number of decision variables
which enables its use for training deep networks. Empirical results on real
data from personalized medicine, e-commerce and hydrometeorology demonstrate
the efficacy of EPO Search for deep MTL.
- Abstract（参考訳）: 複数の非凸目的関数と目標固有重みが与えられた場合、チェビシェフ・スカラー化(CS)はエグゼクト・パレート・オプティマル(EPO)を得るためのよく知られたアプローチであり、すなわち、重みの逆によって定義される線と交差するパレート・フロント(PF)上の解である。
CS定式化を用いてEPO解を求める一階最適化器は、収束に影響を与える発振と停滞の実践的な問題に遭遇する。
さらに、PO 解で初期化されると、PF に完全に属する制御された軌道は保証されない。
これらの欠点は、マルチタスク学習(mtl)とマルチクリテリア意思決定(mcdm)法におけるモデリングの限界と計算効率の非効率につながる。
これらの欠点に対処するため,我々は新しいMOO手法 EPO Search を設計した。
EPO 探索は EPO の解に収束し,その計算効率と初期化に対する堅牢性を実証的に示す。
pf 上で初期化されると、epo 探索は pf を追跡し、線形収束率で必要な epo 解に収束することができる。
epo探索を用いた新しいアルゴリズムを開発した。pesa-epoは後方mcdmのpfを近似し、gp-epoはインタラクティブmcdmの選好誘発を行う。
EPO検索は、ディープネットワークのトレーニングに使用可能な決定変数の数と線形にスケールする。
パーソナライズドメディカル、電子商取引、水理学による実データによる実証結果は、深部MTLに対するEPO検索の有効性を示す。
関連論文リスト
- BOtied: Multi-objective Bayesian optimization with tied multivariate
ranks [49.85896045032822]
非支配解と最高多変量階との自然な関係を示し、これは合同累積分布関数(CDF)の最外層線と一致する。
我々はCDFインジケータに基づくBOtiedと呼ばれる取得関数を提案する。
論文 参考訳（メタデータ） (2023-06-01T04:50:06Z) - Pareto Manifold Learning: Tackling multiple tasks via ensembles of
single-task models [50.33956216274694]
マルチタスク学習(MTL)では、タスクは、ソリューションへの最適化を導くのではなく、互いに達成したパフォーマンスを競い、制限することができる。
重み空間におけるアンサンブル手法であるTextitPareto Manifold Learningを提案する。
論文 参考訳（メタデータ） (2022-10-18T11:20:54Z) - Multi-Objective Policy Gradients with Topological Constraints [108.10241442630289]
本稿では, PPOアルゴリズムの簡単な拡張により, TMDPにおけるポリシー勾配に対する新しいアルゴリズムを提案する。
シミュレーションと実ロボットの両方の目的を任意に並べた実世界の多目的ナビゲーション問題に対して,これを実証する。
論文 参考訳（メタデータ） (2022-09-15T07:22:58Z) - Pareto Set Learning for Neural Multi-objective Combinatorial
Optimization [6.091096843566857]
多目的最適化(MOCO)の問題は、現実世界の多くのアプリケーションで見られる。
我々は,与えられたMOCO問題に対するパレート集合全体を,探索手順を伴わずに近似する学習ベースアプローチを開発した。
提案手法は,多目的走行セールスマン問題,マルチコンディショニング車両ルーティング問題,複数クナップサック問題において,ソリューションの品質,速度,モデル効率の面で,他の方法よりも優れていた。
論文 参考訳（メタデータ） (2022-03-29T09:26:22Z) - Multi-Task Learning as a Bargaining Game [63.49888996291245]
マルチタスク学習(MTL)では、複数のタスクを同時に予測するためにジョイントモデルを訓練する。
これらの異なるタスクの勾配が矛盾する可能性があるため、MTLのジョイントモデルを訓練すると、対応するシングルタスクモデルよりも低いパフォーマンスが得られる。
本稿では,パラメータ更新のジョイント方向で合意に達するためのタスクを交渉する交渉ゲームとして,勾配の組み合わせステップを考察する。
論文 参考訳（メタデータ） (2022-02-02T13:21:53Z) - Multi-Task Learning on Networks [0.0]
マルチタスク学習コンテキストで発生する多目的最適化問題は、特定の特徴を持ち、アドホックな方法を必要とする。
この論文では、入力空間の解は、関数評価に含まれる知識をカプセル化した確率分布として表現される。
確率分布のこの空間では、ワッサーシュタイン距離によって与えられる計量が与えられ、モデルが目的関数に直接依存しないような新しいアルゴリズムMOEA/WSTを設計することができる。
論文 参考訳（メタデータ） (2021-12-07T09:13:10Z) - Scalable Uni-directional Pareto Optimality for Multi-Task Learning with
Constraints [4.4044968357361745]
制約下での最適化を含む多目的(MOO)問題に対するスケーラブルなMOOソルバを提案する。
この重要な応用は、ニューラル分類タスクの高次元ランタイムを推定することである。
論文 参考訳（メタデータ） (2021-10-28T21:35:59Z) - Pareto Navigation Gradient Descent: a First-Order Algorithm for
Optimization in Pareto Set [17.617944390196286]
マルチタスク学習のような現代の機械学習アプリケーションは、複数の目的関数をトレードオフするために最適なモデルパラメータを見つける必要がある。
勾配情報のみを用いてOPT-in-Paretoを近似的に解く1次アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-10-17T04:07:04Z) - Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。
我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。
コア最適化問題の実用的なパラメトリゼーションを提供する。
論文 参考訳（メタデータ） (2021-07-08T18:01:02Z) - Pareto Multi-Task Learning [53.90732663046125]
マルチタスク学習は複数の相関タスクを同時に解くための強力な方法である。
異なるタスクが互いに衝突する可能性があるため、すべてのタスクを最適化するひとつのソリューションを見つけることは、しばしば不可能である。
近年,マルチタスク学習を多目的最適化として活用することにより,タスク間のトレードオフが良好である1つのパレート最適解を求める方法が提案されている。
論文 参考訳（メタデータ） (2019-12-30T08:58:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。