論文の概要: Efficient Continuous Pareto Exploration in Multi-Task Learning
- arxiv url: http://arxiv.org/abs/2006.16434v2
- Date: Wed, 26 Aug 2020 20:48:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-15 13:19:09.036975
- Title: Efficient Continuous Pareto Exploration in Multi-Task Learning
- Title(参考訳): マルチタスク学習における効率的な連続パレート探索
- Authors: Pingchuan Ma, Tao Du, Wojciech Matusik
- Abstract要約: 本稿では,機械学習問題における最適解の連続解析手法を提案する。
サンプルベーススパース線形システムを提案することにより、現代の機械学習問題に対する多目的最適化の理論結果をスケールアップする。
- 参考スコア(独自算出の注目度): 34.41682709915956
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tasks in multi-task learning often correlate, conflict, or even compete with
each other. As a result, a single solution that is optimal for all tasks rarely
exists. Recent papers introduced the concept of Pareto optimality to this field
and directly cast multi-task learning as multi-objective optimization problems,
but solutions returned by existing methods are typically finite, sparse, and
discrete. We present a novel, efficient method that generates locally
continuous Pareto sets and Pareto fronts, which opens up the possibility of
continuous analysis of Pareto optimal solutions in machine learning problems.
We scale up theoretical results in multi-objective optimization to modern
machine learning problems by proposing a sample-based sparse linear system, for
which standard Hessian-free solvers in machine learning can be applied. We
compare our method to the state-of-the-art algorithms and demonstrate its usage
of analyzing local Pareto sets on various multi-task classification and
regression problems. The experimental results confirm that our algorithm
reveals the primary directions in local Pareto sets for trade-off balancing,
finds more solutions with different trade-offs efficiently, and scales well to
tasks with millions of parameters.
- Abstract(参考訳): マルチタスク学習のタスクは、しばしば相互に相関し、対立し、あるいは競合する。
その結果、全てのタスクに最適な単一の解はほとんど存在しない。
最近の論文では、paretoの最適性の概念を導入し、マルチタスク学習を多目的最適化問題として直接キャストするが、既存の手法で返される解は通常有限、スパース、離散である。
本稿では,局所連続パレート集合とパレートフロントを生成する新しい効率的な手法を提案し,機械学習問題におけるパレート最適解の連続解析の可能性を明らかにする。
我々は、サンプルベーススパース線形システムを提案し、機械学習における標準 Hessian-free solver を適用することで、現代の機械学習問題に対する多目的最適化の理論結果をスケールアップする。
本手法を最先端アルゴリズムと比較し,様々なマルチタスク分類と回帰問題に対する局所パレート集合の解析法を示す。
実験結果から,本アルゴリズムはトレードオフバランスのための局所パレート集合の主方向を明らかにし,異なるトレードオフを持つ解を効率的に発見し,数百万のパラメータを持つタスクに順応する。
関連論文リスト
- Pareto Manifold Learning: Tackling multiple tasks via ensembles of
single-task models [50.33956216274694]
マルチタスク学習(MTL)では、タスクは、ソリューションへの最適化を導くのではなく、互いに達成したパフォーマンスを競い、制限することができる。
重み空間におけるアンサンブル手法であるTextitPareto Manifold Learningを提案する。
論文 参考訳(メタデータ) (2022-10-18T11:20:54Z) - Pareto Set Learning for Neural Multi-objective Combinatorial
Optimization [6.091096843566857]
多目的最適化(MOCO)の問題は、現実世界の多くのアプリケーションで見られる。
我々は,与えられたMOCO問題に対するパレート集合全体を,探索手順を伴わずに近似する学習ベースアプローチを開発した。
提案手法は,多目的走行セールスマン問題,マルチコンディショニング車両ルーティング問題,複数クナップサック問題において,ソリューションの品質,速度,モデル効率の面で,他の方法よりも優れていた。
論文 参考訳(メタデータ) (2022-03-29T09:26:22Z) - Learning Proximal Operators to Discover Multiple Optima [66.98045013486794]
非家族問題における近位演算子を学習するためのエンドツーエンド手法を提案する。
本手法は,弱い目的と穏やかな条件下では,世界規模で収束することを示す。
論文 参考訳(メタデータ) (2022-01-28T05:53:28Z) - In Defense of the Unitary Scalarization for Deep Multi-Task Learning [121.76421174107463]
本稿では,多くの特殊マルチタスクを正規化の形式として解釈できることを示唆する理論解析について述べる。
標準正規化と安定化技術と組み合わせると、ユニタリスカラー化は複雑なマルチタスクの性能にマッチし、改善することを示す。
論文 参考訳(メタデータ) (2022-01-11T18:44:17Z) - Scalable Uni-directional Pareto Optimality for Multi-Task Learning with
Constraints [4.4044968357361745]
制約下での最適化を含む多目的(MOO)問題に対するスケーラブルなMOOソルバを提案する。
この重要な応用は、ニューラル分類タスクの高次元ランタイムを推定することである。
論文 参考訳(メタデータ) (2021-10-28T21:35:59Z) - Small Towers Make Big Differences [59.243296878666285]
マルチタスク学習は、複数の機械学習タスクを同時に解決することを目的としている。
マルチタスク学習問題に対する優れた解法は、Paretoの最適性に加えて一般化可能であるべきである。
本稿では,マルチタスクモデルのためのパラメータ下自己助詞の手法を提案し,両世界のベストを達成した。
論文 参考訳(メタデータ) (2020-08-13T10:45:31Z) - Learning with Differentiable Perturbed Optimizers [54.351317101356614]
本稿では,操作を微分可能で局所的に一定ではない操作に変換する手法を提案する。
提案手法は摂動に依拠し,既存の解法とともに容易に利用することができる。
本稿では,この枠組みが,構造化予測において発達した損失の族とどのように結びつくかを示し,学習課題におけるそれらの使用に関する理論的保証を与える。
論文 参考訳(メタデータ) (2020-02-20T11:11:32Z) - Pareto Multi-Task Learning [53.90732663046125]
マルチタスク学習は複数の相関タスクを同時に解くための強力な方法である。
異なるタスクが互いに衝突する可能性があるため、すべてのタスクを最適化するひとつのソリューションを見つけることは、しばしば不可能である。
近年,マルチタスク学習を多目的最適化として活用することにより,タスク間のトレードオフが良好である1つのパレート最適解を求める方法が提案されている。
論文 参考訳(メタデータ) (2019-12-30T08:58:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。