論文の概要: Efficient Continuous Pareto Exploration in Multi-Task Learning
- arxiv url: http://arxiv.org/abs/2006.16434v2
- Date: Wed, 26 Aug 2020 20:48:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-15 13:19:09.036975
- Title: Efficient Continuous Pareto Exploration in Multi-Task Learning
- Title（参考訳）: マルチタスク学習における効率的な連続パレート探索
- Authors: Pingchuan Ma, Tao Du, Wojciech Matusik
- Abstract要約: 本稿では,機械学習問題における最適解の連続解析手法を提案する。
サンプルベーススパース線形システムを提案することにより、現代の機械学習問題に対する多目的最適化の理論結果をスケールアップする。
- 参考スコア（独自算出の注目度）: 34.41682709915956
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tasks in multi-task learning often correlate, conflict, or even compete with
each other. As a result, a single solution that is optimal for all tasks rarely
exists. Recent papers introduced the concept of Pareto optimality to this field
and directly cast multi-task learning as multi-objective optimization problems,
but solutions returned by existing methods are typically finite, sparse, and
discrete. We present a novel, efficient method that generates locally
continuous Pareto sets and Pareto fronts, which opens up the possibility of
continuous analysis of Pareto optimal solutions in machine learning problems.
We scale up theoretical results in multi-objective optimization to modern
machine learning problems by proposing a sample-based sparse linear system, for
which standard Hessian-free solvers in machine learning can be applied. We
compare our method to the state-of-the-art algorithms and demonstrate its usage
of analyzing local Pareto sets on various multi-task classification and
regression problems. The experimental results confirm that our algorithm
reveals the primary directions in local Pareto sets for trade-off balancing,
finds more solutions with different trade-offs efficiently, and scales well to
tasks with millions of parameters.
- Abstract（参考訳）: マルチタスク学習のタスクは、しばしば相互に相関し、対立し、あるいは競合する。
その結果、全てのタスクに最適な単一の解はほとんど存在しない。
最近の論文では、paretoの最適性の概念を導入し、マルチタスク学習を多目的最適化問題として直接キャストするが、既存の手法で返される解は通常有限、スパース、離散である。
本稿では,局所連続パレート集合とパレートフロントを生成する新しい効率的な手法を提案し,機械学習問題におけるパレート最適解の連続解析の可能性を明らかにする。
我々は、サンプルベーススパース線形システムを提案し、機械学習における標準 Hessian-free solver を適用することで、現代の機械学習問題に対する多目的最適化の理論結果をスケールアップする。
本手法を最先端アルゴリズムと比較し,様々なマルチタスク分類と回帰問題に対する局所パレート集合の解析法を示す。
実験結果から,本アルゴリズムはトレードオフバランスのための局所パレート集合の主方向を明らかにし,異なるトレードオフを持つ解を効率的に発見し,数百万のパラメータを持つタスクに順応する。
関連論文リスト
- Efficient Pareto Manifold Learning with Low-Rank Structure [31.082432589391953]
マルチタスク学習は本質的に多目的最適化問題である。
そこで本研究では,複数の低ランク行列を主ネットワークに統合する手法を提案する。
パラメータの数を著しく削減し、共有された特徴の抽出を容易にする。
論文 参考訳（メタデータ） (2024-07-30T11:09:27Z) - UCB-driven Utility Function Search for Multi-objective Reinforcement Learning [75.11267478778295]
マルチオブジェクト強化学習(MORL)エージェントでは、意思決定行動の最適化を行う。
重みベクトル w でパラメータ化される線型効用関数の場合に焦点を当てる。
学習過程の異なる段階で最も有望な重みベクトルを効率的に探索する上信頼境界に基づく手法を提案する。
論文 参考訳（メタデータ） (2024-05-01T09:34:42Z) - Multi-Task Learning with Multi-Task Optimization [31.518330903602095]
最適化されているが、よく分散されたモデルの集合が、1つのアルゴリズムパスで異なるトレードオフを具現化していることを示す。
様々な問題設定を解決するために,マルチタスク最適化を用いたマルチタスク学習を提案する。
論文 参考訳（メタデータ） (2024-03-24T14:04:40Z) - Pareto Manifold Learning: Tackling multiple tasks via ensembles of
single-task models [50.33956216274694]
マルチタスク学習(MTL)では、タスクは、ソリューションへの最適化を導くのではなく、互いに達成したパフォーマンスを競い、制限することができる。
重み空間におけるアンサンブル手法であるTextitPareto Manifold Learningを提案する。
論文 参考訳（メタデータ） (2022-10-18T11:20:54Z) - Learning Proximal Operators to Discover Multiple Optima [66.98045013486794]
非家族問題における近位演算子を学習するためのエンドツーエンド手法を提案する。
本手法は,弱い目的と穏やかな条件下では,世界規模で収束することを示す。
論文 参考訳（メタデータ） (2022-01-28T05:53:28Z) - In Defense of the Unitary Scalarization for Deep Multi-Task Learning [121.76421174107463]
本稿では,多くの特殊マルチタスクを正規化の形式として解釈できることを示唆する理論解析について述べる。
標準正規化と安定化技術と組み合わせると、ユニタリスカラー化は複雑なマルチタスクの性能にマッチし、改善することを示す。
論文 参考訳（メタデータ） (2022-01-11T18:44:17Z) - Scalable Uni-directional Pareto Optimality for Multi-Task Learning with
Constraints [4.4044968357361745]
制約下での最適化を含む多目的(MOO)問題に対するスケーラブルなMOOソルバを提案する。
この重要な応用は、ニューラル分類タスクの高次元ランタイムを推定することである。
論文 参考訳（メタデータ） (2021-10-28T21:35:59Z) - Small Towers Make Big Differences [59.243296878666285]
マルチタスク学習は、複数の機械学習タスクを同時に解決することを目的としている。
マルチタスク学習問題に対する優れた解法は、Paretoの最適性に加えて一般化可能であるべきである。
本稿では,マルチタスクモデルのためのパラメータ下自己助詞の手法を提案し,両世界のベストを達成した。
論文 参考訳（メタデータ） (2020-08-13T10:45:31Z) - Pareto Multi-Task Learning [53.90732663046125]
マルチタスク学習は複数の相関タスクを同時に解くための強力な方法である。
異なるタスクが互いに衝突する可能性があるため、すべてのタスクを最適化するひとつのソリューションを見つけることは、しばしば不可能である。
近年,マルチタスク学習を多目的最適化として活用することにより,タスク間のトレードオフが良好である1つのパレート最適解を求める方法が提案されている。
論文 参考訳（メタデータ） (2019-12-30T08:58:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。