論文の概要: Multi-Task Learning with Multi-Task Optimization
- arxiv url: http://arxiv.org/abs/2403.16162v1
- Date: Sun, 24 Mar 2024 14:04:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-26 17:15:57.968704
- Title: Multi-Task Learning with Multi-Task Optimization
- Title（参考訳）: マルチタスク最適化によるマルチタスク学習
- Authors: Lu Bai, Abhishek Gupta, Yew-Soon Ong,
- Abstract要約: 最適化されているが、よく分散されたモデルの集合が、1つのアルゴリズムパスで異なるトレードオフを具現化していることを示す。
様々な問題設定を解決するために,マルチタスク最適化を用いたマルチタスク学習を提案する。
- 参考スコア（独自算出の注目度）: 31.518330903602095
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-task learning solves multiple correlated tasks. However, conflicts may exist between them. In such circumstances, a single solution can rarely optimize all the tasks, leading to performance trade-offs. To arrive at a set of optimized yet well-distributed models that collectively embody different trade-offs in one algorithmic pass, this paper proposes to view Pareto multi-task learning through the lens of multi-task optimization. Multi-task learning is first cast as a multi-objective optimization problem, which is then decomposed into a diverse set of unconstrained scalar-valued subproblems. These subproblems are solved jointly using a novel multi-task gradient descent method, whose uniqueness lies in the iterative transfer of model parameters among the subproblems during the course of optimization. A theorem proving faster convergence through the inclusion of such transfers is presented. We investigate the proposed multi-task learning with multi-task optimization for solving various problem settings including image classification, scene understanding, and multi-target regression. Comprehensive experiments confirm that the proposed method significantly advances the state-of-the-art in discovering sets of Pareto-optimized models. Notably, on the large image dataset we tested on, namely NYUv2, the hypervolume convergence achieved by our method was found to be nearly two times faster than the next-best among the state-of-the-art.
- Abstract（参考訳）: マルチタスク学習は複数の相関タスクを解決する。
しかし、両者の間には対立が存在する可能性がある。
このような状況下では、単一のソリューションがすべてのタスクを最適化することは滅多になく、パフォーマンスのトレードオフにつながる。
本稿では,1つのアルゴリズムパスで異なるトレードオフを包括的に具現化する,最適化されているがよく分散されたモデルのセットに到達するために,マルチタスク最適化のレンズを通して,Paretoマルチタスク学習を見ることを提案する。
マルチタスク学習は、まず多目的最適化問題としてキャストされ、次に制約のないスカラー値のサブプロブレムの多種多様な集合に分解される。
これらのサブプロブレムは、最適化の過程でサブプロブレム間のモデルパラメータの反復移動に固有の、新しいマルチタスク勾配降下法を用いて共同で解決される。
そのような転移を包含することでより高速な収束を証明した定理が提示される。
画像分類,シーン理解,マルチターゲット回帰といった様々な問題設定を解決するために,マルチタスク最適化を用いたマルチタスク学習を提案する。
包括的実験により,提案手法がパレート最適化モデルの探索における最先端性を著しく向上することが確認された。
特に、我々がテストした大規模な画像データセット、すなわちNYUv2では、我々の方法で達成された超体積収束は、最先端技術の中での次のベストの約2倍高速であることが判明した。
関連論文リスト
- Efficient Pareto Manifold Learning with Low-Rank Structure [31.082432589391953]
マルチタスク学習は本質的に多目的最適化問題である。
そこで本研究では,複数の低ランク行列を主ネットワークに統合する手法を提案する。
パラメータの数を著しく削減し、共有された特徴の抽出を容易にする。
論文 参考訳（メタデータ） (2024-07-30T11:09:27Z) - UCB-driven Utility Function Search for Multi-objective Reinforcement Learning [75.11267478778295]
マルチオブジェクト強化学習(MORL)エージェントでは、意思決定行動の最適化を行う。
重みベクトル w でパラメータ化される線型効用関数の場合に焦点を当てる。
学習過程の異なる段階で最も有望な重みベクトルを効率的に探索する上信頼境界に基づく手法を提案する。
論文 参考訳（メタデータ） (2024-05-01T09:34:42Z) - Pareto Manifold Learning: Tackling multiple tasks via ensembles of
single-task models [50.33956216274694]
マルチタスク学習(MTL)では、タスクは、ソリューションへの最適化を導くのではなく、互いに達成したパフォーマンスを競い、制限することができる。
重み空間におけるアンサンブル手法であるTextitPareto Manifold Learningを提案する。
論文 参考訳（メタデータ） (2022-10-18T11:20:54Z) - In Defense of the Unitary Scalarization for Deep Multi-Task Learning [121.76421174107463]
本稿では,多くの特殊マルチタスクを正規化の形式として解釈できることを示唆する理論解析について述べる。
標準正規化と安定化技術と組み合わせると、ユニタリスカラー化は複雑なマルチタスクの性能にマッチし、改善することを示す。
論文 参考訳（メタデータ） (2022-01-11T18:44:17Z) - Small Towers Make Big Differences [59.243296878666285]
マルチタスク学習は、複数の機械学習タスクを同時に解決することを目的としている。
マルチタスク学習問題に対する優れた解法は、Paretoの最適性に加えて一般化可能であるべきである。
本稿では,マルチタスクモデルのためのパラメータ下自己助詞の手法を提案し,両世界のベストを達成した。
論文 参考訳（メタデータ） (2020-08-13T10:45:31Z) - Efficient Continuous Pareto Exploration in Multi-Task Learning [34.41682709915956]
本稿では,機械学習問題における最適解の連続解析手法を提案する。
サンプルベーススパース線形システムを提案することにより、現代の機械学習問題に対する多目的最適化の理論結果をスケールアップする。
論文 参考訳（メタデータ） (2020-06-29T23:36:20Z) - Gradient Surgery for Multi-Task Learning [119.675492088251]
マルチタスク学習は、複数のタスク間で構造を共有するための有望なアプローチとして登場した。
マルチタスク学習がシングルタスク学習と比較して難しい理由は、完全には理解されていない。
本稿では,他の作業の勾配の正規平面上にタスクの勾配を投影する勾配手術の一形態を提案する。
論文 参考訳（メタデータ） (2020-01-19T06:33:47Z) - Pareto Multi-Task Learning [53.90732663046125]
マルチタスク学習は複数の相関タスクを同時に解くための強力な方法である。
異なるタスクが互いに衝突する可能性があるため、すべてのタスクを最適化するひとつのソリューションを見つけることは、しばしば不可能である。
近年,マルチタスク学習を多目的最適化として活用することにより,タスク間のトレードオフが良好である1つのパレート最適解を求める方法が提案されている。
論文 参考訳（メタデータ） (2019-12-30T08:58:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。