論文の概要: Pareto Manifold Learning: Tackling multiple tasks via ensembles of
single-task models
- arxiv url: http://arxiv.org/abs/2210.09759v1
- Date: Tue, 18 Oct 2022 11:20:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-19 15:23:28.413562
- Title: Pareto Manifold Learning: Tackling multiple tasks via ensembles of
single-task models
- Title(参考訳): Pareto Manifold Learning:シングルタスクモデルのアンサンブルを通じて複数のタスクに取り組む
- Authors: Nikolaos Dimitriadis, Pascal Frossard, Fran\c{c}ois Fleuret
- Abstract要約: マルチタスク学習では、タスクは互いに競い合い、パフォーマンスを制限します。
すべてのタスクに最適なソリューションが存在しないことが多いため、実践者はタスクのパフォーマンス間のトレードオフのバランスを取ることができる。
- 参考スコア(独自算出の注目度): 50.33956216274694
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In Multi-Task Learning, tasks may compete and limit the performance achieved
on each other rather than guiding the optimization trajectory to a common
solution, superior to its single-task counterparts. There is often not a single
solution that is optimal for all tasks, leading practitioners to balance
tradeoffs between tasks' performance, and to resort to optimality in the Pareto
sense. Current Multi-Task Learning methodologies either completely neglect this
aspect of functional diversity, and produce one solution in the Pareto Front
predefined by their optimization schemes, or produce diverse but discrete
solutions, each requiring a separate training run. In this paper, we conjecture
that there exist Pareto Subspaces, i.e., weight subspaces where multiple
optimal functional solutions lie. We propose Pareto Manifold Learning, an
ensembling method in weight space that is able to discover such a
parameterization and produces a continuous Pareto Front in a single training
run, allowing practitioners to modulate the performance on each task during
inference on the fly. We validate the proposed method on a diverse set of
multi-task learning benchmarks, ranging from image classification to tabular
datasets and scene understanding, and show that Pareto Manifold Learning
outperforms state-of-the-art algorithms.
- Abstract(参考訳): マルチタスク学習では、タスクは、最適化の軌跡を共通のソリューションに導くのではなく、互いに達成したパフォーマンスを競い合い、制限することができる。
すべてのタスクに最適なソリューションが存在しないことが多いため、実践者はタスクのパフォーマンス間のトレードオフをバランスさせ、Paretoの意味において最適性に頼る。
現在のマルチタスク学習手法は、機能的多様性のこの側面を完全に無視し、最適化スキームによって事前に定義されたパレートフロントで1つのソリューションを生成するか、あるいは多様だが離散的なソリューションを生成する。
本稿では、パレート部分空間、すなわち、複数の最適汎関数解が存在する重み部分空間が存在すると仮定する。
このようなパラメータ化を発見し,1回のトレーニング実行で連続的なparetoフロントを生成する,重み空間におけるセンシング手法であるpareto manifold learningを提案する。
提案手法は,画像分類から表型データセット,シーン理解まで多種多様なマルチタスク学習ベンチマークを用いて検証し,パレート多様体学習が最先端アルゴリズムよりも優れていることを示す。
関連論文リスト
- InterroGate: Learning to Share, Specialize, and Prune Representations
for Multi-task Learning [17.66308231838553]
推論計算効率を最適化しつつ,タスク干渉を緩和する新しいマルチタスク学習(MTL)アーキテクチャを提案する。
学習可能なゲーティング機構を用いて、すべてのタスクのパフォーマンスを保ちながら、共有表現とタスク固有の表現を自動的にバランスさせる。
論文 参考訳(メタデータ) (2024-02-26T18:59:52Z) - Pareto Navigation Gradient Descent: a First-Order Algorithm for
Optimization in Pareto Set [17.617944390196286]
マルチタスク学習のような現代の機械学習アプリケーションは、複数の目的関数をトレードオフするために最適なモデルパラメータを見つける必要がある。
勾配情報のみを用いてOPT-in-Paretoを近似的に解く1次アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-10-17T04:07:04Z) - Semi-supervised Multi-task Learning for Semantics and Depth [88.77716991603252]
MTL(Multi-Task Learning)は、関連するタスク間で表現を共有することで、モデル一般化を強化することを目的としている。
そこで本研究では,異なるデータセットから利用可能な監視信号を活用するために,半教師付きマルチタスク学習(MTL)手法を提案する。
本稿では,データセット間の整合性の問題を軽減するために,様々なアライメントの定式化を施したドメイン認識識別器構造を提案する。
論文 参考訳(メタデータ) (2021-10-14T07:43:39Z) - Controllable Pareto Multi-Task Learning [55.945680594691076]
マルチタスク学習システムは,複数のタスクを同時に解決することを目的としている。
固定されたモデルキャパシティでは、タスクは互いに衝突し、システムは通常、それらすべてを学ぶためにトレードオフをしなければならない。
本研究では,異なるタスク間のリアルタイムなトレードオフ制御を実現するための,新しい制御可能なマルチタスク学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-10-13T11:53:55Z) - Small Towers Make Big Differences [59.243296878666285]
マルチタスク学習は、複数の機械学習タスクを同時に解決することを目的としている。
マルチタスク学習問題に対する優れた解法は、Paretoの最適性に加えて一般化可能であるべきである。
本稿では,マルチタスクモデルのためのパラメータ下自己助詞の手法を提案し,両世界のベストを達成した。
論文 参考訳(メタデータ) (2020-08-13T10:45:31Z) - Efficient Continuous Pareto Exploration in Multi-Task Learning [34.41682709915956]
本稿では,機械学習問題における最適解の連続解析手法を提案する。
サンプルベーススパース線形システムを提案することにより、現代の機械学習問題に対する多目的最適化の理論結果をスケールアップする。
論文 参考訳(メタデータ) (2020-06-29T23:36:20Z) - Multi-Task Learning for Dense Prediction Tasks: A Survey [87.66280582034838]
マルチタスク学習(MTL)技術は、性能、計算、メモリフットプリントに関する有望な結果を示している。
我々は、コンピュータビジョンにおけるMLLのための最先端のディープラーニングアプローチについて、よく理解された視点を提供する。
論文 参考訳(メタデータ) (2020-04-28T09:15:50Z) - Pareto Multi-Task Learning [53.90732663046125]
マルチタスク学習は複数の相関タスクを同時に解くための強力な方法である。
異なるタスクが互いに衝突する可能性があるため、すべてのタスクを最適化するひとつのソリューションを見つけることは、しばしば不可能である。
近年,マルチタスク学習を多目的最適化として活用することにより,タスク間のトレードオフが良好である1つのパレート最適解を求める方法が提案されている。
論文 参考訳(メタデータ) (2019-12-30T08:58:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。