論文の概要: Pareto Manifold Learning: Tackling multiple tasks via ensembles of single-task models

• arxiv url: http://arxiv.org/abs/2210.09759v2
• Date: Wed, 14 Jun 2023 11:45:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-17 03:24:34.550278
• Title: Pareto Manifold Learning: Tackling multiple tasks via ensembles of single-task models
• Title（参考訳）: Pareto Manifold Learning:シングルタスクモデルのアンサンブルを通じて複数のタスクに取り組む
• Authors: Nikolaos Dimitriadis, Pascal Frossard, Fran\c{c}ois Fleuret
• Abstract要約: マルチタスク学習(MTL)では、タスクは、ソリューションへの最適化を導くのではなく、互いに達成したパフォーマンスを競い、制限することができる。 重み空間におけるアンサンブル手法であるTextitPareto Manifold Learningを提案する。
• 参考スコア（独自算出の注目度）: 50.33956216274694
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In Multi-Task Learning (MTL), tasks may compete and limit the performance achieved on each other, rather than guiding the optimization to a solution, superior to all its single-task trained counterparts. Since there is often not a unique solution optimal for all tasks, practitioners have to balance tradeoffs between tasks' performance, and resort to optimality in the Pareto sense. Most MTL methodologies either completely neglect this aspect, and instead of aiming at learning a Pareto Front, produce one solution predefined by their optimization schemes, or produce diverse but discrete solutions. Recent approaches parameterize the Pareto Front via neural networks, leading to complex mappings from tradeoff to objective space. In this paper, we conjecture that the Pareto Front admits a linear parameterization in parameter space, which leads us to propose \textit{Pareto Manifold Learning}, an ensembling method in weight space. Our approach produces a continuous Pareto Front in a single training run, that allows to modulate the performance on each task during inference. Experiments on multi-task learning benchmarks, ranging from image classification to tabular datasets and scene understanding, show that \textit{Pareto Manifold Learning} outperforms state-of-the-art single-point algorithms, while learning a better Pareto parameterization than multi-point baselines.
• Abstract（参考訳）: MTL(Multi-Task Learning)では、タスクはソリューションに最適化を導くのではなく、互いに競合し、達成したパフォーマンスを制限することができる。 すべてのタスクに最適なユニークなソリューションが存在しないことが多いため、実践者はタスクのパフォーマンス間のトレードオフをバランスさせ、Paretoの意味において最適性に頼る必要がある。 ほとんどのMTL方法論は、この側面を完全に無視し、パレートフロントを学習する代わりに、最適化スキームによって事前に定義された1つの解を生成する。 最近のアプローチでは、ニューラルネットワークを介してPareto Frontをパラメータ化し、トレードオフから客観的空間への複雑なマッピングにつながっている。 本稿では,パレート前線がパラメータ空間における線形パラメータ化を許容すると仮定し,重み空間におけるセンシング法である \textit{pareto manifold learning} を提案する。 当社のアプローチでは,単一トレーニングランで連続的なPareto Frontを生成し,推論中の各タスクのパフォーマンスを変調する。 画像分類から表データセット、シーン理解まで、マルチタスク学習ベンチマークの実験では、 \textit{Pareto Manifold Learning} が最先端の単一ポイントアルゴリズムより優れており、マルチポイントベースラインよりも優れたパレートパラメータ化を学習している。

関連論文リスト

• Efficient Pareto Manifold Learning with Low-Rank Structure [31.082432589391953]
  マルチタスク学習は本質的に多目的最適化問題である。 そこで本研究では,複数の低ランク行列を主ネットワークに統合する手法を提案する。 パラメータの数を著しく削減し、共有された特徴の抽出を容易にする。
  論文  参考訳（メタデータ） (2024-07-30T11:09:27Z)
• Pareto Low-Rank Adapters: Efficient Multi-Task Learning with Preferences [49.14535254003683]
  PaLoRAは、タスク固有の低ランクアダプタでオリジナルのモデルを拡張する、新しいパラメータ効率の手法である。 実験の結果,PaLoRAは様々なデータセットでMTLとPFLのベースラインを上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-07-10T21:25:51Z)
• Towards Efficient Pareto Set Approximation via Mixture of Experts Based Model Fusion [53.33473557562837]
  大規模深層ニューラルネットワークに対する多目的最適化問題を解くことは、損失ランドスケープの複雑さと高価な計算コストのために難しい課題である。 本稿では,専門家(MoE)をベースとしたモデル融合を用いて,この問題を実用的でスケーラブルに解決する手法を提案する。 特殊な単一タスクモデルの重みをまとめることで、MoEモジュールは複数の目的間のトレードオフを効果的に捉えることができる。
  論文  参考訳（メタデータ） (2024-06-14T07:16:18Z)
• MAP: Low-compute Model Merging with Amortized Pareto Fronts via Quadratic Approximation [80.47072100963017]
  Amortized Pareto Front (MAP) を用いた新しい低演算アルゴリズム Model Merging を導入する。 MAPは、複数のモデルをマージするためのスケーリング係数のセットを効率的に識別し、関連するトレードオフを反映する。 また,タスク数が比較的少ないシナリオではベイジアンMAP,タスク数の多い状況ではNested MAPを導入し,計算コストを削減した。
  論文  参考訳（メタデータ） (2024-06-11T17:55:25Z)
• Multi-Task Learning with Multi-Task Optimization [31.518330903602095]
  最適化されているが、よく分散されたモデルの集合が、1つのアルゴリズムパスで異なるトレードオフを具現化していることを示す。 様々な問題設定を解決するために,マルチタスク最適化を用いたマルチタスク学習を提案する。
  論文  参考訳（メタデータ） (2024-03-24T14:04:40Z)
• Pareto Navigation Gradient Descent: a First-Order Algorithm for Optimization in Pareto Set [17.617944390196286]
  マルチタスク学習のような現代の機械学習アプリケーションは、複数の目的関数をトレードオフするために最適なモデルパラメータを見つける必要がある。 勾配情報のみを用いてOPT-in-Paretoを近似的に解く1次アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-10-17T04:07:04Z)
• Small Towers Make Big Differences [59.243296878666285]
  マルチタスク学習は、複数の機械学習タスクを同時に解決することを目的としている。 マルチタスク学習問題に対する優れた解法は、Paretoの最適性に加えて一般化可能であるべきである。 本稿では,マルチタスクモデルのためのパラメータ下自己助詞の手法を提案し,両世界のベストを達成した。
  論文  参考訳（メタデータ） (2020-08-13T10:45:31Z)
• Efficient Continuous Pareto Exploration in Multi-Task Learning [34.41682709915956]
  本稿では,機械学習問題における最適解の連続解析手法を提案する。 サンプルベーススパース線形システムを提案することにより、現代の機械学習問題に対する多目的最適化の理論結果をスケールアップする。
  論文  参考訳（メタデータ） (2020-06-29T23:36:20Z)
• Pareto Multi-Task Learning [53.90732663046125]
  マルチタスク学習は複数の相関タスクを同時に解くための強力な方法である。 異なるタスクが互いに衝突する可能性があるため、すべてのタスクを最適化するひとつのソリューションを見つけることは、しばしば不可能である。 近年,マルチタスク学習を多目的最適化として活用することにより,タスク間のトレードオフが良好である1つのパレート最適解を求める方法が提案されている。
  論文  参考訳（メタデータ） (2019-12-30T08:58:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。