論文の概要: Maximum Roaming Multi-Task Learning

• arxiv url: http://arxiv.org/abs/2006.09762v4
• Date: Wed, 19 May 2021 09:20:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 19:06:48.505222
• Title: Maximum Roaming Multi-Task Learning
• Title（参考訳）: 最大ローミングマルチタスク学習
• Authors: Lucas Pascal and Pietro Michiardi and Xavier Bost and Benoit Huet and Maria A. Zuluaga
• Abstract要約: 帰納バイアスを弱めることなくパラメータ空間を分割する新しい方法を提案する。 具体的には,パラメータ分割をランダムに変化させるドロップアウトにインスパイアされた最大ローミングを提案する。 実験結果から,ローミングによる正規化が通常のパーティショニング最適化戦略よりも性能に与える影響が示唆された。
• 参考スコア（独自算出の注目度）: 18.69970611732082
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-task learning has gained popularity due to the advantages it provides with respect to resource usage and performance. Nonetheless, the joint optimization of parameters with respect to multiple tasks remains an active research topic. Sub-partitioning the parameters between different tasks has proven to be an efficient way to relax the optimization constraints over the shared weights, may the partitions be disjoint or overlapping. However, one drawback of this approach is that it can weaken the inductive bias generally set up by the joint task optimization. In this work, we present a novel way to partition the parameter space without weakening the inductive bias. Specifically, we propose Maximum Roaming, a method inspired by dropout that randomly varies the parameter partitioning, while forcing them to visit as many tasks as possible at a regulated frequency, so that the network fully adapts to each update. We study the properties of our method through experiments on a variety of visual multi-task data sets. Experimental results suggest that the regularization brought by roaming has more impact on performance than usual partitioning optimization strategies. The overall method is flexible, easily applicable, provides superior regularization and consistently achieves improved performances compared to recent multi-task learning formulations.
• Abstract（参考訳）: マルチタスク学習は、リソースの利用とパフォーマンスに関する利点によって人気を集めている。 それでも、複数のタスクに対するパラメータの協調最適化は、現在も活発な研究トピックである。 異なるタスク間のパラメータをサブパーティショニングすることは、共有重み付けに対する最適化の制約を緩和する効率的な方法であることが証明されている。 しかし、このアプローチの欠点の1つは、共同作業最適化によって概して設定される帰納バイアスを弱めることができることである。 本研究では,帰納バイアスを弱めることなくパラメータ空間を分割する方法を提案する。 具体的には,パラメータ分割をランダムに変更するドロップアウトにインスパイアされた手法であるmaximum roamingを提案する。 様々な視覚的マルチタスクデータセットの実験を通して,本手法の特性について検討する。 実験結果から,ローミングによる正規化が通常の分割最適化戦略よりも性能に与える影響が示唆された。 全体的な手法は柔軟で、容易に適用でき、優れた正規化を提供し、最近のマルチタスク学習の定式化と比べて一貫してパフォーマンスが向上している。

関連論文リスト

• Efficient Pareto Manifold Learning with Low-Rank Structure [31.082432589391953]
  マルチタスク学習は本質的に多目的最適化問題である。 そこで本研究では,複数の低ランク行列を主ネットワークに統合する手法を提案する。 パラメータの数を著しく削減し、共有された特徴の抽出を容易にする。
  論文  参考訳（メタデータ） (2024-07-30T11:09:27Z)
• Pareto Low-Rank Adapters: Efficient Multi-Task Learning with Preferences [49.14535254003683]
  PaLoRAは、タスク固有の低ランクアダプタでオリジナルのモデルを拡張する、新しいパラメータ効率の手法である。 実験の結果,PaLoRAは様々なデータセットでMTLとPFLのベースラインを上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-07-10T21:25:51Z)
• Multi-Task Learning with Multi-Task Optimization [31.518330903602095]
  最適化されているが、よく分散されたモデルの集合が、1つのアルゴリズムパスで異なるトレードオフを具現化していることを示す。 様々な問題設定を解決するために,マルチタスク最適化を用いたマルチタスク学習を提案する。
  論文  参考訳（メタデータ） (2024-03-24T14:04:40Z)
• Pareto Manifold Learning: Tackling multiple tasks via ensembles of single-task models [50.33956216274694]
  マルチタスク学習(MTL)では、タスクは、ソリューションへの最適化を導くのではなく、互いに達成したパフォーマンスを競い、制限することができる。 重み空間におけるアンサンブル手法であるTextitPareto Manifold Learningを提案する。
  論文  参考訳（メタデータ） (2022-10-18T11:20:54Z)
• Attentional Mixtures of Soft Prompt Tuning for Parameter-efficient Multi-task Knowledge Sharing [53.399742232323895]
  ATTEMPTは、新しいモジュラー、マルチタスク、パラメータ効率の言語モデル(LM)チューニングアプローチである。 異なるタスク間で伝達される知識をソフトプロンプトの混合によって組み合わせ、元のLMをそのまま維持する。 パラメータ効率(例えば、微調整よりも1,600倍少ないパラメータを更新)であり、マルチタスク学習と柔軟な拡張を可能にする。
  論文  参考訳（メタデータ） (2022-05-24T10:48:33Z)
• In Defense of the Unitary Scalarization for Deep Multi-Task Learning [121.76421174107463]
  本稿では,多くの特殊マルチタスクを正規化の形式として解釈できることを示唆する理論解析について述べる。 標準正規化と安定化技術と組み合わせると、ユニタリスカラー化は複雑なマルチタスクの性能にマッチし、改善することを示す。
  論文  参考訳（メタデータ） (2022-01-11T18:44:17Z)
• Parameter-Efficient Transfer Learning with Diff Pruning [108.03864629388404]
  diff pruningは、プリトレイン・ファインチューンフレームワーク内でパラメータ効率の高い転送学習を可能にするシンプルなアプローチです。 diff pruningで微調整されたモデルは、GLUEベンチマークで完全に微調整されたベースラインのパフォーマンスと一致します。
  論文  参考訳（メタデータ） (2020-12-14T12:34:01Z)
• Small Towers Make Big Differences [59.243296878666285]
  マルチタスク学習は、複数の機械学習タスクを同時に解決することを目的としている。 マルチタスク学習問題に対する優れた解法は、Paretoの最適性に加えて一般化可能であるべきである。 本稿では,マルチタスクモデルのためのパラメータ下自己助詞の手法を提案し,両世界のベストを達成した。
  論文  参考訳（メタデータ） (2020-08-13T10:45:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。