論文の概要: Small Towers Make Big Differences

• arxiv url: http://arxiv.org/abs/2008.05808v1
• Date: Thu, 13 Aug 2020 10:45:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-30 22:37:43.562628
• Title: Small Towers Make Big Differences
• Title（参考訳）: 小さな塔は大きな違いをもたらす
• Authors: Yuyan Wang, Zhe Zhao, Bo Dai, Christopher Fifty, Dong Lin, Lichan Hong, Ed H. Chi
• Abstract要約: マルチタスク学習は、複数の機械学習タスクを同時に解決することを目的としている。 マルチタスク学習問題に対する優れた解法は、Paretoの最適性に加えて一般化可能であるべきである。 本稿では,マルチタスクモデルのためのパラメータ下自己助詞の手法を提案し,両世界のベストを達成した。
• 参考スコア（独自算出の注目度）: 59.243296878666285
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-task learning aims at solving multiple machine learning tasks at the same time. A good solution to a multi-task learning problem should be generalizable in addition to being Pareto optimal. In this paper, we provide some insights on understanding the trade-off between Pareto efficiency and generalization as a result of parameterization in multi-task deep learning models. As a multi-objective optimization problem, enough parameterization is needed for handling task conflicts in a constrained solution space; however, from a multi-task generalization perspective, over-parameterization undermines the benefit of learning a shared representation which helps harder tasks or tasks with limited training examples. A delicate balance between multi-task generalization and multi-objective optimization is therefore needed for finding a better trade-off between efficiency and generalization. To this end, we propose a method of under-parameterized self-auxiliaries for multi-task models to achieve the best of both worlds. It is task-agnostic and works with other multi-task learning algorithms. Empirical results show that small towers of under-parameterized self-auxiliaries can make big differences in improving Pareto efficiency in various multi-task applications.
• Abstract（参考訳）: マルチタスク学習は、複数の機械学習タスクを同時に解決することを目指している。 マルチタスク学習問題に対する優れた解法は、Paretoの最適性に加えて一般化可能であるべきである。 本稿では,マルチタスク深層学習モデルにおけるパラメータ化の結果,パレート効率と一般化のトレードオフを理解するための洞察を提供する。 多目的最適化問題として、制約された解空間におけるタスク競合を扱うのに十分なパラメータ化が必要であるが、マルチタスクの一般化の観点からは、オーバーパラメータ化は、限られたトレーニング例で難しいタスクやタスクの学習を支援する共有表現の利点を損なう。 したがって、効率と一般化の間のより良いトレードオフを見つけるためには、マルチタスク一般化とマルチ目的最適化の微妙なバランスが必要である。 この目的を達成するために,マルチタスクモデルのためのパラメータの低い自己拡張手法を提案する。 タスクに依存しず、他のマルチタスク学習アルゴリズムと連携する。 実験結果から, パラメタライズド・セルフオリジリアの小さな塔は, 様々なマルチタスク・アプリケーションにおいてパレート効率の向上に大きな違いをもたらすことが示された。

関連論文リスト

• Multi-Task Learning with Multi-Task Optimization [31.518330903602095]
  最適化されているが、よく分散されたモデルの集合が、1つのアルゴリズムパスで異なるトレードオフを具現化していることを示す。 様々な問題設定を解決するために,マルチタスク最適化を用いたマルチタスク学習を提案する。
  論文  参考訳（メタデータ） (2024-03-24T14:04:40Z)
• Pareto Manifold Learning: Tackling multiple tasks via ensembles of single-task models [50.33956216274694]
  マルチタスク学習(MTL)では、タスクは、ソリューションへの最適化を導くのではなく、互いに達成したパフォーマンスを競い、制限することができる。 重み空間におけるアンサンブル手法であるTextitPareto Manifold Learningを提案する。
  論文  参考訳（メタデータ） (2022-10-18T11:20:54Z)
• Leveraging convergence behavior to balance conflicting tasks in multi-task learning [3.6212652499950138]
  マルチタスク学習は、パフォーマンスの一般化を改善するために相関タスクを使用する。 タスクは互いに衝突することが多いため、複数のタスクの勾配をどのように組み合わせるべきかを定義するのは難しい。 バックプロパゲーション中の各タスクの重要度を調整する動的バイアスを生成するために,勾配の時間的挙動を考慮した手法を提案する。
  論文  参考訳（メタデータ） (2022-04-14T01:52:34Z)
• In Defense of the Unitary Scalarization for Deep Multi-Task Learning [121.76421174107463]
  本稿では,多くの特殊マルチタスクを正規化の形式として解釈できることを示唆する理論解析について述べる。 標準正規化と安定化技術と組み合わせると、ユニタリスカラー化は複雑なマルチタスクの性能にマッチし、改善することを示す。
  論文  参考訳（メタデータ） (2022-01-11T18:44:17Z)
• Reparameterizing Convolutions for Incremental Multi-Task Learning without Task Interference [75.95287293847697]
  マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。 まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。 第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
  論文  参考訳（メタデータ） (2020-07-24T14:44:46Z)
• Knowledge Distillation for Multi-task Learning [38.20005345733544]
  マルチタスク学習(MTL)は、全てのタスクで優れたパフォーマンスを達成し、計算コストを下げるための複数のタスクを実行する単一のモデルを学習することである。 そのようなモデルを学ぶには、難易度、大きさ、特性の異なる一連のタスクの損失を共同で最適化する必要がある。 本研究では,マルチタスク学習における不均衡問題に対処するために,知識蒸留に基づく手法を提案する。
  論文  参考訳（メタデータ） (2020-07-14T08:02:42Z)
• Gradient Surgery for Multi-Task Learning [119.675492088251]
  マルチタスク学習は、複数のタスク間で構造を共有するための有望なアプローチとして登場した。 マルチタスク学習がシングルタスク学習と比較して難しい理由は、完全には理解されていない。 本稿では,他の作業の勾配の正規平面上にタスクの勾配を投影する勾配手術の一形態を提案する。
  論文  参考訳（メタデータ） (2020-01-19T06:33:47Z)
• Pareto Multi-Task Learning [53.90732663046125]
  マルチタスク学習は複数の相関タスクを同時に解くための強力な方法である。 異なるタスクが互いに衝突する可能性があるため、すべてのタスクを最適化するひとつのソリューションを見つけることは、しばしば不可能である。 近年,マルチタスク学習を多目的最適化として活用することにより,タスク間のトレードオフが良好である1つのパレート最適解を求める方法が提案されている。
  論文  参考訳（メタデータ） (2019-12-30T08:58:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。