論文の概要: Challenging Common Paradigms in Multi-Task Learning

• arxiv url: http://arxiv.org/abs/2311.04698v3
• Date: Wed, 27 Mar 2024 12:24:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-28 22:42:58.908440
• Title: Challenging Common Paradigms in Multi-Task Learning
• Title（参考訳）: マルチタスク学習における共通パラダイムの適応
• Authors: Cathrin Elich, Lukas Kirchdorfer, Jan M. Köhler, Lukas Schott,
• Abstract要約: 近年,MTL (Multi-task Learning) が注目されているが,その基盤となるメカニズムはよく分かっていない。 最近の手法では、単一タスク学習(STL)ベースラインよりも一貫した性能向上は得られなかった。 MTLにおけるAdamのような一般的なSTLツールの役割を示す。 STLとMTLの驚くべき類似性は、より広い文脈で両方の分野からの手法を検討することを示唆している。
• 参考スコア（独自算出の注目度）: 3.4748713192043876
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While multi-task learning (MTL) has gained significant attention in recent years, its underlying mechanisms remain poorly understood. Recent methods did not yield consistent performance improvements over single task learning (STL) baselines, underscoring the importance of gaining more profound insights about challenges specific to MTL. In our study, we challenge paradigms in MTL in the context of STL: First, the impact of the choice of optimizer has only been mildly investigated in MTL. We show the pivotal role of common STL tools such as the Adam optimizer in MTL empirically in various experiments. To further investigate Adam's effectiveness, we theoretical derive a partial loss-scale invariance under mild assumptions. Second, the notion of gradient conflicts has often been phrased as a specific problem in MTL. We delve into the role of gradient conflicts in MTL and compare it to STL. For angular gradient alignment we find no evidence that this is a unique problem in MTL. We emphasize differences in gradient magnitude as the main distinguishing factor. Lastly, we compare the transferability of features learned through MTL and STL on common image corruptions, and find light evidence that MTL can lead to superior transferability. Overall, we find surprising similarities between STL and MTL suggesting to consider methods from both fields in a broader context.
• Abstract（参考訳）: 近年,マルチタスク学習(MTL)が注目されているが,その基盤となるメカニズムはよく分かっていない。 最近の手法では、単一タスク学習(STL)ベースラインよりも一貫したパフォーマンス向上は得られず、MTL固有の課題についてより深い洞察を得ることの重要性が強調されている。 第一に、最適化器の選択による影響は、MLLにおいて緩やかに研究されているだけである。 我々は,様々な実験において,MTLにおけるAdam Optimizationrのような一般的なSTLツールの重要な役割を実証的に示す。 アダムの有効性をさらに調査するため、理論上は軽微な仮定の下で部分的に損失スケールの不変性を導出する。 第二に、勾配衝突の概念は、しばしばMTLの特定の問題として表現される。 MTLにおける勾配衝突の役割を探求し、STLと比較する。 角勾配アライメントに対しては、これが MTL の唯一の問題であることを示す証拠は見つからない。 主な差別化要因として,勾配の等級差を強調した。 最後に,MTL と STL を用いて学習した特徴の変換可能性を比較し,MTL がより優れた転送可能性をもたらすことを示す光証拠を見出した。 全体として、STLとMTLの驚くほどの類似性は、より広い文脈で両方の分野からの手法を検討することを示唆している。

関連論文リスト

• MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning [74.43869839954168]
  マルチタスク学習能力を大幅に向上させながら、低ランク適応の利点を保ちながら、MTL-LoRAを提案する。 MTL-LoRAは、タスク固有の情報を識別するタスク適応パラメータを追加することでLoRAを強化する。 このアプローチにより、汎用コーパス上で事前訓練された大規模言語モデル(LLM)が、限られた数のトレーニング可能なパラメータで異なるターゲットタスクドメインに適応できる。
  論文  参考訳（メタデータ） (2024-10-12T08:32:26Z)
• Can Optimization Trajectories Explain Multi-Task Transfer? [19.797036312370185]
  マルチタスク学習がディープラーニングの一般化に与える影響について検討する。 MTLは、単一タスクとマルチタスクの軌跡間の訓練損失に匹敵する一般化のギャップを生じる。 我々の研究は、MTLにおける障害の原因について光を当て、そして重要なことは、汎用マルチタスク最適化アルゴリズムの役割に関する疑問を提起する。
  論文  参考訳（メタデータ） (2024-08-26T22:57:01Z)
• MTLComb: multi-task learning combining regression and classification tasks for joint feature selection [3.708475728683911]
  マルチタスク学習(Multi-task learning、MTL)は、複数の通信アルゴリズムの同時学習を可能にする学習パラダイムである。 本稿では、回帰と分類タスクのバランスをとるための最適な重み付けを解析的に決定する、証明可能な損失重み付け手法を提案する。 MTLアルゴリズムとソフトウェアパッケージであるMTLCombを導入し、最適化手順、トレーニングプロトコル、ハイパーパラメータ推定手順を紹介する。
  論文  参考訳（メタデータ） (2024-05-16T08:07:25Z)
• Robust Analysis of Multi-Task Learning Efficiency: New Benchmarks on Light-Weighed Backbones and Effective Measurement of Multi-Task Learning Challenges by Feature Disentanglement [69.51496713076253]
  本稿では,既存のMTL手法の効率性に焦点をあてる。 バックボーンを小さくしたメソッドの大規模な実験と,MetaGraspNetデータセットを新しいテストグラウンドとして実施する。 また,MTLにおける課題の新規かつ効率的な識別子として,特徴分散尺度を提案する。
  論文  参考訳（メタデータ） (2024-02-05T22:15:55Z)
• Dive into the Chasm: Probing the Gap between In- and Cross-Topic Generalization [66.4659448305396]
  本研究は,3つの探索型実験を用いて種々のLMを解析し,In- vs. クロストピック一般化ギャップの背景にある理由を明らかにした。 はじめに、一般化ギャップと埋め込み空間の堅牢性は、LM間で大きく異なることを示した。
  論文  参考訳（メタデータ） (2024-02-02T12:59:27Z)
• Low-Rank Multitask Learning based on Tensorized SVMs and LSSVMs [65.42104819071444]
  マルチタスク学習(MTL)はタスク関連性を活用して性能を向上させる。 タスクインデックスに対応する各モードを持つ高次テンソルを用いて、複数のインデックスが参照するタスクを自然に表現する。 テンソル化サポートベクターマシン(SVM)と最小2乗サポートベクターマシン(LSSVM)を併用した低ランクMTL手法の汎用フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-30T14:28:26Z)
• When Multi-Task Learning Meets Partial Supervision: A Computer Vision Review [7.776434991976473]
  マルチタスク学習(MTL)は,相互関係を利用して複数のタスクを同時に学習することを目的としている。 このレビューは、これらの課題に対処するために、異なる部分的な監視設定の下でMTLをどのように活用するかに焦点を当てる。
  論文  参考訳（メタデータ） (2023-07-25T20:08:41Z)
• Equitable Multi-task Learning [18.65048321820911]
  マルチタスク学習(MTL)は、CV、NLP、IRといった様々な研究領域で大きな成功を収めている。 本稿では,EMTLという新しいマルチタスク最適化手法を提案する。 本手法は,2つの研究領域の公開ベンチマークデータセットにおいて,最先端の手法よりも安定して性能を向上する。
  論文  参考訳（メタデータ） (2023-06-15T03:37:23Z)
• "It's a Match!" -- A Benchmark of Task Affinity Scores for Joint Learning [74.14961250042629]
  MTL(Multi-Task Learning)は、その成功の条件を特徴づけることが、ディープラーニングにおいて依然としてオープンな問題である、と約束する。 共同学習におけるタスク親和性の推定は重要な取り組みである。 最近の研究は、訓練条件自体がMTLの結果に重大な影響を与えることを示唆している。 しかし,本研究では,タスク親和性評価手法の有効性を評価するためのベンチマークが欠落している。
  論文  参考訳（メタデータ） (2023-01-07T15:16:35Z)
• Improving Multi-Task Generalization via Regularizing Spurious Correlation [41.93623986464747]
  マルチタスク学習(MTL)は知識共有による一般化性能向上のための強力な学習パラダイムである。 本稿では,多タスクの知識を表現するフレームワークを提案し,各タスクにどのモジュールが因果関係であるかを学習する。 MTLモデルの性能をMulti-MNIST、MovieLens、Taskonomy、CityScape、NYUv2で平均5.5%向上させることができる。
  論文  参考訳（メタデータ） (2022-05-19T18:31:54Z)
• Multi-Task Learning as a Bargaining Game [63.49888996291245]
  マルチタスク学習(MTL)では、複数のタスクを同時に予測するためにジョイントモデルを訓練する。 これらの異なるタスクの勾配が矛盾する可能性があるため、MTLのジョイントモデルを訓練すると、対応するシングルタスクモデルよりも低いパフォーマンスが得られる。 本稿では,パラメータ更新のジョイント方向で合意に達するためのタスクを交渉する交渉ゲームとして,勾配の組み合わせステップを考察する。
  論文  参考訳（メタデータ） (2022-02-02T13:21:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。