論文の概要: Uniform Loss vs. Specialized Optimization: A Comparative Analysis in Multi-Task Learning

• arxiv url: http://arxiv.org/abs/2505.10347v1
• Date: Thu, 15 May 2025 14:34:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 22:29:06.357535
• Title: Uniform Loss vs. Specialized Optimization: A Comparative Analysis in Multi-Task Learning
• Title（参考訳）: 均一損失対特殊最適化:マルチタスク学習における比較分析
• Authors: Gabriel S. Gama, Valdir Grassi Jr,
• Abstract要約: マルチタスク学習におけるタスク学習のバランスをとる特殊マルチタスク(SMTO)。 近年の批判は、同様に重み付けされたタスクはSMTOと比較して競争的な結果が得られることを示唆している。
• 参考スコア（独自算出の注目度）: 2.4203904960939457
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Specialized Multi-Task Optimizers (SMTOs) balance task learning in Multi-Task Learning by addressing issues like conflicting gradients and differing gradient norms, which hinder equal-weighted task training. However, recent critiques suggest that equally weighted tasks can achieve competitive results compared to SMTOs, arguing that previous SMTO results were influenced by poor hyperparameter optimization and lack of regularization. In this work, we evaluate these claims through an extensive empirical evaluation of SMTOs, including some of the latest methods, on more complex multi-task problems to clarify this behavior. Our findings indicate that SMTOs perform well compared to uniform loss and that fixed weights can achieve competitive performance compared to SMTOs. Furthermore, we demonstrate why uniform loss perform similarly to SMTOs in some instances. The code will be made publicly available.
• Abstract（参考訳）: 特殊化マルチタスク最適化(SMTO)は、対等なタスクトレーニングを妨げる、矛盾する勾配や異なる勾配ノルムといった問題に対処することで、マルチタスク学習におけるタスク学習のバランスをとる。 しかし、近年の批判は、SMTOよりも重み付けされたタスクが競合する結果が得られることを示唆し、以前のSMTOの結果は低パラメータ最適化と正規化の欠如の影響を受けていると主張した。 本研究では,この動作を明らかにするために,より複雑なマルチタスク問題に対する最新の手法を含むSMTOの広範な評価を通じて,これらの主張を評価する。 その結果,SMTOは一様損失と比較して良好に動作し,固定重量はSMTOと比較して競争性能が向上することが示唆された。 さらに,一様損失がSMTOと類似した性能を示す例もある。 コードは公開されます。

関連論文リスト

• Gradient Deconfliction via Orthogonal Projections onto Subspaces For Multi-task Learning [25.003030920185026]
  本稿では,他のタスク固有の勾配にまたがる部分空間(GradOPS)への直交射影による勾配分解を提案する。 提案手法は,複数のデータセット上のタスク間で異なるトレードオフ戦略を持つ複数の最先端ソリューションを効果的に見つけることができる。
  論文  参考訳（メタデータ） (2025-03-05T12:13:08Z)
• Proactive Gradient Conflict Mitigation in Multi-Task Learning: A Sparse Training Perspective [33.477681689943516]
  マルチタスク学習における一般的な問題は、勾配衝突の発生である。 スパーストレーニング(ST)による紛争軽減戦略を提案する。 実験の結果,STは競合する勾配を効果的に緩和し,性能が向上することが示された。
  論文  参考訳（メタデータ） (2024-11-27T18:58:22Z)
• Dual-Balancing for Multi-Task Learning [42.613360970194734]
  本稿では、損失と勾配の両面からタスクバランスの問題を軽減するために、Dual-Balancing Multi-Task Learning (DB-MTL)法を提案する。 DB-MTLは、各タスク損失に対して対数変換を行うことで損失スケールの分散を保証し、すべてのタスク勾配を最大勾配基準と同じ大きさに正規化することで勾配磁度バランスを保証します。
  論文  参考訳（メタデータ） (2023-08-23T09:41:28Z)
• Equitable Multi-task Learning [18.65048321820911]
  マルチタスク学習(MTL)は、CV、NLP、IRといった様々な研究領域で大きな成功を収めている。 本稿では,EMTLという新しいマルチタスク最適化手法を提案する。 本手法は,2つの研究領域の公開ベンチマークデータセットにおいて,最先端の手法よりも安定して性能を向上する。
  論文  参考訳（メタデータ） (2023-06-15T03:37:23Z)
• ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning [59.08197876733052]
  補助タスク学習(ATL)は、関連するタスクから得られる知識を活用することにより、目標タスクの性能を向上させることを目的としている。 複数のタスクを同時に学習すると、ターゲットタスクのみを学習するよりも精度が低下することがある。 ForkMergeは、モデルを定期的に複数のブランチにフォークし、タスクの重みを自動的に検索する新しいアプローチである。
  論文  参考訳（メタデータ） (2023-01-30T02:27:02Z)
• "It's a Match!" -- A Benchmark of Task Affinity Scores for Joint Learning [74.14961250042629]
  MTL(Multi-Task Learning)は、その成功の条件を特徴づけることが、ディープラーニングにおいて依然としてオープンな問題である、と約束する。 共同学習におけるタスク親和性の推定は重要な取り組みである。 最近の研究は、訓練条件自体がMTLの結果に重大な影響を与えることを示唆している。 しかし,本研究では,タスク親和性評価手法の有効性を評価するためのベンチマークが欠落している。
  論文  参考訳（メタデータ） (2023-01-07T15:16:35Z)
• Multi-Task Learning as a Bargaining Game [63.49888996291245]
  マルチタスク学習(MTL)では、複数のタスクを同時に予測するためにジョイントモデルを訓練する。 これらの異なるタスクの勾配が矛盾する可能性があるため、MTLのジョイントモデルを訓練すると、対応するシングルタスクモデルよりも低いパフォーマンスが得られる。 本稿では,パラメータ更新のジョイント方向で合意に達するためのタスクを交渉する交渉ゲームとして,勾配の組み合わせステップを考察する。
  論文  参考訳（メタデータ） (2022-02-02T13:21:53Z)
• New Tight Relaxations of Rank Minimization for Multi-Task Learning [161.23314844751556]
  2つの正規化項に基づく2つの新しいマルチタスク学習定式化を提案する。 本手法は,タスク間で共有される低ランク構造を正確に復元し,関連するマルチタスク学習方法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-12-09T07:29:57Z)
• Multi-Task Learning for Dense Prediction Tasks: A Survey [87.66280582034838]
  マルチタスク学習(MTL)技術は、性能、計算、メモリフットプリントに関する有望な結果を示している。 我々は、コンピュータビジョンにおけるMLLのための最先端のディープラーニングアプローチについて、よく理解された視点を提供する。
  論文  参考訳（メタデータ） (2020-04-28T09:15:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。