論文の概要: Gradient Similarity Surgery in Multi-Task Deep Learning

• arxiv url: http://arxiv.org/abs/2506.06130v1
• Date: Fri, 06 Jun 2025 14:40:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.521214
• Title: Gradient Similarity Surgery in Multi-Task Deep Learning
• Title（参考訳）: マルチタスク深層学習におけるグラディエント類似性手術
• Authors: Thomas Borsani, Andrea Rosani, Giuseppe Nicosia, Giuseppe Di Fatta,
• Abstract要約: 本研究は、最適化過程を導くために、勾配等級類似度尺度に基づく新しい勾配手術法を導入する。 similarity-Aware Momentum Gradient Surgery (SAM-GS) は1次運動量の勾配等化と変調を採用する。
• 参考スコア（独自算出の注目度）: 1.2299544525529198
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The multi-task learning ($MTL$) paradigm aims to simultaneously learn multiple tasks within a single model capturing higher-level, more general hidden patterns that are shared by the tasks. In deep learning, a significant challenge in the backpropagation training process is the design of advanced optimisers to improve the convergence speed and stability of the gradient descent learning rule. In particular, in multi-task deep learning ($MTDL$) the multitude of tasks may generate potentially conflicting gradients that would hinder the concurrent convergence of the diverse loss functions. This challenge arises when the gradients of the task objectives have either different magnitudes or opposite directions, causing one or a few to dominate or to interfere with each other, thus degrading the training process. Gradient surgery methods address the problem explicitly dealing with conflicting gradients by adjusting the overall gradient trajectory. This work introduces a novel gradient surgery method, the Similarity-Aware Momentum Gradient Surgery (SAM-GS), which provides an effective and scalable approach based on a gradient magnitude similarity measure to guide the optimisation process. The SAM-GS surgery adopts gradient equalisation and modulation of the first-order momentum. A series of experimental tests have shown the effectiveness of SAM-GS on synthetic problems and $MTL$ benchmarks. Gradient magnitude similarity plays a crucial role in regularising gradient aggregation in $MTDL$ for the optimisation of the learning process.
• Abstract（参考訳）: マルチタスク学習(MTL$)パラダイムは、1つのモデル内で複数のタスクを同時に学習することを目的としており、タスクによって共有されるより高レベルで一般的な隠れパターンをキャプチャする。 ディープラーニングにおいて、バックプロパゲーショントレーニングプロセスにおける重要な課題は、勾配降下学習規則の収束速度と安定性を改善するための高度なオプティマイザの設計である。 特に、マルチタスク深層学習(MTDL$)では、多様な損失関数の同時収束を妨げる潜在的に矛盾する勾配が生じる可能性がある。 この課題は、タスク対象の勾配が大きさや方向が異なり、1つまたは少数が支配的になったり、相互に干渉したりすることで、トレーニングプロセスが劣化した場合に発生する。 グラディエント手術法は、全体的な勾配軌跡を調整することにより、矛盾する勾配に明示的に対処する問題に対処する。 本研究は, 最適化プロセスの指針となる勾配等級類似度尺度に基づく, 効果的かつスケーラブルなアプローチであるSAM-GS(Simisity-Aware Momentum Gradient Surgery)を導入する。 SAM-GS手術は1次運動量の勾配等化と変調を採用する。 SAM-GSが合成問題およびMTL$ベンチマークに与える影響を実験で示した。 グラディエント・マグニチュードの類似性は、学習プロセスの最適化のために、MTDL$でグラデーション・アグリゲーションを規則化する上で重要な役割を果たす。

関連論文リスト

• Fantastic Multi-Task Gradient Updates and How to Find Them In a Cone [14.702480423653984]
  我々は,制約付き最適化問題として定式化された,原則付き,スケーラブルで,堅牢なMTLアプローチであるConicGradを提案する。 本手法では, 傾き更新方向を動的に調節する角度制約を導入し, 全体目標の基準勾配を中心とする円錐内に収束させる。 我々は,標準的な教師付き学習と強化学習のMTLベンチマークに関する広範な実験を行い,様々なタスクにおいて,コニックグラッドが最先端のパフォーマンスを達成できることを実証した。
  論文  参考訳（メタデータ） (2025-01-31T23:11:12Z)
• Proactive Gradient Conflict Mitigation in Multi-Task Learning: A Sparse Training Perspective [33.477681689943516]
  マルチタスク学習における一般的な問題は、勾配衝突の発生である。 スパーストレーニング(ST)による紛争軽減戦略を提案する。 実験の結果,STは競合する勾配を効果的に緩和し,性能が向上することが示された。
  論文  参考訳（メタデータ） (2024-11-27T18:58:22Z)
• Classifier-guided Gradient Modulation for Enhanced Multimodal Learning [50.7008456698935]
  Gradient-Guided Modulation (CGGM) は,マルチモーダル学習と勾配のバランスをとる新しい手法である。 UPMC-Food 101, CMU-MOSI, IEMOCAP, BraTSの4つのマルチモーダルデータセットについて広範な実験を行った。 CGGMはすべてのベースラインや最先端のメソッドを一貫して上回る。
  論文  参考訳（メタデータ） (2024-11-03T02:38:43Z)
• Robust Analysis of Multi-Task Learning Efficiency: New Benchmarks on Light-Weighed Backbones and Effective Measurement of Multi-Task Learning Challenges by Feature Disentanglement [69.51496713076253]
  本稿では,既存のMTL手法の効率性に焦点をあてる。 バックボーンを小さくしたメソッドの大規模な実験と,MetaGraspNetデータセットを新しいテストグラウンドとして実施する。 また,MTLにおける課題の新規かつ効率的な識別子として,特徴分散尺度を提案する。
  論文  参考訳（メタデータ） (2024-02-05T22:15:55Z)
• Dual-Balancing for Multi-Task Learning [42.613360970194734]
  本稿では、損失と勾配の両面からタスクバランスの問題を軽減するために、Dual-Balancing Multi-Task Learning (DB-MTL)法を提案する。 DB-MTLは、各タスク損失に対して対数変換を行うことで損失スケールの分散を保証し、すべてのタスク勾配を最大勾配基準と同じ大きさに正規化することで勾配磁度バランスを保証します。
  論文  参考訳（メタデータ） (2023-08-23T09:41:28Z)
• One Step at a Time: Pros and Cons of Multi-Step Meta-Gradient Reinforcement Learning [61.662504399411695]
  より正確でロバストなメタ勾配信号を持つ複数の内部ステップを混合する新しい手法を提案する。 Snakeゲームに適用した場合、混合メタグラディエントアルゴリズムは、類似または高い性能を達成しつつ、その分散を3倍に削減することができる。
  論文  参考訳（メタデータ） (2021-10-30T08:36:52Z)
• Conflict-Averse Gradient Descent for Multi-task Learning [56.379937772617]
  マルチタスクモデルを最適化する際の大きな課題は、矛盾する勾配である。 本稿では、平均損失関数を最小化する衝突-逆勾配降下(CAGrad)を導入する。 CAGradは目標を自動的にバランスし、平均損失よりも最小限に確実に収束する。
  論文  参考訳（メタデータ） (2021-10-26T22:03:51Z)
• Gradient Surgery for Multi-Task Learning [119.675492088251]
  マルチタスク学習は、複数のタスク間で構造を共有するための有望なアプローチとして登場した。 マルチタスク学習がシングルタスク学習と比較して難しい理由は、完全には理解されていない。 本稿では,他の作業の勾配の正規平面上にタスクの勾配を投影する勾配手術の一形態を提案する。
  論文  参考訳（メタデータ） (2020-01-19T06:33:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。