論文の概要: SAMO: A Lightweight Sharpness-Aware Approach for Multi-Task Optimization with Joint Global-Local Perturbation
- arxiv url: http://arxiv.org/abs/2507.07883v1
- Date: Thu, 10 Jul 2025 16:06:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-11 16:40:15.482401
- Title: SAMO: A Lightweight Sharpness-Aware Approach for Multi-Task Optimization with Joint Global-Local Perturbation
- Title（参考訳）: SAMO:グローバル・ローカル同時摂動を用いたマルチタスク最適化のための軽量シャープネス認識手法
- Authors: Hao Ban, Gokul Ram Subramani, Kaiyi Ji,
- Abstract要約: SAM(Sharpness-aware minimization)は、タスクの損失を最小限に抑えつつ、損失ランドスケープのシャープさを小さくする。
我々は,軽量な textbfSharpness-textbfAware textbfMulti-task textbfOptimization アプローチである SAMO を提案する。
- 参考スコア（独自算出の注目度）: 11.368244787718673
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-task learning (MTL) enables a joint model to capture commonalities across multiple tasks, reducing computation costs and improving data efficiency. However, a major challenge in MTL optimization is task conflicts, where the task gradients differ in direction or magnitude, limiting model performance compared to single-task counterparts. Sharpness-aware minimization (SAM) minimizes task loss while simultaneously reducing the sharpness of the loss landscape. Our empirical observations show that SAM effectively mitigates task conflicts in MTL. Motivated by these findings, we explore integrating SAM into MTL but face two key challenges. While both the average loss gradient and individual task gradients-referred to as global and local information-contribute to SAM, how to combine them remains unclear. Moreover, directly computing each task gradient introduces significant computational and memory overheads. To address these challenges, we propose SAMO, a lightweight \textbf{S}harpness-\textbf{A}ware \textbf{M}ulti-task \textbf{O}ptimization approach, that leverages a joint global-local perturbation. The local perturbations are approximated using only forward passes and are layerwise normalized to improve efficiency. Extensive experiments on a suite of multi-task benchmarks demonstrate both the effectiveness and efficiency of our method. Code is available at https://github.com/OptMN-Lab/SAMO.
- Abstract（参考訳）: マルチタスク学習(MTL)は、複数のタスクをまたいだ共通性をキャプチャし、計算コストを削減し、データ効率を向上するジョイントモデルを可能にする。
しかし、MTL最適化の大きな課題はタスク競合であり、タスク勾配は方向や大きさが異なり、シングルタスクに比べてモデル性能が制限される。
SAM(Sharpness-aware minimization)は、タスクの損失を最小限に抑えつつ、損失ランドスケープのシャープさを小さくする。
我々の経験的観察から,SAM は MTL におけるタスク競合を効果的に軽減することが示された。
これらの知見に触発されて,SAMをMTLに統合する検討を行ったが,大きな課題が2つあった。
平均損失勾配と個別タスク勾配は、SAMにグローバルおよびローカルな情報提供として参照されるが、どのように組み合わせるかは定かではない。
さらに、各タスク勾配を直接計算することで、計算とメモリのオーバーヘッドが大幅に増大する。
これらの課題に対処するために,グローバル局所摂動を用いた軽量な \textbf{S}harpness-\textbf{A}ware \textbf{M}ulti-task \textbf{O}ptimization アプローチである SAMO を提案する。
局所摂動はフォワードパスのみを用いて近似され、効率を向上させるために階層的に正規化される。
マルチタスク・ベンチマークのスイートにおける大規模な実験により,本手法の有効性と有効性が実証された。
コードはhttps://github.com/OptMN-Lab/SAMOで入手できる。
関連論文リスト
- Every SAM Drop Counts: Embracing Semantic Priors for Multi-Modality Image Fusion and Beyond [52.486290612938895]
本稿では,Segment Anything Model (SAM) のセグメンテーションモデルからのセグメンテーション知識を利用して,融合結果の質を向上し,下流タスク適応性を実現する手法を提案する。
具体的には、SAMから高レベルなセマンティック・セマンティック・セマンティック・セマンティック・セマンティック・アテンション(SPA)モジュールを抽出し、永続リポジトリを介してソース情報を効率的に保持する。
本手法は,実運用効率を維持しつつ,高品質な視覚結果と下流タスク適応性のバランスを実現する。
論文 参考訳（メタデータ） (2025-03-03T06:16:31Z) - Why Train Everything? Tint a Single Layer for Multi-task Model Merging [17.496018757317824]
モデルマージは独立して微調整されたモデルを単一のマルチタスクモデルに統合し、ジョイントトレーニングの柔軟な代替手段を提供する。
多くの既存のモデルマージ手法は、追加のタスク固有のコンポーネントを導入し、複雑さを増し、追加の修正を必要とする。
単一のレイヤだけを更新することで、モデルマージを改善する軽量かつ高効率なアプローチであるModel Tintingを提案する。
論文 参考訳（メタデータ） (2024-12-26T07:42:06Z) - Data-CUBE: Data Curriculum for Instruction-based Sentence Representation
Learning [85.66907881270785]
本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。
タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。
インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
論文 参考訳（メタデータ） (2024-01-07T18:12:20Z) - Dual-Balancing for Multi-Task Learning [42.613360970194734]
本稿では、損失と勾配の両面からタスクバランスの問題を軽減するために、Dual-Balancing Multi-Task Learning (DB-MTL)法を提案する。
DB-MTLは、各タスク損失に対して対数変換を行うことで損失スケールの分散を保証し、すべてのタスク勾配を最大勾配基準と同じ大きさに正規化することで勾配磁度バランスを保証します。
論文 参考訳（メタデータ） (2023-08-23T09:41:28Z) - Systematic Investigation of Sparse Perturbed Sharpness-Aware
Minimization Optimizer [158.2634766682187]
ディープニューラルネットワークは、複雑で非構造的なロスランドスケープのため、しばしば一般化の貧弱さに悩まされる。
SharpnessAware Minimization (SAM) は、摂動を加える際の景観の変化を最小限に抑えることで損失を平滑化するポピュラーなソリューションである。
本稿では,二元マスクによる摂動を効果的かつ効果的に行う訓練手法であるスパースSAMを提案する。
論文 参考訳（メタデータ） (2023-06-30T09:33:41Z) - Equitable Multi-task Learning [18.65048321820911]
マルチタスク学習(MTL)は、CV、NLP、IRといった様々な研究領域で大きな成功を収めている。
本稿では,EMTLという新しいマルチタスク最適化手法を提案する。
本手法は,2つの研究領域の公開ベンチマークデータセットにおいて,最先端の手法よりも安定して性能を向上する。
論文 参考訳（メタデータ） (2023-06-15T03:37:23Z) - Improved Deep Neural Network Generalization Using m-Sharpness-Aware
Minimization [14.40189851070842]
シャープネス・アウェア最小化(SAM)は、基礎となる損失関数を修正し、フラットなミニマへ導出する方法を導出する。
近年の研究ではmSAMがSAMよりも精度が高いことが示唆されている。
本稿では,様々なタスクやデータセットにおけるmSAMの包括的評価について述べる。
論文 参考訳（メタデータ） (2022-12-07T00:37:55Z) - Make Sharpness-Aware Minimization Stronger: A Sparsified Perturbation
Approach [132.37966970098645]
人気のソリューションの1つがSAM(Sharpness-Aware Minimization)であり、摂動を加える際の体重減少の変化を最小限に抑える。
本稿では,Sparse SAM (SSAM) とよばれる効率的な学習手法を提案する。
さらに、S が同じSAM、すなわち $O(log T/sqrtTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTT で収束できることを理論的に証明する。
論文 参考訳（メタデータ） (2022-10-11T06:30:10Z) - Multi-Task Learning as a Bargaining Game [63.49888996291245]
マルチタスク学習(MTL)では、複数のタスクを同時に予測するためにジョイントモデルを訓練する。
これらの異なるタスクの勾配が矛盾する可能性があるため、MTLのジョイントモデルを訓練すると、対応するシングルタスクモデルよりも低いパフォーマンスが得られる。
本稿では,パラメータ更新のジョイント方向で合意に達するためのタスクを交渉する交渉ゲームとして,勾配の組み合わせステップを考察する。
論文 参考訳（メタデータ） (2022-02-02T13:21:53Z) - SLAW: Scaled Loss Approximate Weighting for Efficient Multi-Task
Learning [0.0]
マルチタスク学習(MTL)は、機械学習のサブフィールドであり、重要な応用がある。
最適MTL最適化法は、各タスクの損失関数の勾配を個別に計算する必要がある。
マルチタスク最適化手法であるScaled Loss Approximate Weighting (SLAW)を提案する。
論文 参考訳（メタデータ） (2021-09-16T20:58:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。