論文の概要: MaxGNR: A Dynamic Weight Strategy via Maximizing Gradient-to-Noise Ratio for Multi-Task Learning

• arxiv url: http://arxiv.org/abs/2302.09352v1
• Date: Sat, 18 Feb 2023 14:50:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-21 19:05:19.825879
• Title: MaxGNR: A Dynamic Weight Strategy via Maximizing Gradient-to-Noise Ratio for Multi-Task Learning
• Title（参考訳）: maxgnr:マルチタスク学習のための勾配-雑音比最大化による動的重み付け戦略
• Authors: Caoyun Fan, Wenqing Chen, Jidong Tian, Yitian Li, Hao He, Yaohui Jin
• Abstract要約: コンピュータビジョンでは、マルチタスク学習(MTL)はシングルタスク学習(STL)より優れている。 MTLシナリオでは、タスク間グラディエントノイズ(ITGN)が各タスクの勾配ノイズの付加源となる。 我々は、各タスクのITGN干渉を軽減するために、MaxGNRアルゴリズムを設計する。
• 参考スコア（独自算出の注目度）: 19.38778317110205
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When modeling related tasks in computer vision, Multi-Task Learning (MTL) can outperform Single-Task Learning (STL) due to its ability to capture intrinsic relatedness among tasks. However, MTL may encounter the insufficient training problem, i.e., some tasks in MTL may encounter non-optimal situation compared with STL. A series of studies point out that too much gradient noise would lead to performance degradation in STL, however, in the MTL scenario, Inter-Task Gradient Noise (ITGN) is an additional source of gradient noise for each task, which can also affect the optimization process. In this paper, we point out ITGN as a key factor leading to the insufficient training problem. We define the Gradient-to-Noise Ratio (GNR) to measure the relative magnitude of gradient noise and design the MaxGNR algorithm to alleviate the ITGN interference of each task by maximizing the GNR of each task. We carefully evaluate our MaxGNR algorithm on two standard image MTL datasets: NYUv2 and Cityscapes. The results show that our algorithm outperforms the baselines under identical experimental conditions.
• Abstract（参考訳）: コンピュータビジョンにおける関連タスクをモデル化する場合、タスク間の固有の関連性を捉える能力により、マルチタスク学習(MTL)はシングルタスク学習(STL)より優れている。 しかし、MTLは訓練に不十分な問題、すなわち、MTLのタスクは、STLと比較して最適でない状況に遭遇する可能性がある。 一連の研究は、過度に勾配ノイズがSTLの性能劣化を引き起こすことを指摘しているが、MTLシナリオでは、タスク間勾配ノイズ(ITGN)は各タスクに対する勾配ノイズの付加源であり、最適化プロセスにも影響を及ぼす可能性がある。 本稿では、ITGNがトレーニングの不十分な問題に繋がる重要な要因であると指摘する。 グラディエント・トゥ・ノイズ比(GNR)を定義し、勾配雑音の相対的な大きさを測定し、マックスGNRアルゴリズムを設計し、各タスクのGNRを最大化することで各タスクのITGN干渉を軽減する。 我々は、標準画像MTLデータセットであるNYUv2とCityscapesで、MaxGNRアルゴリズムを慎重に評価する。 その結果,本アルゴリズムは,同じ実験条件下でのベースラインよりも優れていた。

関連論文リスト

• Fair Resource Allocation in Multi-Task Learning [15.094058684565702]
  マルチタスク学習(MTL)はタスク間の共有知識を活用でき、データ効率と一般化性能が向上する。 MTLにおける大きな課題は、いくつかのタスクの公平な最適化を妨げる、矛盾する勾配の存在にある。 通信ネットワークにおける公平なリソース割り当てに着想を得て,新しいMTL最適化法であるFairGradを提案する。
  論文  参考訳（メタデータ） (2024-02-23T22:46:14Z)
• Robust Analysis of Multi-Task Learning on a Complex Vision System [73.65915899030895]
  マルチタスク学習(MTL)は過去10年間に広く研究されてきた。 複雑な実世界のシナリオにおけるパフォーマンスについて、まだ深く理解されていない。
  論文  参考訳（メタデータ） (2024-02-05T22:15:55Z)
• Robust Multi-Task Learning with Excess Risks [25.758872841433877]
  マルチタスク学習(MTL)は、全てのタスク損失の凸結合を最適化することにより、複数のタスクのジョイントモデルを学ぶことを検討する。 既存の方法は適応的な重み更新方式を用いており、各損失に基づいてタスク重みを動的に調整し、困難なタスクを優先順位付けする。 本稿では,過度リスクに基づくタスクバランス手法であるMulti-Task Learning with Excess Risks (ExcessMTL)を提案する。
  論文  参考訳（メタデータ） (2024-02-03T03:46:14Z)
• Low-Rank Multitask Learning based on Tensorized SVMs and LSSVMs [65.42104819071444]
  マルチタスク学習(MTL)はタスク関連性を活用して性能を向上させる。 タスクインデックスに対応する各モードを持つ高次テンソルを用いて、複数のインデックスが参照するタスクを自然に表現する。 テンソル化サポートベクターマシン(SVM)と最小2乗サポートベクターマシン(LSSVM)を併用した低ランクMTL手法の汎用フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-30T14:28:26Z)
• Sample-Level Weighting for Multi-Task Learning with Auxiliary Tasks [0.0]
  マルチタスク学習(MTL)は、関連するタスクと表現を共有することにより、ニューラルネットワークの一般化性能を向上させることができる。 MTLはまた、タスク間の有害な干渉によってパフォーマンスを低下させる。 補助タスクを用いたマルチタスク学習のためのサンプルレベル重み付けアルゴリズムであるSLGradを提案する。
  論文  参考訳（メタデータ） (2023-06-07T15:29:46Z)
• FAMO: Fast Adaptive Multitask Optimization [48.59232177073481]
  本稿では,動的重み付け手法であるFast Adaptive Multitask Optimization FAMOを導入する。 この結果から,FAMOは最先端の勾配操作技術に匹敵する,あるいは優れた性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-06-06T15:39:54Z)
• M$^3$ViT: Mixture-of-Experts Vision Transformer for Efficient Multi-task Learning with Model-Accelerator Co-design [95.41238363769892]
  マルチタスク学習(MTL)は、複数の学習タスクを単一のモデルにカプセル化し、それらのタスクを共同でよりよく学習できるようにする。 現在のMTLレギュレータは、1つのタスクだけを実行するためにさえ、ほぼすべてのモデルを起動する必要がある。 効率的なオンデバイスMTLを実現するためのモデル-アクセラレータ共設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-26T15:40:24Z)
• Multi-Task Learning as a Bargaining Game [63.49888996291245]
  マルチタスク学習(MTL)では、複数のタスクを同時に予測するためにジョイントモデルを訓練する。 これらの異なるタスクの勾配が矛盾する可能性があるため、MTLのジョイントモデルを訓練すると、対応するシングルタスクモデルよりも低いパフォーマンスが得られる。 本稿では,パラメータ更新のジョイント方向で合意に達するためのタスクを交渉する交渉ゲームとして,勾配の組み合わせステップを考察する。
  論文  参考訳（メタデータ） (2022-02-02T13:21:53Z)
• Conflict-Averse Gradient Descent for Multi-task Learning [56.379937772617]
  マルチタスクモデルを最適化する際の大きな課題は、矛盾する勾配である。 本稿では、平均損失関数を最小化する衝突-逆勾配降下(CAGrad)を導入する。 CAGradは目標を自動的にバランスし、平均損失よりも最小限に確実に収束する。
  論文  参考訳（メタデータ） (2021-10-26T22:03:51Z)
• SLAW: Scaled Loss Approximate Weighting for Efficient Multi-Task Learning [0.0]
  マルチタスク学習(MTL)は、機械学習のサブフィールドであり、重要な応用がある。 最適MTL最適化法は、各タスクの損失関数の勾配を個別に計算する必要がある。 マルチタスク最適化手法であるScaled Loss Approximate Weighting (SLAW)を提案する。
  論文  参考訳（メタデータ） (2021-09-16T20:58:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。