論文の概要: GDOD: Effective Gradient Descent using Orthogonal Decomposition for Multi-Task Learning

• arxiv url: http://arxiv.org/abs/2301.13465v1
• Date: Tue, 31 Jan 2023 08:08:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-01 17:15:56.319546
• Title: GDOD: Effective Gradient Descent using Orthogonal Decomposition for Multi-Task Learning
• Title（参考訳）: GDOD:マルチタスク学習のための直交分解を用いた効果的なグラディエントDescence
• Authors: Xin Dong, Ruize Wu, Chao Xiong, Hai Li, Lei Cheng, Yong He, Shiyou Qian, Jian Cao, Linjian Mo
• Abstract要約: マルチタスク学習(MTL)は、複数のタスクを同時に解決することを目的としている。 MTLモデルは、複数のタスクを同時に学習するため、ネガティブな転送を伴うパフォーマンス劣化に悩まされることが多い。 本稿では,全タスクのスパンから分解ベースを用いて各タスクの勾配を演算する,GDODという新しいアプローチ MTL を提案する。
• 参考スコア（独自算出の注目度）: 19.6824860615578
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-task learning (MTL) aims at solving multiple related tasks simultaneously and has experienced rapid growth in recent years. However, MTL models often suffer from performance degeneration with negative transfer due to learning several tasks simultaneously. Some related work attributed the source of the problem is the conflicting gradients. In this case, it is needed to select useful gradient updates for all tasks carefully. To this end, we propose a novel optimization approach for MTL, named GDOD, which manipulates gradients of each task using an orthogonal basis decomposed from the span of all task gradients. GDOD decomposes gradients into task-shared and task-conflict components explicitly and adopts a general update rule for avoiding interference across all task gradients. This allows guiding the update directions depending on the task-shared components. Moreover, we prove the convergence of GDOD theoretically under both convex and non-convex assumptions. Experiment results on several multi-task datasets not only demonstrate the significant improvement of GDOD performed to existing MTL models but also prove that our algorithm outperforms state-of-the-art optimization methods in terms of AUC and Logloss metrics.
• Abstract（参考訳）: マルチタスク学習(MTL)は、複数のタスクを同時に解決することを目的としており、近年急速に成長している。 しかし、mtlモデルは複数のタスクを同時に学習することで、パフォーマンスの低下と負の転送に苦しむことが多い。 問題の原因は矛盾する勾配にあるとする関連研究もある。 この場合、すべてのタスクに対して有用な勾配更新を慎重に選択する必要がある。 そこで本研究では,全タスク勾配のスパンから分解した直交基底を用いて,各タスクの勾配を演算する,GDODという新しいMTL最適化手法を提案する。 GDODは、グラデーションをタスク共有コンポーネントとタスクコンフリクトコンポーネントに明示的に分解し、すべてのタスクグラデーション間の干渉を避けるための一般的な更新ルールを採用する。 これにより、タスク共有コンポーネントに応じて更新方向を案内できる。 さらに、gdod の収束を理論的に凸と非凸の両方の仮定の下で証明する。 複数のマルチタスクデータセットの実験結果から,既存のMTLモデルに対するGDODの大幅な改善を示すだけでなく,AUCとLoglossの指標を用いて,アルゴリズムが最先端の最適化手法より優れていることを示す。

関連論文リスト

• Bayesian Uncertainty for Gradient Aggregation in Multi-Task Learning [39.4348419684885]
  マルチタスク学習(MTL)は、複数のタスクを効率的に解決する単一のモデルを学習することを目的としている。 ベイジアン推論を用いた新しい勾配集約手法を提案する。 さまざまなデータセットで,アプローチのメリットを実証的に実証しています。
  論文  参考訳（メタデータ） (2024-02-06T14:00:43Z)
• Low-Rank Multitask Learning based on Tensorized SVMs and LSSVMs [65.42104819071444]
  マルチタスク学習(MTL)はタスク関連性を活用して性能を向上させる。 タスクインデックスに対応する各モードを持つ高次テンソルを用いて、複数のインデックスが参照するタスクを自然に表現する。 テンソル化サポートベクターマシン(SVM)と最小2乗サポートベクターマシン(LSSVM)を併用した低ランクMTL手法の汎用フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-30T14:28:26Z)
• FAMO: Fast Adaptive Multitask Optimization [48.59232177073481]
  本稿では,動的重み付け手法であるFast Adaptive Multitask Optimization FAMOを導入する。 この結果から,FAMOは最先端の勾配操作技術に匹敵する,あるいは優れた性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-06-06T15:39:54Z)
• Independent Component Alignment for Multi-Task Learning [2.5234156040689237]
  マルチタスク学習(MTL)では、複数のタスクに共同で取り組むために単一のモデルを訓練する。 MTL最適化の安定性基準として線形勾配系の条件数を用いる。 本稿では,提案基準に基づく新しいMTL最適化手法であるAligned-MTLを提案する。
  論文  参考訳（メタデータ） (2023-05-30T12:56:36Z)
• ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning [59.08197876733052]
  補助タスク学習(ATL)は、関連するタスクから得られる知識を活用することにより、目標タスクの性能を向上させることを目的としている。 複数のタスクを同時に学習すると、ターゲットタスクのみを学習するよりも精度が低下することがある。 ForkMergeは、モデルを定期的に複数のブランチにフォークし、タスクの重みを自動的に検索する新しいアプローチである。
  論文  参考訳（メタデータ） (2023-01-30T02:27:02Z)
• AdaTask: A Task-aware Adaptive Learning Rate Approach to Multi-task Learning [19.201899503691266]
  このパラメータ上の各タスクの総更新によって、パラメータのタスク支配度を測定する。 本稿では,各タスクの強調勾配と学習率を分離するタスクワイド適応学習率アプローチであるAdaTaskを提案する。 コンピュータビジョンとレコメンダシステムMTLデータセットの実験は、AdaTaskが支配的なタスクのパフォーマンスを大幅に改善することを示した。
  論文  参考訳（メタデータ） (2022-11-28T04:24:38Z)
• Multi-Task Learning as a Bargaining Game [63.49888996291245]
  マルチタスク学習(MTL)では、複数のタスクを同時に予測するためにジョイントモデルを訓練する。 これらの異なるタスクの勾配が矛盾する可能性があるため、MTLのジョイントモデルを訓練すると、対応するシングルタスクモデルよりも低いパフォーマンスが得られる。 本稿では,パラメータ更新のジョイント方向で合意に達するためのタスクを交渉する交渉ゲームとして,勾配の組み合わせステップを考察する。
  論文  参考訳（メタデータ） (2022-02-02T13:21:53Z)
• Conflict-Averse Gradient Descent for Multi-task Learning [56.379937772617]
  マルチタスクモデルを最適化する際の大きな課題は、矛盾する勾配である。 本稿では、平均損失関数を最小化する衝突-逆勾配降下(CAGrad)を導入する。 CAGradは目標を自動的にバランスし、平均損失よりも最小限に確実に収束する。
  論文  参考訳（メタデータ） (2021-10-26T22:03:51Z)
• Layerwise Optimization by Gradient Decomposition for Continual Learning [78.58714373218118]
  ディープニューラルネットワークは、様々な領域で最先端の超人的パフォーマンスを実現します。 タスクを逐次学習する場合、ネットワークは「破滅的忘れ」と呼ばれる過去のタスクの知識を忘れやすい。
  論文  参考訳（メタデータ） (2021-05-17T01:15:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。