論文の概要: Gradient Coordination for Quantifying and Maximizing Knowledge Transference in Multi-Task Learning

• arxiv url: http://arxiv.org/abs/2303.05847v1
• Date: Fri, 10 Mar 2023 10:42:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-13 15:21:56.788154
• Title: Gradient Coordination for Quantifying and Maximizing Knowledge Transference in Multi-Task Learning
• Title（参考訳）: マルチタスク学習における知識伝達の定量化と最大化のための勾配座標
• Authors: Xuanhua Yang, Jianxin Zhao, Shaoguo Liu, Liang Wang and Bo Zheng
• Abstract要約: マルチタスク学習(MTL)はオンライン広告やレコメンデーションシステムに広く応用されている。 本稿では,知識伝達を適応的に最大化する伝達駆動型アプローチCoGradを提案する。
• 参考スコア（独自算出の注目度）: 11.998475119120531
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-task learning (MTL) has been widely applied in online advertising and recommender systems. To address the negative transfer issue, recent studies have proposed optimization methods that thoroughly focus on the gradient alignment of directions or magnitudes. However, since prior study has proven that both general and specific knowledge exist in the limited shared capacity, overemphasizing on gradient alignment may crowd out task-specific knowledge, and vice versa. In this paper, we propose a transference-driven approach CoGrad that adaptively maximizes knowledge transference via Coordinated Gradient modification. We explicitly quantify the transference as loss reduction from one task to another, and then derive an auxiliary gradient from optimizing it. We perform the optimization by incorporating this gradient into original task gradients, making the model automatically maximize inter-task transfer and minimize individual losses. Thus, CoGrad can harmonize between general and specific knowledge to boost overall performance. Besides, we introduce an efficient approximation of the Hessian matrix, making CoGrad computationally efficient and simple to implement. Both offline and online experiments verify that CoGrad significantly outperforms previous methods.
• Abstract（参考訳）: マルチタスク学習(MTL)はオンライン広告やレコメンデーションシステムに広く応用されている。 負の伝達問題に対処するために、近年、方向や大きさの勾配アライメントを徹底的に重視する最適化手法が提案されている。 しかし、従来の研究では、共通知識と特定の知識の両方が共有能力に限られていることが証明されているため、勾配アライメントの過度な強調はタスク固有の知識を引き出す可能性があり、その逆もある。 本稿では,coordinated Gradient修飾による知識伝達を適応的に最大化する,伝達駆動型アプローチCoGradを提案する。 我々は、あるタスクから別のタスクへの損失減少として転送を明示的に定量化し、最適化から補助勾配を導出する。 この勾配を元のタスク勾配に組み込むことで最適化を行い、モデルが自動的にタスク間転送を最大化し、個々の損失を最小化する。 このように、CoGradは一般的な知識と特定の知識を調和させて全体的なパフォーマンスを高めることができる。 さらに,Hessian行列の効率的な近似を導入し,計算効率が高く,実装も簡単である。 オフラインとオンラインの両方の実験では、CoGradが従来の方法よりも大幅に優れていることが確認されている。

関連論文リスト

• Fair Resource Allocation in Multi-Task Learning [12.776767874217663]
  マルチタスク学習(MTL)はタスク間の共有知識を活用でき、データ効率と一般化性能が向上する。 MTLにおける大きな課題は、いくつかのタスクの公平な最適化を妨げる、矛盾する勾配の存在にある。 通信ネットワークにおける公平なリソース割り当てに着想を得て,新しいMTL最適化法であるFairGradを提案する。
  論文  参考訳（メタデータ） (2024-02-23T22:46:14Z)
• Adapting Step-size: A Unified Perspective to Analyze and Improve Gradient-based Methods for Adversarial Attacks [21.16546620434816]
  勾配に基づく逆学習手法の統一的理論的解釈を提供する。 これらのアルゴリズムのそれぞれが、実際には、元の勾配法の特定の再構成であることを示す。 正規勾配法に基づく適応勾配に基づくアルゴリズムの幅広いクラスを示す。
  論文  参考訳（メタデータ） (2023-01-27T06:17:51Z)
• Continuous-Time Meta-Learning with Forward Mode Differentiation [65.26189016950343]
  本稿では,勾配ベクトル場の力学に適応するメタ学習アルゴリズムであるContinuous Meta-Learning(COMLN)を紹介する。 学習プロセスをODEとして扱うことは、軌跡の長さが現在連続しているという顕著な利点を提供する。 本稿では,実行時とメモリ使用時の効率を実証的に示すとともに,いくつかの画像分類問題に対して有効性を示す。
  論文  参考訳（メタデータ） (2022-03-02T22:35:58Z)
• Efficient Differentiable Simulation of Articulated Bodies [89.64118042429287]
  本稿では, 音素の効率的な微分可能シミュレーション法を提案する。 これにより、ボディダイナミクスを深層学習フレームワークに統合することが可能になる。 提案手法を用いて, 調音システムによる強化学習を高速化できることを示す。
  論文  参考訳（メタデータ） (2021-09-16T04:48:13Z)
• Cogradient Descent for Dependable Learning [64.02052988844301]
  双線形最適化問題に対処するために,CoGDアルゴリズムに基づく信頼度の高い学習法を提案する。 CoGDは、ある変数がスパーシティ制約を持つ場合の双線形問題を解くために導入された。 また、特徴と重みの関連を分解するためにも使用できるため、畳み込みニューラルネットワーク(CNN)をより良く訓練するための我々の手法をさらに一般化することができる。
  論文  参考訳（メタデータ） (2021-06-20T04:28:20Z)
• Layerwise Optimization by Gradient Decomposition for Continual Learning [78.58714373218118]
  ディープニューラルネットワークは、様々な領域で最先端の超人的パフォーマンスを実現します。 タスクを逐次学習する場合、ネットワークは「破滅的忘れ」と呼ばれる過去のタスクの知識を忘れやすい。
  論文  参考訳（メタデータ） (2021-05-17T01:15:57Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。