論文の概要: Learning Task-preferred Inference Routes for Gradient De-conflict in Multi-output DNNs

• arxiv url: http://arxiv.org/abs/2305.19844v1
• Date: Wed, 31 May 2023 13:32:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 16:20:30.040317
• Title: Learning Task-preferred Inference Routes for Gradient De-conflict in Multi-output DNNs
• Title（参考訳）: 多出力DNNにおけるグラディエントデコンフリクトのためのタスク優先推論経路の学習
• Authors: Yi Sun, Xin Xu, Jian Li, Xiaochang Hu, Yifei Shi, Ling-Li Zeng
• Abstract要約: マルチ出力ディープニューラルネットワークは複数のタスクブランチを含む。 これらのタスクは、通常、異なるタスク推論経路の絡み合いにつながる部分的なネットワークフィルタを共有する。 本研究では,DR-MGFという新しい勾配分解アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 19.93508108127782
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-output deep neural networks(MONs) contain multiple task branches, and these tasks usually share partial network filters that lead to the entanglement of different task inference routes. Due to the inconsistent optimization objectives, the task gradients used for training MONs will interfere with each other on the shared routes, which will decrease the overall model performance. To address this issue, we propose a novel gradient de-conflict algorithm named DR-MGF(Dynamic Routes and Meta-weighted Gradient Fusion) in this work. Different from existing de-conflict methods, DR-MGF achieves gradient de-conflict in MONs by learning task-preferred inference routes. The proposed method is motivated by our experimental findings: the shared filters are not equally important to different tasks. By designing the learnable task-specific importance variables, DR-MGF evaluates the importance of filters for different tasks. Through making the dominances of tasks over filters be proportional to the task-specific importance of filters, DR-MGF can effectively reduce the inter-task interference. The task-specific importance variables ultimately determine task-preferred inference routes at the end of training iterations. Extensive experimental results on CIFAR, ImageNet, and NYUv2 illustrate that DR-MGF outperforms the existing de-conflict methods both in prediction accuracy and convergence speed of MONs. Furthermore, DR-MGF can be extended to general MONs without modifying the overall network structures.
• Abstract（参考訳）: マルチ出力ディープニューラルネットワーク(MON)は複数のタスクブランチを含み、これらのタスクは通常、異なるタスク推論経路の絡み合う部分的なネットワークフィルタを共有する。 不整合最適化の目的のため、monのトレーニングに使用されるタスク勾配は共有ルート上で互いに干渉し、全体のモデル性能が低下する。 そこで本研究では,DR-MGF (Dynamic Routes and Meta-weighted Gradient Fusion) と呼ばれる新しい勾配分解アルゴリズムを提案する。 既存のde-conflict法とは異なり、DR-MGFはタスク優先推論経路を学習することでMONの勾配de-conflictを達成する。 提案手法は実験結果によるものである: 共有フィルタは異なるタスクに対して等しく重要ではない。 学習可能なタスク固有の重要変数を設計することで、dr-mgfは異なるタスクに対するフィルタの重要性を評価する。 フィルタ上のタスクの優位をフィルタのタスク固有の重要性に比例させることで、dr-mgfはタスク間干渉を効果的に低減することができる。 タスク固有の重要変数は、最終的にトレーニングイテレーションの終了時にタスク優先の推論経路を決定する。 CIFAR、ImageNet、NYUv2の大規模な実験結果によると、DR-MGFはMONの予測精度と収束速度の両方において既存の非衝突法よりも優れている。 さらに、dr-mgfは全体のネットワーク構造を変更することなく、一般的なmonsに拡張できる。

関連論文リスト

• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• Deep Task-specific Bottom Representation Network for Multi-Task Recommendation [36.128708266100645]
  本稿では,Deep Task-specific Bottom Representation Network (DTRN)を提案する。 提案した2つのモジュールは、タスクの相互干渉を緩和するためにタスク固有のボトム表現を得る目的を達成することができる。
  論文  参考訳（メタデータ） (2023-08-11T08:04:43Z)
• Mitigating Task Interference in Multi-Task Learning via Explicit Task Routing with Non-Learnable Primitives [19.90788777476128]
  マルチタスク学習(MTL)は、タスク間の共有情報を活用することで、複数のタスクを達成するための単一のモデルを学ぶことを目指している。 既存のMLLモデルはタスク間の負の干渉に悩まされていることが知られている。 本研究では,非学習可能なプリミティブと明示的なタスクルーティングの相乗的組み合わせによるタスク干渉を軽減するためのETR-NLPを提案する。
  論文  参考訳（メタデータ） (2023-08-03T22:34:16Z)
• Sample-Level Weighting for Multi-Task Learning with Auxiliary Tasks [0.0]
  マルチタスク学習(MTL)は、関連するタスクと表現を共有することにより、ニューラルネットワークの一般化性能を向上させることができる。 MTLはまた、タスク間の有害な干渉によってパフォーマンスを低下させる。 補助タスクを用いたマルチタスク学習のためのサンプルレベル重み付けアルゴリズムであるSLGradを提案する。
  論文  参考訳（メタデータ） (2023-06-07T15:29:46Z)
• FedGradNorm: Personalized Federated Gradient-Normalized Multi-Task Learning [50.756991828015316]
  マルチタスク学習(MTL)は、1つの共有ネットワークで複数のタスクを同時に学習する新しいフレームワークである。 本稿では,異なるタスク間の学習速度のバランスをとるために,動的重み付け法を用いてノルムの正規化を行うFedGradNormを提案する。
  論文  参考訳（メタデータ） (2022-03-24T17:43:12Z)
• Multi-Task Learning as a Bargaining Game [63.49888996291245]
  マルチタスク学習(MTL)では、複数のタスクを同時に予測するためにジョイントモデルを訓練する。 これらの異なるタスクの勾配が矛盾する可能性があるため、MTLのジョイントモデルを訓練すると、対応するシングルタスクモデルよりも低いパフォーマンスが得られる。 本稿では,パラメータ更新のジョイント方向で合意に達するためのタスクを交渉する交渉ゲームとして,勾配の組み合わせステップを考察する。
  論文  参考訳（メタデータ） (2022-02-02T13:21:53Z)
• Conflict-Averse Gradient Descent for Multi-task Learning [56.379937772617]
  マルチタスクモデルを最適化する際の大きな課題は、矛盾する勾配である。 本稿では、平均損失関数を最小化する衝突-逆勾配降下(CAGrad)を導入する。 CAGradは目標を自動的にバランスし、平均損失よりも最小限に確実に収束する。
  論文  参考訳（メタデータ） (2021-10-26T22:03:51Z)
• Multi-task Over-the-Air Federated Learning: A Non-Orthogonal Transmission Approach [52.85647632037537]
  複数の学習タスクがエッジサーバ(ES)の協調の下でデータ収集および学習モデルのためのエッジデバイスを共有するマルチタスク・オーバーテア・フェデレーション・ラーニング(MOAFL)フレームワークを提案する。 収束解析と数値計算の両方の結果から,MOAFLフレームワークは学習性能を著しく低下させることなく,複数のタスクのアップリンク帯域幅の消費を大幅に削減できることが示された。
  論文  参考訳（メタデータ） (2021-06-27T13:09:32Z)
• Reparameterizing Convolutions for Incremental Multi-Task Learning without Task Interference [75.95287293847697]
  マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。 まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。 第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
  論文  参考訳（メタデータ） (2020-07-24T14:44:46Z)
• Deeper Task-Specificity Improves Joint Entity and Relation Extraction [0.0]
  マルチタスク学習(MTL)は、関連するタスクを学習するための効果的な方法であるが、MTLモデルを設計するには、どのパラメータをタスク固有のものにするかを決定する必要がある。 本稿では,従来の作業よりも深いタスク特異性を実現するニューラルアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-02-15T18:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。