論文の概要: NTKMTL: Mitigating Task Imbalance in Multi-Task Learning from Neural Tangent Kernel Perspective

• arxiv url: http://arxiv.org/abs/2510.18258v1
• Date: Tue, 21 Oct 2025 03:29:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:12.841554
• Title: NTKMTL: Mitigating Task Imbalance in Multi-Task Learning from Neural Tangent Kernel Perspective
• Title（参考訳）: NTKMTL:ニューラルタンジェントカーネルから見たマルチタスク学習におけるタスク不均衡の軽減
• Authors: Xiaohan Qin, Xiaoxing Wang, Ning Liao, Junchi Yan,
• Abstract要約: マルチタスク学習(MTL)は、1つのモデルで複数のタスクを同時に学習することを可能にする。 MTLにおけるタスクの不均衡は依然として大きな課題である。 NTKMTL という新しい MTL 法を提案し,MTL のトレーニングダイナミクスを解析する。
• 参考スコア（独自算出の注目度）: 58.345210583013454
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-Task Learning (MTL) enables a single model to learn multiple tasks simultaneously, leveraging knowledge transfer among tasks for enhanced generalization, and has been widely applied across various domains. However, task imbalance remains a major challenge in MTL. Although balancing the convergence speeds of different tasks is an effective approach to address this issue, it is highly challenging to accurately characterize the training dynamics and convergence speeds of multiple tasks within the complex MTL system. To this end, we attempt to analyze the training dynamics in MTL by leveraging Neural Tangent Kernel (NTK) theory and propose a new MTL method, NTKMTL. Specifically, we introduce an extended NTK matrix for MTL and adopt spectral analysis to balance the convergence speeds of multiple tasks, thereby mitigating task imbalance. Based on the approximation via shared representation, we further propose NTKMTL-SR, achieving training efficiency while maintaining competitive performance. Extensive experiments demonstrate that our methods achieve state-of-the-art performance across a wide range of benchmarks, including both multi-task supervised learning and multi-task reinforcement learning. Source code is available at https://github.com/jianke0604/NTKMTL.
• Abstract（参考訳）: マルチタスク学習(MTL)は,タスク間の知識伝達を利用して複数のタスクを同時に学習することを可能にし,様々な領域に広く適用されている。 しかし、MTLにおけるタスクの不均衡は依然として大きな課題である。 異なるタスクの収束速度のバランスはこの問題に対処するための効果的なアプローチであるが、複雑なMTLシステム内の複数のタスクのトレーニングダイナミクスと収束速度を正確に特徴付けることは極めて困難である。 そこで我々は,ニューラル・タンジェント・カーネル(NTK)理論を利用して,MTLのトレーニング力学を解析し,新しいMTL手法NTKMTLを提案する。 具体的には、MTLのための拡張NTK行列を導入し、スペクトル分析を用いて複数のタスクの収束速度のバランスを取り、タスクの不均衡を緩和する。 さらに,共有表現による近似に基づいて,NTKMTL-SRを提案する。 大規模実験により,マルチタスク教師付き学習とマルチタスク強化学習の両方を含む,幅広いベンチマークにおける最先端性能が実証された。 ソースコードはhttps://github.com/jianke0604/NTKMTLで入手できる。

関連論文リスト

• ModalPrompt: Towards Efficient Multimodal Continual Instruction Tuning with Dual-Modality Guided Prompt [51.71932333475573]
  大規模マルチモーダルモデル(LMM)は、混合命令データセットを学習することで、顕著なマルチタスク能力を示す。 既存のMCITメソッドはLMMのユニークな属性を完全に活用していない。 本稿では,従来の知識の忘れを効果的に緩和する,MCITのための新しい素早い学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-08T09:35:37Z)
• Fair Resource Allocation in Multi-Task Learning [12.776767874217663]
  マルチタスク学習(MTL)はタスク間の共有知識を活用でき、データ効率と一般化性能が向上する。 MTLにおける大きな課題は、いくつかのタスクの公平な最適化を妨げる、矛盾する勾配の存在にある。 通信ネットワークにおける公平なリソース割り当てに着想を得て,新しいMTL最適化法であるFairGradを提案する。
  論文  参考訳（メタデータ） (2024-02-23T22:46:14Z)
• Low-Rank Multitask Learning based on Tensorized SVMs and LSSVMs [65.42104819071444]
  マルチタスク学習(MTL)はタスク関連性を活用して性能を向上させる。 タスクインデックスに対応する各モードを持つ高次テンソルを用いて、複数のインデックスが参照するタスクを自然に表現する。 テンソル化サポートベクターマシン(SVM)と最小2乗サポートベクターマシン(LSSVM)を併用した低ランクMTL手法の汎用フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-30T14:28:26Z)
• Equitable Multi-task Learning [18.65048321820911]
  マルチタスク学習(MTL)は、CV、NLP、IRといった様々な研究領域で大きな成功を収めている。 本稿では,EMTLという新しいマルチタスク最適化手法を提案する。 本手法は,2つの研究領域の公開ベンチマークデータセットにおいて,最先端の手法よりも安定して性能を向上する。
  論文  参考訳（メタデータ） (2023-06-15T03:37:23Z)
• M$^3$ViT: Mixture-of-Experts Vision Transformer for Efficient Multi-task Learning with Model-Accelerator Co-design [95.41238363769892]
  マルチタスク学習(MTL)は、複数の学習タスクを単一のモデルにカプセル化し、それらのタスクを共同でよりよく学習できるようにする。 現在のMTLレギュレータは、1つのタスクだけを実行するためにさえ、ほぼすべてのモデルを起動する必要がある。 効率的なオンデバイスMTLを実現するためのモデル-アクセラレータ共設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-26T15:40:24Z)
• Sparsely Activated Mixture-of-Experts are Robust Multi-Task Learners [67.5865966762559]
  本研究では,Mixture-of-Experts (MoE) がマルチタスク学習を改善するかを検討した。 タスク認識ゲーティング関数を考案し、異なるタスクから専門の専門家にサンプルをルーティングする。 これにより、多数のパラメータを持つ疎活性化マルチタスクモデルが得られるが、高密度モデルの計算コストは同じである。
  論文  参考訳（メタデータ） (2022-04-16T00:56:12Z)
• Multi-Task Learning as a Bargaining Game [63.49888996291245]
  マルチタスク学習(MTL)では、複数のタスクを同時に予測するためにジョイントモデルを訓練する。 これらの異なるタスクの勾配が矛盾する可能性があるため、MTLのジョイントモデルを訓練すると、対応するシングルタスクモデルよりも低いパフォーマンスが得られる。 本稿では,パラメータ更新のジョイント方向で合意に達するためのタスクを交渉する交渉ゲームとして,勾配の組み合わせステップを考察する。
  論文  参考訳（メタデータ） (2022-02-02T13:21:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。