論文の概要: Rep-MTL: Unleashing the Power of Representation-level Task Saliency for Multi-Task Learning
- arxiv url: http://arxiv.org/abs/2507.21049v1
- Date: Mon, 28 Jul 2025 17:59:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-29 16:23:58.248068
- Title: Rep-MTL: Unleashing the Power of Representation-level Task Saliency for Multi-Task Learning
- Title（参考訳）: Rep-MTL:マルチタスク学習のための表現レベルタスク・サリエンシのパワーを解放する
- Authors: Zedong Wang, Siyuan Li, Dan Xu,
- Abstract要約: Rep-MTLは、タスク固有の最適化と共有表現学習の間の相互作用を定量化するために、表現レベルタスクの相性を利用する。
Rep-MTLは、純粋なコンフリクト解決ではなく、個々のタスクの効果的なトレーニングを維持することで、ネガティブトランスファーを軽減することを目的としている。
- 参考スコア（独自算出の注目度）: 27.472039054277644
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite the promise of Multi-Task Learning in leveraging complementary knowledge across tasks, existing multi-task optimization (MTO) techniques remain fixated on resolving conflicts via optimizer-centric loss scaling and gradient manipulation strategies, yet fail to deliver consistent gains. In this paper, we argue that the shared representation space, where task interactions naturally occur, offers rich information and potential for operations complementary to existing optimizers, especially for facilitating the inter-task complementarity, which is rarely explored in MTO. This intuition leads to Rep-MTL, which exploits the representation-level task saliency to quantify interactions between task-specific optimization and shared representation learning. By steering these saliencies through entropy-based penalization and sample-wise cross-task alignment, Rep-MTL aims to mitigate negative transfer by maintaining the effective training of individual tasks instead pure conflict-solving, while explicitly promoting complementary information sharing. Experiments are conducted on four challenging MTL benchmarks covering both task-shift and domain-shift scenarios. The results show that Rep-MTL, even paired with the basic equal weighting policy, achieves competitive performance gains with favorable efficiency. Beyond standard performance metrics, Power Law exponent analysis demonstrates Rep-MTL's efficacy in balancing task-specific learning and cross-task sharing. The project page is available at HERE.
- Abstract（参考訳）: タスク間で補完的な知識を活用するマルチタスク学習の約束にもかかわらず、既存のマルチタスク最適化(MTO)技術は、最適化中心の損失スケーリングと勾配操作戦略を通じて競合を解決するために固定されている。
本稿では,タスク間の相互作用が自然に発生する共有表現空間が,既存のオプティマイザと相補的な操作,特にMTOではほとんど探索されないタスク間の相補性を促進するために,豊富な情報と可能性をもたらすことを論じる。
この直感はRep-MTLにつながり、Rep-MTLはタスク固有の最適化と共有表現学習の間の相互作用を定量化する。
Rep-MTLは、エントロピーに基づくペナル化とサンプルワイドのクロスタスクアライメントを通じてこれらのサリエンスを操ることで、純粋なコンフリクト解決ではなく個々のタスクの効果的なトレーニングを維持しながら、補完的な情報共有を明示的に促進することで、負の移動を緩和することを目指している。
タスクシフトとドメインシフトの両方のシナリオをカバーする4つの挑戦的なMTLベンチマークで実験を行った。
その結果、Rep-MTLは、基本的等重み付けポリシーと組み合わせても、良好な効率で競争性能を得ることができた。
標準的なパフォーマンス指標以外にも、Power Law Exponent Analysisでは、タスク固有の学習とタスク間の共有のバランスをとるRep-MTLの有効性が示されている。
プロジェクトページはHEREで公開されている。
関連論文リスト
- Robust-Multi-Task Gradient Boosting [6.718184400443239]
マルチタスク学習(MTL)は、タスク間の共有情報を利用して一般化を改善する効果を示す。
本稿では,R-MTGB(Robust-Multi-Task Gradient Boosting)を提案する。
R-MTGBは学習プロセスを3つのブロックに構成する:(1)共有パターンの学習、(2)正規化パラメータを持つ逐次タスクを外れ値と非外れ値に分割、(3)微調整タスク固有の予測器。
論文 参考訳（メタデータ） (2025-07-15T15:31:12Z) - Efficient Multi-Task Reinforcement Learning via Task-Specific Action Correction [10.388605128396678]
Task-Specific Action Correctionは複数のタスクの同時学習用に設計されている。
ACPは目標指向のスパース報酬を取り入れており、エージェントが長期的な視点を採用することができる。
付加的な報酬は、元の問題を多目的MTRL問題に変換する。
論文 参考訳（メタデータ） (2024-04-09T02:11:35Z) - Towards Principled Task Grouping for Multi-Task Learning [12.757893623250252]
マルチタスク学習(MTL)は、タスク間の共有情報を活用し、学習効率と精度を向上させることを目的としている。
MTLは、多くの場合、タスク間の正と負の転送を効果的に管理するのに苦労し、パフォーマンス改善を妨げます。
本稿では,MTLにおけるタスクグループ化の原則的アプローチを提案する。
論文 参考訳（メタデータ） (2024-02-23T13:51:20Z) - Data-CUBE: Data Curriculum for Instruction-based Sentence Representation
Learning [85.66907881270785]
本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。
タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。
インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
論文 参考訳（メタデータ） (2024-01-07T18:12:20Z) - Equitable Multi-task Learning [18.65048321820911]
マルチタスク学習(MTL)は、CV、NLP、IRといった様々な研究領域で大きな成功を収めている。
本稿では,EMTLという新しいマルチタスク最適化手法を提案する。
本手法は,2つの研究領域の公開ベンチマークデータセットにおいて,最先端の手法よりも安定して性能を向上する。
論文 参考訳（メタデータ） (2023-06-15T03:37:23Z) - "It's a Match!" -- A Benchmark of Task Affinity Scores for Joint
Learning [74.14961250042629]
MTL(Multi-Task Learning)は、その成功の条件を特徴づけることが、ディープラーニングにおいて依然としてオープンな問題である、と約束する。
共同学習におけるタスク親和性の推定は重要な取り組みである。
最近の研究は、訓練条件自体がMTLの結果に重大な影響を与えることを示唆している。
しかし,本研究では,タスク親和性評価手法の有効性を評価するためのベンチマークが欠落している。
論文 参考訳（メタデータ） (2023-01-07T15:16:35Z) - Multi-Task Learning as a Bargaining Game [63.49888996291245]
マルチタスク学習(MTL)では、複数のタスクを同時に予測するためにジョイントモデルを訓練する。
これらの異なるタスクの勾配が矛盾する可能性があるため、MTLのジョイントモデルを訓練すると、対応するシングルタスクモデルよりも低いパフォーマンスが得られる。
本稿では,パラメータ更新のジョイント方向で合意に達するためのタスクを交渉する交渉ゲームとして,勾配の組み合わせステップを考察する。
論文 参考訳（メタデータ） (2022-02-02T13:21:53Z) - Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。
本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
論文 参考訳（メタデータ） (2021-11-09T18:49:45Z) - Semi-supervised Multi-task Learning for Semantics and Depth [88.77716991603252]
MTL(Multi-Task Learning)は、関連するタスク間で表現を共有することで、モデル一般化を強化することを目的としている。
そこで本研究では,異なるデータセットから利用可能な監視信号を活用するために,半教師付きマルチタスク学習(MTL)手法を提案する。
本稿では,データセット間の整合性の問題を軽減するために,様々なアライメントの定式化を施したドメイン認識識別器構造を提案する。
論文 参考訳（メタデータ） (2021-10-14T07:43:39Z) - Task Uncertainty Loss Reduce Negative Transfer in Asymmetric Multi-task
Feature Learning [0.0]
マルチタスク学習(MTL)は、シングルタスク学習(STL)と比較して全体的なタスクパフォーマンスを向上させることができるが、負の転送(NT)を隠すことができる。
非対称マルチタスク特徴学習(AMTFL)は、損失値の高いタスクが他のタスクを学習するための特徴表現に与える影響を小さくすることで、この問題に対処しようとするアプローチである。
2つのデータセット (画像認識と薬理ゲノミクス) におけるntの例を示し, 課題間の相対的信頼度を捉え, タスク損失の重み付けを行うことにより, この課題に挑戦する。
論文 参考訳（メタデータ） (2020-12-17T13:30:45Z) - Task-Feature Collaborative Learning with Application to Personalized
Attribute Prediction [166.87111665908333]
本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。
具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。
実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
論文 参考訳（メタデータ） (2020-04-29T02:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。