論文の概要: Gradient Interference-Aware Graph Coloring for Multitask Learning

• arxiv url: http://arxiv.org/abs/2509.16959v1
• Date: Sun, 21 Sep 2025 07:45:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 18:58:16.056399
• Title: Gradient Interference-Aware Graph Coloring for Multitask Learning
• Title（参考訳）: マルチタスク学習のためのグラディエント干渉対応グラフカラー化
• Authors: Santosh Patapati, Trisanth Srinivasan,
• Abstract要約: マルチタスク学習において目的が互いに衝突すると、勾配が干渉し始め、収束が遅くなる。 干渉を計算するスケジューラを導入し、干渉グラフを構築し、それからグリーディグラフカラー化を適用してタスクを互いによく整合したグループに分割する。 6つの異なるデータセットに対する実証的な結果は、干渉対応グラフカラー化アプローチがベースラインと最先端のマルチタスクを一貫して上回っていることを示している。
• 参考スコア（独自算出の注目度）: 2.1485350418225244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When different objectives conflict with each other in multi-task learning, gradients begin to interfere and slow convergence, thereby reducing the final model's performance. To address this, we introduce a scheduler that computes gradient interference, constructs an interference graph, and then applies greedy graph-coloring to partition tasks into groups that align well with each other. At each training step, only one group (color class) of tasks are activated. The grouping partition is constantly recomputed as task relationships evolve throughout training. By ensuring that each mini-batch contains only tasks that pull the model in the same direction, our method improves the effectiveness of any underlying multi-task learning optimizer without additional tuning. Since tasks within these groups will update in compatible directions, model performance will be improved rather than impeded. Empirical results on six different datasets show that this interference-aware graph-coloring approach consistently outperforms baselines and state-of-the-art multi-task optimizers.
• Abstract（参考訳）: マルチタスク学習において異なる目的が互いに衝突すると、勾配が干渉し、収束が遅くなり、最終的なモデルの性能が低下する。 これを解決するために、勾配干渉を計算し、干渉グラフを構築し、それからグリーディグラフカラー化を適用してタスクを互いによく整合したグループに分割するスケジューラを導入する。 各トレーニングステップでは、タスクの1つのグループ(カラークラス)のみが起動される。 グループ化パーティションは、トレーニングを通じてタスク関係が進化するにつれて、常に再計算される。 提案手法では,各ミニバッチが同一方向にモデルを引っ張るタスクのみを含むことを保証することにより,追加のチューニングを伴わずに,基礎となるマルチタスク学習オプティマイザの有効性を向上させる。 これらのグループ内のタスクは互換性のある方向に更新されるため、モデルパフォーマンスは邪魔されるのではなく改善される。 6つの異なるデータセットに対する実証的な結果は、干渉対応グラフカラー化アプローチがベースラインと最先端のマルチタスクオプティマイザを一貫して上回っていることを示している。

関連論文リスト

• HGMP:Heterogeneous Graph Multi-Task Prompt Learning [18.703129208282913]
  ヘテロジニアスグラフ領域のための新しいマルチタスクプロンプトフレームワークHGMPを提案する。 まず、事前訓練されたモデルと下流タスクのギャップを埋めるために、下流タスクを統一的なグラフレベルタスク形式に再構成する。 我々は,異種情報を活用し,マルチタスクシナリオの性能を向上させるために,グラフレベルのコントラスト事前学習戦略を設計する。
  論文  参考訳（メタデータ） (2025-07-10T04:01:47Z)
• AdaRank: Adaptive Rank Pruning for Enhanced Model Merging [15.383220675351076]
  モデルマージは、独立して微調整されたモデルを統合されたフレームワークに統合するための有望なアプローチとして現れている。 AdaRankは、タスクベクトルの最も有用な特異な方向を適応的に選択し、複数のモデルをマージする新しいモデルマージフレームワークである。 AdaRankは、さまざまなバックボーンとタスク数で一貫して最先端のパフォーマンスを実現し、微調整されたモデル間のパフォーマンスギャップを1%近く削減している。
  論文  参考訳（メタデータ） (2025-03-28T06:49:06Z)
• Modeling Multi-Task Model Merging as Adaptive Projective Gradient Descent [72.10987117380584]
  複数のエキスパートモデルをマージすることは、元のデータにアクセスせずにマルチタスク学習を実行するための有望なアプローチを提供する。 既存のメソッドは、競合を引き起こす一方で、パフォーマンスにとって重要なタスク固有の情報を捨てている。 我々の手法は従来の手法より一貫して優れており、視覚領域とNLP領域の両方において様々なアーキテクチャやタスクにまたがって最先端の結果が得られます。
  論文  参考訳（メタデータ） (2025-01-02T12:45:21Z)
• Pareto Manifold Learning: Tackling multiple tasks via ensembles of single-task models [50.33956216274694]
  マルチタスク学習(MTL)では、タスクは、ソリューションへの最適化を導くのではなく、互いに達成したパフォーマンスを競い、制限することができる。 重み空間におけるアンサンブル手法であるTextitPareto Manifold Learningを提案する。
  論文  参考訳（メタデータ） (2022-10-18T11:20:54Z)
• Leveraging convergence behavior to balance conflicting tasks in multi-task learning [3.6212652499950138]
  マルチタスク学習は、パフォーマンスの一般化を改善するために相関タスクを使用する。 タスクは互いに衝突することが多いため、複数のタスクの勾配をどのように組み合わせるべきかを定義するのは難しい。 バックプロパゲーション中の各タスクの重要度を調整する動的バイアスを生成するために,勾配の時間的挙動を考慮した手法を提案する。
  論文  参考訳（メタデータ） (2022-04-14T01:52:34Z)
• Conflict-Averse Gradient Descent for Multi-task Learning [56.379937772617]
  マルチタスクモデルを最適化する際の大きな課題は、矛盾する勾配である。 本稿では、平均損失関数を最小化する衝突-逆勾配降下(CAGrad)を導入する。 CAGradは目標を自動的にバランスし、平均損失よりも最小限に確実に収束する。
  論文  参考訳（メタデータ） (2021-10-26T22:03:51Z)
• Sequential Reptile: Inter-Task Gradient Alignment for Multilingual Learning [61.29879000628815]
  知識伝達を最大化するためには,タスク間の勾配の整合が不可欠であることを示す。 本稿では,タスク間の勾配を効率よく調整する,シンプルで効果的な手法を提案する。 様々なマルチタスク学習やゼロショット言語間移動タスクにおいて,提案手法を広範囲に検証する。
  論文  参考訳（メタデータ） (2021-10-06T09:10:10Z)
• Gradient Surgery for Multi-Task Learning [119.675492088251]
  マルチタスク学習は、複数のタスク間で構造を共有するための有望なアプローチとして登場した。 マルチタスク学習がシングルタスク学習と比較して難しい理由は、完全には理解されていない。 本稿では,他の作業の勾配の正規平面上にタスクの勾配を投影する勾配手術の一形態を提案する。
  論文  参考訳（メタデータ） (2020-01-19T06:33:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。