論文の概要: Selective Task Group Updates for Multi-Task Optimization

• arxiv url: http://arxiv.org/abs/2502.11986v1
• Date: Mon, 17 Feb 2025 16:26:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:09:38.195316
• Title: Selective Task Group Updates for Multi-Task Optimization
• Title（参考訳）: マルチタスク最適化のための選択型タスクグループ更新
• Authors: Wooseong Jeong, Kuk-Jin Yoon,
• Abstract要約: 本稿では,タスクを効果的にグループ化し,学習プロセス中に更新する方法を適応的に決定するアルゴリズムを提案する。 提案手法は,従来のマルチタスク最適化手法よりも大幅に優れている。
• 参考スコア（独自算出の注目度）: 44.601029688423914
• License:
• Abstract: Multi-task learning enables the acquisition of task-generic knowledge by training multiple tasks within a unified architecture. However, training all tasks together in a single architecture can lead to performance degradation, known as negative transfer, which is a main concern in multi-task learning. Previous works have addressed this issue by optimizing the multi-task network through gradient manipulation or weighted loss adjustments. However, their optimization strategy focuses on addressing task imbalance in shared parameters, neglecting the learning of task-specific parameters. As a result, they show limitations in mitigating negative transfer, since the learning of shared space and task-specific information influences each other during optimization. To address this, we propose a different approach to enhance multi-task performance by selectively grouping tasks and updating them for each batch during optimization. We introduce an algorithm that adaptively determines how to effectively group tasks and update them during the learning process. To track inter-task relations and optimize multi-task networks simultaneously, we propose proximal inter-task affinity, which can be measured during the optimization process. We provide a theoretical analysis on how dividing tasks into multiple groups and updating them sequentially significantly affects multi-task performance by enhancing the learning of task-specific parameters. Our methods substantially outperform previous multi-task optimization approaches and are scalable to different architectures and various numbers of tasks.
• Abstract（参考訳）: マルチタスク学習は、統一アーキテクチャ内で複数のタスクをトレーニングすることで、タスクジェネリックな知識の獲得を可能にする。 しかし、すべてのタスクをひとつのアーキテクチャで一緒にトレーニングすることは、ネガティブトランスファー(負の転送)と呼ばれるパフォーマンス劣化につながる可能性がある。 従来の研究は、勾配調整や重み付け損失調整によってマルチタスクネットワークを最適化することでこの問題に対処してきた。 しかし、その最適化戦略は、タスク固有のパラメータの学習を無視し、共有パラメータのタスク不均衡に対処することに焦点を当てている。 その結果、共有空間とタスク固有情報の学習が最適化中に互いに影響しあうため、負の移動を緩和する際の限界が示される。 そこで本稿では,タスクを選択的にグループ化し,最適化中に各バッチに対して更新することで,マルチタスク性能を向上させるアプローチを提案する。 本稿では,タスクを効果的にグループ化し,学習プロセス中に更新する方法を適応的に決定するアルゴリズムを提案する。 タスク間の関係をトラックし,マルチタスクネットワークを同時に最適化するために,最適化プロセス中に測定可能な近位タスク間親和性を提案する。 タスクを複数のグループに分割し、それらを逐次更新する理論解析は、タスク固有のパラメータの学習を強化することにより、マルチタスクのパフォーマンスに大きく影響する。 提案手法は,従来のマルチタスク最適化手法よりも大幅に優れており,様々なアーキテクチャやタスクにスケーラブルである。

関連論文リスト

• No More Tuning: Prioritized Multi-Task Learning with Lagrangian Differential Multiplier Methods [10.725249826517734]
  Web検索では、クリックスルー率やユーザエンゲージメントなど、他の指標よりも関連性が優先されることが多い。 既存のフレームワークは、さまざまなタスクの優先順位付けに十分な注意を払っている。 ステップワイドなマルチタスク最適化のために,Lagrangian Differential Multiplier Methodsを用いた新しいマルチタスク学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-16T18:58:28Z)
• Quantifying Task Priority for Multi-Task Optimization [44.601029688423914]
  マルチタスク学習の目標は、単一の統合ネットワーク内で多様なタスクを学習することである。 マルチタスク学習のための接続強度に基づく最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-06-05T06:52:29Z)
• Cross-Task Affinity Learning for Multitask Dense Scene Predictions [5.939164722752263]
  マルチタスク学習(MTL)は,複数のタスクを同時に予測する能力で注目されている。 マルチタスクネットワークにおけるタスク改善を強化する軽量フレームワークであるクロスタスク親和性学習(CTAL)モジュールを紹介する。 以上の結果から,CNNとトランスフォーマーの両バックボーンに対して,シングルタスク学習よりもはるかに少ないパラメータを用いて,最先端のMTL性能を実証した。
  論文  参考訳（メタデータ） (2024-01-20T05:31:47Z)
• Leveraging convergence behavior to balance conflicting tasks in multi-task learning [3.6212652499950138]
  マルチタスク学習は、パフォーマンスの一般化を改善するために相関タスクを使用する。 タスクは互いに衝突することが多いため、複数のタスクの勾配をどのように組み合わせるべきかを定義するのは難しい。 バックプロパゲーション中の各タスクの重要度を調整する動的バイアスを生成するために,勾配の時間的挙動を考慮した手法を提案する。
  論文  参考訳（メタデータ） (2022-04-14T01:52:34Z)
• In Defense of the Unitary Scalarization for Deep Multi-Task Learning [121.76421174107463]
  本稿では,多くの特殊マルチタスクを正規化の形式として解釈できることを示唆する理論解析について述べる。 標準正規化と安定化技術と組み合わせると、ユニタリスカラー化は複雑なマルチタスクの性能にマッチし、改善することを示す。
  論文  参考訳（メタデータ） (2022-01-11T18:44:17Z)
• Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
  マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。 本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
  論文  参考訳（メタデータ） (2021-11-09T18:49:45Z)
• Efficiently Identifying Task Groupings for Multi-Task Learning [55.80489920205404]
  マルチタスク学習は、あるタスクによって学習された情報を活用して、他のタスクのトレーニングに役立てることができる。 マルチタスク学習モデルにおいて、どのタスクを一緒にトレーニングすべきかを選択するアプローチを提案する。 本手法は,全タスクを協調学習し,タスクの勾配が他のタスクの損失に影響を及ぼす影響を定量化する。
  論文  参考訳（メタデータ） (2021-09-10T02:01:43Z)
• Small Towers Make Big Differences [59.243296878666285]
  マルチタスク学習は、複数の機械学習タスクを同時に解決することを目的としている。 マルチタスク学習問題に対する優れた解法は、Paretoの最適性に加えて一般化可能であるべきである。 本稿では,マルチタスクモデルのためのパラメータ下自己助詞の手法を提案し,両世界のベストを達成した。
  論文  参考訳（メタデータ） (2020-08-13T10:45:31Z)
• Multi-Task Reinforcement Learning with Soft Modularization [25.724764855681137]
  マルチタスク学習は強化学習において非常に難しい問題である。 この最適化問題を緩和するために,ポリシー表現に明示的なモジュール化手法を導入する。 提案手法は,強いベースライン上でのサンプリング効率と性能を,大きなマージンで向上することを示す。
  論文  参考訳（メタデータ） (2020-03-30T17:47:04Z)
• Gradient Surgery for Multi-Task Learning [119.675492088251]
  マルチタスク学習は、複数のタスク間で構造を共有するための有望なアプローチとして登場した。 マルチタスク学習がシングルタスク学習と比較して難しい理由は、完全には理解されていない。 本稿では,他の作業の勾配の正規平面上にタスクの勾配を投影する勾配手術の一形態を提案する。
  論文  参考訳（メタデータ） (2020-01-19T06:33:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。