論文の概要: Independent Component Alignment for Multi-Task Learning

• arxiv url: http://arxiv.org/abs/2305.19000v1
• Date: Tue, 30 May 2023 12:56:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 16:22:54.554480
• Title: Independent Component Alignment for Multi-Task Learning
• Title（参考訳）: マルチタスク学習のための独立コンポーネントアライメント
• Authors: Dmitry Senushkin, Nikolay Patakin, Arseny Kuznetsov, Anton Konushin
• Abstract要約: マルチタスク学習(MTL)では、複数のタスクに共同で取り組むために単一のモデルを訓練する。 MTL最適化の安定性基準として線形勾配系の条件数を用いる。 本稿では,提案基準に基づく新しいMTL最適化手法であるAligned-MTLを提案する。
• 参考スコア（独自算出の注目度）: 2.5234156040689237
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In a multi-task learning (MTL) setting, a single model is trained to tackle a diverse set of tasks jointly. Despite rapid progress in the field, MTL remains challenging due to optimization issues such as conflicting and dominating gradients. In this work, we propose using a condition number of a linear system of gradients as a stability criterion of an MTL optimization. We theoretically demonstrate that a condition number reflects the aforementioned optimization issues. Accordingly, we present Aligned-MTL, a novel MTL optimization approach based on the proposed criterion, that eliminates instability in the training process by aligning the orthogonal components of the linear system of gradients. While many recent MTL approaches guarantee convergence to a minimum, task trade-offs cannot be specified in advance. In contrast, Aligned-MTL provably converges to an optimal point with pre-defined task-specific weights, which provides more control over the optimization result. Through experiments, we show that the proposed approach consistently improves performance on a diverse set of MTL benchmarks, including semantic and instance segmentation, depth estimation, surface normal estimation, and reinforcement learning. The source code is publicly available at https://github.com/SamsungLabs/MTL .
• Abstract（参考訳）: マルチタスク学習(MTL)では、複数のタスクに共同で取り組むために単一のモデルを訓練する。 この分野の急速な進歩にもかかわらず、MTLは競合や支配的な勾配といった最適化の問題のため、依然として困難である。 本研究では,mtl最適化の安定性基準として,勾配の線形系の条件数を用いることを提案する。 理論的には、上記の最適化問題を反映した条件数を示す。 そこで我々は,線形勾配系の直交成分を整列させることにより,学習過程の不安定性を解消する新しいMTL最適化手法であるAligned-MTLを提案する。 最近のMTLアプローチの多くは最小限の収束を保証するが、タスクトレードオフを事前に指定することはできない。 対照的に、Aligned-MTLは、予め定義されたタスク固有の重み付き最適点に確実に収束し、最適化結果をより制御する。 実験により,提案手法は,semantic and instance segmentation, depth estimation, surface normal estimation, reinforcement learningなど,様々なmtlベンチマークの性能を一貫して向上させることを示した。 ソースコードはhttps://github.com/SamsungLabs/MTLで公開されている。

関連論文リスト

• Two Optimizers Are Better Than One: LLM Catalyst Empowers Gradient-Based Optimization for Prompt Tuning [69.95292905263393]
  我々は,勾配に基づく最適化と大規模言語モデル(MsLL)が相互補完的であることを示し,協調的な最適化手法を提案する。 私たちのコードはhttps://www.guozix.com/guozix/LLM-catalystでリリースされています。
  論文  参考訳（メタデータ） (2024-05-30T06:24:14Z)
• MTLComb: multi-task learning combining regression and classification tasks for joint feature selection [3.708475728683911]
  マルチタスク学習(Multi-task learning、MTL)は、複数の通信アルゴリズムの同時学習を可能にする学習パラダイムである。 本稿では、回帰と分類タスクのバランスをとるための最適な重み付けを解析的に決定する、証明可能な損失重み付け手法を提案する。 MTLアルゴリズムとソフトウェアパッケージであるMTLCombを導入し、最適化手順、トレーニングプロトコル、ハイパーパラメータ推定手順を紹介する。
  論文  参考訳（メタデータ） (2024-05-16T08:07:25Z)
• Fair Resource Allocation in Multi-Task Learning [12.776767874217663]
  マルチタスク学習(MTL)はタスク間の共有知識を活用でき、データ効率と一般化性能が向上する。 MTLにおける大きな課題は、いくつかのタスクの公平な最適化を妨げる、矛盾する勾配の存在にある。 通信ネットワークにおける公平なリソース割り当てに着想を得て,新しいMTL最適化法であるFairGradを提案する。
  論文  参考訳（メタデータ） (2024-02-23T22:46:14Z)
• Contextual Stochastic Bilevel Optimization [50.36775806399861]
  文脈情報と上層変数の期待を最小化する2レベル最適化フレームワークCSBOを導入する。 メタラーニング、パーソナライズドラーニング、エンド・ツー・エンドラーニング、Wassersteinはサイド情報(WDRO-SI)を分散的に最適化している。
  論文  参考訳（メタデータ） (2023-10-27T23:24:37Z)
• Low-Rank Multitask Learning based on Tensorized SVMs and LSSVMs [65.42104819071444]
  マルチタスク学習(MTL)はタスク関連性を活用して性能を向上させる。 タスクインデックスに対応する各モードを持つ高次テンソルを用いて、複数のインデックスが参照するタスクを自然に表現する。 テンソル化サポートベクターマシン(SVM)と最小2乗サポートベクターマシン(LSSVM)を併用した低ランクMTL手法の汎用フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-30T14:28:26Z)
• Tensorized LSSVMs for Multitask Regression [48.844191210894245]
  マルチタスク学習(MTL)は、複数のタスク間の関連性を利用してパフォーマンスを向上させる。 低ランクテンソル解析とLast Squares Support Vectorized Least Squares Support Vectorized tLSSVM-MTLを利用する。
  論文  参考訳（メタデータ） (2023-03-04T16:36:03Z)
• Optimizing Evaluation Metrics for Multi-Task Learning via the Alternating Direction Method of Multipliers [12.227732834969336]
  マルチタスク学習(MTL)は、複数のタスク間の共有要因を活用することで、複数のタスクの一般化性能を向上させることを目的としている。 既存のほとんどのMTL法は、分類における誤分類誤差や回帰における平均2乗誤差を最小化しようとする。 そこで本研究では,MLL問題群に対する評価指標を直接最適化する手法を提案する。
  論文  参考訳（メタデータ） (2022-10-12T05:46:00Z)
• Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
  滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。 提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
  論文  参考訳（メタデータ） (2022-02-26T19:10:48Z)
• Multi-Task Learning as a Bargaining Game [63.49888996291245]
  マルチタスク学習(MTL)では、複数のタスクを同時に予測するためにジョイントモデルを訓練する。 これらの異なるタスクの勾配が矛盾する可能性があるため、MTLのジョイントモデルを訓練すると、対応するシングルタスクモデルよりも低いパフォーマンスが得られる。 本稿では,パラメータ更新のジョイント方向で合意に達するためのタスクを交渉する交渉ゲームとして,勾配の組み合わせステップを考察する。
  論文  参考訳（メタデータ） (2022-02-02T13:21:53Z)
• SLAW: Scaled Loss Approximate Weighting for Efficient Multi-Task Learning [0.0]
  マルチタスク学習(MTL)は、機械学習のサブフィールドであり、重要な応用がある。 最適MTL最適化法は、各タスクの損失関数の勾配を個別に計算する必要がある。 マルチタスク最適化手法であるScaled Loss Approximate Weighting (SLAW)を提案する。
  論文  参考訳（メタデータ） (2021-09-16T20:58:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。