論文の概要: Optimizing Evaluation Metrics for Multi-Task Learning via the
Alternating Direction Method of Multipliers
- arxiv url: http://arxiv.org/abs/2210.05935v1
- Date: Wed, 12 Oct 2022 05:46:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-13 15:13:46.562679
- Title: Optimizing Evaluation Metrics for Multi-Task Learning via the
Alternating Direction Method of Multipliers
- Title（参考訳）: 乗算器の交互方向法によるマルチタスク学習のための評価指標の最適化
- Authors: Ge-Yang Ke, Yan Pan, Jian Yin, Chang-Qin Huang
- Abstract要約: マルチタスク学習(MTL)は、複数のタスク間の共有要因を活用することで、複数のタスクの一般化性能を向上させることを目的としている。
既存のほとんどのMTL法は、分類における誤分類誤差や回帰における平均2乗誤差を最小化しようとする。
そこで本研究では,MLL問題群に対する評価指標を直接最適化する手法を提案する。
- 参考スコア（独自算出の注目度）: 12.227732834969336
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-task learning (MTL) aims to improve the generalization performance of
multiple tasks by exploiting the shared factors among them. Various metrics
(e.g., F-score, Area Under the ROC Curve) are used to evaluate the performances
of MTL methods. Most existing MTL methods try to minimize either the
misclassified errors for classification or the mean squared errors for
regression. In this paper, we propose a method to directly optimize the
evaluation metrics for a large family of MTL problems. The formulation of MTL
that directly optimizes evaluation metrics is the combination of two parts: (1)
a regularizer defined on the weight matrix over all tasks, in order to capture
the relatedness of these tasks; (2) a sum of multiple structured hinge losses,
each corresponding to a surrogate of some evaluation metric on one task. This
formulation is challenging in optimization because both of its parts are
non-smooth. To tackle this issue, we propose a novel optimization procedure
based on the alternating direction scheme of multipliers, where we decompose
the whole optimization problem into a sub-problem corresponding to the
regularizer and another sub-problem corresponding to the structured hinge
losses. For a large family of MTL problems, the first sub-problem has
closed-form solutions. To solve the second sub-problem, we propose an efficient
primal-dual algorithm via coordinate ascent. Extensive evaluation results
demonstrate that, in a large family of MTL problems, the proposed MTL method of
directly optimization evaluation metrics has superior performance gains against
the corresponding baseline methods.
- Abstract（参考訳）: マルチタスク学習(mtl)は、共有要因を活用し、複数のタスクの一般化性能を向上させることを目的としている。
様々な指標(例えば、Fスコア、ROC曲線下のエリア)を用いて、MTL法の性能を評価する。
既存のmtl法は、分類の誤分類エラーや回帰の平均二乗誤差を最小化しようとする。
本稿では,MLL問題に対する評価指標を直接最適化する手法を提案する。
評価指標を直接最適化する MTL の定式化は,(1) タスクの関連性を捉えるために,各タスクの重み行列上に定義された正則化器,(2) 複数の構造的ヒンジ損失の和,それぞれが1つのタスクにおける評価指標のサロゲートに対応する2つの部分の組み合わせである。
この定式化は、どちらも非滑らかであるため、最適化において困難である。
この問題に対処するため, 乗算器の交互方向スキームに基づく新しい最適化手法を提案し, 最適化問題を正規化器に対応するサブプロブレムと構造的ヒンジ損失に対応するサブプロブレムに分解する。
大規模な MTL 問題に対して、最初のサブプロブレムは閉形式解を持つ。
第2のサブプロブレムを解決するために,座標上昇を用いた効率的な原始双対アルゴリズムを提案する。
広範な評価結果から,mtl問題群において,評価指標を直接最適化するmtl法が,対応する基準法に対して優れた性能向上率を示すことが示された。
関連論文リスト
- A First-Order Multi-Gradient Algorithm for Multi-Objective Bi-Level Optimization [7.097069899573992]
マルチオブジェクト・バイ・レベル最適化(MOBLO)問題について検討する。
既存の勾配に基づくMOBLOアルゴリズムはヘッセン行列を計算する必要がある。
FORUMと呼ばれるMOBLOの高効率な1次多重勾配法を提案する。
論文 参考訳（メタデータ） (2024-01-17T15:03:37Z) - Low-Rank Multitask Learning based on Tensorized SVMs and LSSVMs [65.42104819071444]
マルチタスク学習(MTL)はタスク関連性を活用して性能を向上させる。
タスクインデックスに対応する各モードを持つ高次テンソルを用いて、複数のインデックスが参照するタスクを自然に表現する。
テンソル化サポートベクターマシン(SVM)と最小2乗サポートベクターマシン(LSSVM)を併用した低ランクMTL手法の汎用フレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-30T14:28:26Z) - Accelerating Cutting-Plane Algorithms via Reinforcement Learning
Surrogates [49.84541884653309]
凸離散最適化問題に対する現在の標準的なアプローチは、カットプレーンアルゴリズムを使うことである。
多くの汎用カット生成アルゴリズムが存在するにもかかわらず、大規模な離散最適化問題は、難易度に悩まされ続けている。
そこで本研究では,強化学習による切削平面アルゴリズムの高速化手法を提案する。
論文 参考訳（メタデータ） (2023-07-17T20:11:56Z) - Independent Component Alignment for Multi-Task Learning [2.5234156040689237]
マルチタスク学習(MTL)では、複数のタスクに共同で取り組むために単一のモデルを訓練する。
MTL最適化の安定性基準として線形勾配系の条件数を用いる。
本稿では,提案基準に基づく新しいMTL最適化手法であるAligned-MTLを提案する。
論文 参考訳（メタデータ） (2023-05-30T12:56:36Z) - Learning Proximal Operators to Discover Multiple Optima [66.98045013486794]
非家族問題における近位演算子を学習するためのエンドツーエンド手法を提案する。
本手法は,弱い目的と穏やかな条件下では,世界規模で収束することを示す。
論文 参考訳（メタデータ） (2022-01-28T05:53:28Z) - Meta-learning based Alternating Minimization Algorithm for Non-convex
Optimization [9.774392581946108]
複数変数の非プロブレムに挑戦する新しい解を提案する。
提案手法では,他の手法が一般的に失敗するケースに対して,効果的なイテレーションを実現することができる。
論文 参考訳（メタデータ） (2020-09-09T10:45:00Z) - Follow the bisector: a simple method for multi-objective optimization [65.83318707752385]
複数の異なる損失を最小化しなければならない最適化問題を考える。
提案手法は、各イテレーションにおける降下方向を計算し、目的関数の相対的減少を等しく保証する。
論文 参考訳（メタデータ） (2020-07-14T09:50:33Z) - Convergence of adaptive algorithms for weakly convex constrained
optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。
我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文 参考訳（メタデータ） (2020-06-11T17:43:19Z) - Effective Dimension Adaptive Sketching Methods for Faster Regularized
Least-Squares Optimization [56.05635751529922]
スケッチに基づくL2正規化最小二乗問題の解法を提案する。
我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
論文 参考訳（メタデータ） (2020-06-10T15:00:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。