論文の概要: Revisiting Scalarization in Multi-Task Learning: A Theoretical
Perspective
- arxiv url: http://arxiv.org/abs/2308.13985v1
- Date: Sun, 27 Aug 2023 02:10:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-29 17:45:26.997069
- Title: Revisiting Scalarization in Multi-Task Learning: A Theoretical
Perspective
- Title(参考訳): マルチタスク学習におけるスケーラビリティの再考:理論的展望
- Authors: Yuzheng Hu, Ruicheng Xian, Qilong Wu, Qiuling Fan, Lang Yin, Han Zhao
- Abstract要約: 理論的観点からスカラー化を再考する。
その結果,スカラー化の最近の経験的利点とは対照的に,スカラー化は本質的に完全な探索ができないことがわかった。
より具体的には、構造が過度にパラメータ化されている場合、多面構造を明らかにし、完全な探査に必要な必要かつ十分な条件を特定する。
- 参考スコア(独自算出の注目度): 10.699728978583206
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Linear scalarization, i.e., combining all loss functions by a weighted sum,
has been the default choice in the literature of multi-task learning (MTL)
since its inception. In recent years, there is a surge of interest in
developing Specialized Multi-Task Optimizers (SMTOs) that treat MTL as a
multi-objective optimization problem. However, it remains open whether there is
a fundamental advantage of SMTOs over scalarization. In fact, heated debates
exist in the community comparing these two types of algorithms, mostly from an
empirical perspective. To approach the above question, in this paper, we
revisit scalarization from a theoretical perspective. We focus on linear MTL
models and study whether scalarization is capable of fully exploring the Pareto
front. Our findings reveal that, in contrast to recent works that claimed
empirical advantages of scalarization, scalarization is inherently incapable of
full exploration, especially for those Pareto optimal solutions that strike the
balanced trade-offs between multiple tasks. More concretely, when the model is
under-parametrized, we reveal a multi-surface structure of the feasible region
and identify necessary and sufficient conditions for full exploration. This
leads to the conclusion that scalarization is in general incapable of tracing
out the Pareto front. Our theoretical results partially answer the open
questions in Xin et al. (2021), and provide a more intuitive explanation on why
scalarization fails beyond non-convexity. We additionally perform experiments
on a real-world dataset using both scalarization and state-of-the-art SMTOs.
The experimental results not only corroborate our theoretical findings, but
also unveil the potential of SMTOs in finding balanced solutions, which cannot
be achieved by scalarization.
- Abstract(参考訳): 線形スカラー化、すなわち重み付き和ですべての損失関数を組み合わせることは、その開始以来、マルチタスク学習(mtl)の文献においてデフォルトの選択となっている。
近年,MTLを多目的最適化問題として扱うSMTO(Specialized Multi-Task Optimizers)の開発への関心が高まっている。
しかし、スカラー化に対してSMTOの根本的な優位性があるかどうかは不明である。
実際、この2つのタイプのアルゴリズムを比較するコミュニティには、熱烈な議論が存在している。
本稿では, 上記の問題にアプローチするため, 理論的観点からスカラー化を再考する。
線形mtlモデルに注目し,スカラー化がパレート前線を完全に探索できるかどうかを検討する。
この結果から,スカラー化のメリットを実証的に主張する最近の研究とは対照的に,スカラー化は本質的に完全な探索には不可能であることが明らかとなった。
より具体的には、モデルが過度にパラメータ化されると、実現可能な領域の多面構造を明らかにし、完全な探索に必要な十分な条件を特定する。
このことは、スカラー化が一般にパレートフロントを追跡できないという結論に繋がる。
我々の理論的結果は、Xin et al. (2021) のオープンな疑問に部分的に答え、スカラー化が非凸性を超えて失敗する理由についてより直感的な説明を提供する。
また、スキャラライズと最先端SMTOの両方を用いて実世界のデータセット上で実験を行う。
実験結果は理論的な知見と相関するだけでなく,スカラー化では達成できない平衡解の発見におけるSMTOの可能性も明らかにした。
関連論文リスト
- Near-Optimal Solutions of Constrained Learning Problems [85.48853063302764]
機械学習システムでは、振る舞いを縮小する必要性がますます顕在化している。
これは、双対ロバスト性変数を満たすモデルの開発に向けた最近の進歩によって証明されている。
この結果から, 豊富なパラメトリゼーションは非次元的, 有限な学習問題を効果的に緩和することが示された。
論文 参考訳(メタデータ) (2024-03-18T14:55:45Z) - On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳(メタデータ) (2023-12-13T02:11:07Z) - Optimal Scalarizations for Sublinear Hypervolume Regret [0.0]
均一にランダムな重みを持つ超体積スカラー化は、超体積後悔を確実に最小化するのに驚くほど最適であることを示す。
改良された超体積後悔境界を$tildeO(d T-1/2 + T-1/k)$で生成する新規な非ユークリッド解析を導出する。
論文 参考訳(メタデータ) (2023-07-06T20:49:42Z) - On Learning Latent Models with Multi-Instance Weak Supervision [63.07650883781489]
本稿では,複数の入力インスタンスに関連付けられた遷移関数$sigma$ラベルによって,教師信号が生成される弱い教師付き学習シナリオについて考察する。
我々の問題は、潜在的な構造学習やニューロシンボリックな統合など、さまざまな分野で満たされている。
論文 参考訳(メタデータ) (2023-06-23T22:05:08Z) - Theoretical Characterization of the Generalization Performance of
Overfitted Meta-Learning [70.52689048213398]
本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。
シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。
本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
論文 参考訳(メタデータ) (2023-04-09T20:36:13Z) - Scalable Bayesian Meta-Learning through Generalized Implicit Gradients [64.21628447579772]
Inlicit Bayesian Meta-learning (iBaML) 法は、学習可能な事前のスコープを広げるだけでなく、関連する不確実性も定量化する。
解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
論文 参考訳(メタデータ) (2023-03-31T02:10:30Z) - Generalization In Multi-Objective Machine Learning [27.806085423595334]
マルチオブジェクト学習は、早期のトレードオフにコミットすることなく、このような問題に対処するための自然なフレームワークを提供する。
統計的学習理論は、これまでのところ、多目的学習の一般化特性についてはほとんど洞察を提供していない。
論文 参考訳(メタデータ) (2022-08-29T11:06:39Z) - Tensor-based Multi-view Spectral Clustering via Shared Latent Space [14.470859959783995]
MvSC(Multi-view Spectral Clustering)は多様なデータソースによって注目を集めている。
MvSCの新しい手法はRestricted Kernel Machineフレームワークから共有潜在空間を介して提案される。
論文 参考訳(メタデータ) (2022-07-23T17:30:54Z) - On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。
分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文 参考訳(メタデータ) (2022-02-28T13:01:04Z) - On the Role of Optimization in Double Descent: A Least Squares Study [30.44215064390409]
最小二乗対象の降下勾配解に対して過大なリスクを負うことを示す。
ノイズのない回帰の場合、二重降下は最適化関連量によってのみ説明される。
ニューラルネットワークの予測が保たれているかどうかを実証的に調査する。
論文 参考訳(メタデータ) (2021-07-27T09:13:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。