論文の概要: SIMS: Scale-Invariant Merit-Function-Based Scalarization for Multi-Task Learning
- arxiv url: http://arxiv.org/abs/2609.12599v1
- Date: Fri, 11 Sep 2026 08:50:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 07:38:31.690576
- Title: SIMS: Scale-Invariant Merit-Function-Based Scalarization for Multi-Task Learning
- Title（参考訳）: SIMS:マルチタスク学習のためのスケール不変Merit-Function-based Scalarization
- Abstract要約: マルチタスク学習のためのSIMS(Scale-Invariant Merit-function-based Scalarization)を提案する。
SIMSは既存のスキャラライズ手法を一貫して上回り、最先端の性能を実現していることを示す。
- 参考スコア（独自算出の注目度）: 34.878768912505485
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-task learning (MTL) requires navigating unavoidable trade-offs among competing objectives. This paradigm is frequently formulated as multi-objective optimization (MOO), where the scalarization is favored to reduce an MOO problem to a single objective. We empirically find that existing merit-function-based scalarization approaches are sensitive to the relative scales of different objectives in practical MTL, where task losses commonly differ by orders of magnitude. The optimization process often favors objectives with larger scales even though the underlying Pareto optimal solutions remains invariant to rescaling (i.e., multiplying an objective by a positive constant). To address this issue, we propose Scale-Invariant Merit-function-based Scalarization (SIMS) for MTL. Specifically, SIMS adopts a transformation-induced merit function to convert the MOO problem of MTL to a single objective that renders optimization invariant to the magnitudes of losses. Theoretically, we prove that the requirement for scale invariance uniquely determines this transformation to be logarithmic. We further show that this general transformation-induced merit function preserves weak Pareto optimality and admits a smooth surrogate with controllable approximation error. Extensive experiments on representative multi-task benchmarks demonstrate that SIMS consistently outperforms existing scalarization methods and achieves state-of-the-art performance.
- Abstract（参考訳）: マルチタスク学習(MTL)は、競合する目標間の避けられないトレードオフをナビゲートする必要がある。
このパラダイムは多目的最適化(MOO)としてしばしば定式化され、MOO問題を単一の目的に還元するためにスカラー化が好まれる。
既存のメリット関数に基づくスキャラライズ手法は,タスクの損失が桁違いに大きく異なる実運用MTLにおいて,異なる目的の相対スケールに敏感であることが実証的に確認された。
最適化過程は、下層のパレート最適解が再スケーリング(すなわち、目的を正の定数で乗算する)に不変であるにもかかわらず、より大きなスケールで目的を好むことが多い。
この問題に対処するため,MTLのためのSIMS(Scale-Invariant Merit-function-based Scalarization)を提案する。
具体的には、MDLのMOO問題を1つの目的に変換するために、SIMSは変換誘起メリット関数を採用し、損失の大きさに不変な最適化を行う。
理論的には、スケール不変性の要件は、この変換が対数的であることを一意に決定する。
さらに、この一般変換誘導メリット関数は、弱いパレート最適性を保ち、制御可能な近似誤差を持つ滑らかな代理を持つことを示す。
代表的マルチタスクベンチマークに関する大規模な実験は、SIMSが既存のスカラー化手法を一貫して上回り、最先端の性能を達成することを示した。
関連論文リスト
- Variational Entropic Optimal Transport [67.76725267984578]
本稿では,ドメイン翻訳問題に対する変分エントロピー最適輸送(VarEOT)を提案する。
VarEOTは、補助正の正規化子上のトラクタブルな一般化として、log-partition $log mathbbE[exp(cdot)$の正確な変分再構成に基づいている。
合成データと画像と画像の変換に関する実験は、競争力のあるか、あるいはより良い翻訳品質を示す。
論文 参考訳（メタデータ） (2026-02-02T15:48:44Z) - Adaptive Layer-Wise Transformations for Post-Training Quantization of Large Language Models [47.54958360970588]
大規模言語モデルは、デプロイメントにかなりの計算資源を必要とする。
効果的な量子化の主な障害は、活性化と重みの体系的な外れ値にある。
本稿では,層ごとの最適変換を体系的に決定する適応変換選択フレームワークを提案する。
論文 参考訳（メタデータ） (2025-11-21T22:01:58Z) - A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。
これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。
我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
論文 参考訳（メタデータ） (2024-10-14T12:10:06Z) - Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [63.10833446782114]
言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。
Zeroth-order (ZO) 最適化手法はメモリ効率の良い代替手段を提供する。
本稿では,高次元摂動によって生じる課題に対処するために,部分空間ゼロ次最適化を提案する。
論文 参考訳（メタデータ） (2024-10-11T17:01:43Z) - Interpetable Target-Feature Aggregation for Multi-Task Learning based on Bias-Variance Analysis [53.38518232934096]
マルチタスク学習(MTL)は、タスク間の共有知識を活用し、一般化とパフォーマンスを改善するために設計された強力な機械学習パラダイムである。
本稿では,タスククラスタリングと特徴変換の交点におけるMTL手法を提案する。
両段階において、鍵となる側面は減った目標と特徴の解釈可能性を維持することである。
論文 参考訳（メタデータ） (2024-06-12T08:30:16Z) - Dual-Balancing for Multi-Task Learning [42.613360970194734]
本稿では、損失と勾配の両面からタスクバランスの問題を軽減するために、Dual-Balancing Multi-Task Learning (DB-MTL)法を提案する。
DB-MTLは、各タスク損失に対して対数変換を行うことで損失スケールの分散を保証し、すべてのタスク勾配を最大勾配基準と同じ大きさに正規化することで勾配磁度バランスを保証します。
論文 参考訳（メタデータ） (2023-08-23T09:41:28Z) - Independent Component Alignment for Multi-Task Learning [2.5234156040689237]
マルチタスク学習(MTL)では、複数のタスクに共同で取り組むために単一のモデルを訓練する。
MTL最適化の安定性基準として線形勾配系の条件数を用いる。
本稿では,提案基準に基づく新しいMTL最適化手法であるAligned-MTLを提案する。
論文 参考訳（メタデータ） (2023-05-30T12:56:36Z) - Scalable Bayesian Meta-Learning through Generalized Implicit Gradients [64.21628447579772]
Inlicit Bayesian Meta-learning (iBaML) 法は、学習可能な事前のスコープを広げるだけでなく、関連する不確実性も定量化する。
解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
論文 参考訳（メタデータ） (2023-03-31T02:10:30Z) - SLAW: Scaled Loss Approximate Weighting for Efficient Multi-Task
Learning [0.0]
マルチタスク学習(MTL)は、機械学習のサブフィールドであり、重要な応用がある。
最適MTL最適化法は、各タスクの損失関数の勾配を個別に計算する必要がある。
マルチタスク最適化手法であるScaled Loss Approximate Weighting (SLAW)を提案する。
論文 参考訳（メタデータ） (2021-09-16T20:58:40Z) - Learning Invariant Representations using Inverse Contrastive Loss [34.93395633215398]
興味のある変数に不変な学習表現に対して,損失のクラスを導入する。
外部変数がバイナリである場合、iclの最適化は正規化mmd分岐の最適化と同値であることを示す。
論文 参考訳（メタデータ） (2021-02-16T18:29:28Z) - Theoretical Convergence of Multi-Step Model-Agnostic Meta-Learning [63.64636047748605]
一般的なマルチステップMAMLアルゴリズムに対して収束保証を提供するための新しい理論フレームワークを開発する。
特に,本研究の結果は,収束を保証するためには,内部段階のステップを逆比例して$N$の内段ステップを選択する必要があることを示唆している。
論文 参考訳（メタデータ） (2020-02-18T19:17:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。