論文の概要: MAdam: Metric-Aware Multi-Objective Adam
- arxiv url: http://arxiv.org/abs/2606.03904v1
- Date: Tue, 02 Jun 2026 17:00:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-03 22:00:05.191526
- Title: MAdam: Metric-Aware Multi-Objective Adam
- Title（参考訳）: Madam: Metric-Aware Multi-Objective Adam
- Authors: Fengbei Liu, Rachit Saluja, Sunwoo Kwak, Ruibo Wang, Ruining Deng, Heejong Kim, Johannes C. Paetzold, Mert R. Sabuncu,
- Abstract要約: 解答者の意図とカップリングの実行との間には,2つの系統的なギャップが存在する。
textbfMAdam(Metric-Aware Multi-Objective Adam)は,解決器と変更の双方を残したドロップインラッパーである。
マダムはすべての解決者家族に対してアダムよりも一貫して改善する。
- 参考スコア（独自算出の注目度）: 12.820085175292377
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-objective optimization (MOO) underlies many machine learning problems, yet MOO solvers across the loss-balancing, gradient-balancing, and Pareto-based families almost universally hand their reconciled directions to Adam~\cite{kingma2015adam}. We show this coupling introduces two systematic gaps between the solver's intent and the optimizer's execution. The first is a \emph{weighting mismatch}: Adam's second-moment denominator entangles the time-varying preference vector with gradient statistics, marginalizing the preference into a history average and collapsing distinct Pareto trade-offs toward a near-uniform mixture. The second is a \emph{geometric mismatch}: Adam's adaptive metric distorts the Euclidean geometry MOO solvers assume, turning aligned objectives into apparent conflicts. To resolve both jointly, we introduce \textbf{MAdam} (Metric-Aware Multi-Objective Adam), a drop-in wrapper that leaves both solver and optimizer unchanged. MAdam preconditions the reconciled direction by the preference-conditioned curvature of the scalarized objective; on this whitened input, Adam's second moment collapses to identity, so the realized update is governed by the preference-conditioned metric. Across multi-task learning, Pareto-front recovery, physics-informed neural networks, and medical imaging, MAdam consistently improves over Adam for every solver family.
- Abstract（参考訳）: マルチオブジェクト最適化(MOO)は多くの機械学習問題の根底にあるが、損失分散、勾配分散、パレートに基づくファミリーのMOOソルバは、ほぼ普遍的にAdam~\cite{kingma2015adam}に調整された方向を渡している。
この結合は、解の意図とオプティマイザの実行の間に2つの体系的なギャップをもたらすことを示す。
1つは 'emph{weighting mismatch} である: アダムの第2モーメント分母は、時間変化の選好ベクトルを勾配統計で絡み合わせ、その選好を歴史平均に余分にし、パレートのトレードオフをほぼ均一な混合に向けて崩壊させる。
アダムの適応計量はユークリッド幾何学MOOソルバが仮定するユークリッド幾何学を歪め、整列した目的を明らかな矛盾に転換する。
両問題を共同で解決するために,解決器と最適化器の両方をそのまま残したドロップインラッパーである \textbf{MAdam} (Metric-Aware Multi-Objective Adam) を導入する。
マダムは、スカラー化対象の選好条件の曲率によって調整された方向を前提にしており、この白色化された入力では、アダムの第2モーメントはアイデンティティに崩壊するので、実現された更新は、選好条件の計量によって制御される。
マルチタスク学習、Pareto-frontリカバリ、物理インフォームドニューラルネットワーク、医療画像など、Madamは解決者ファミリーごとにAdamよりも一貫して改善している。
関連論文リスト
- Combining Adam and its Inverse Counterpart to Enhance Generalization of Deep Learning Optimizers [57.049014152026864]
ニューラルネットワークのトレーニングでは、適応モーメント推定(Adam)は通常、高速に収束するが、最適以下の一般化性能を示す。
平らなミニマを見つける能力を高めるため、逆アダム(InvAdam)という新しい変種を提案する。
InvAdamは1階と2階のモーメントの要素ワイド乗算を計算し、Adamは2つのモーメントの要素ワイド除算を計算する。
論文 参考訳（メタデータ） (2026-03-07T09:15:30Z) - Conda: Column-Normalized Adam for Training Large Language Models Faster [70.66067959375748]
Column-Normalized Adam (Conda)は、大規模言語モデル(LLM)に対する新しいアプローチである。
Condaはサブスペースに更新を投影し、投影された勾配に基づいてカラムワイズ第2モーメント正規化を適用する。
LLaMAとGPT-2シリーズの実験では、コンダはトレーニング前のAdamW、Muon、その他のベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2025-09-29T02:58:19Z) - UAdam: Unified Adam-Type Algorithmic Framework for Non-Convex Stochastic
Optimization [20.399244578926474]
我々は,Adam型アルゴリズム(UAdam)の統一フレームワークを導入する。
これは、NAdamBound、AdaFom、Adanといった2階のモーメントの一般的な形式を備えている。
UAdam が定常点の近傍に収束して $mathcalO (1/T)$ となることを示す。
論文 参考訳（メタデータ） (2023-05-09T13:07:03Z) - Efficient-Adam: Communication-Efficient Distributed Adam [28.287237692902476]
我々は新しいコミュニケーションの複雑さを提示する。
効率のよい分散Adamモデル。
サーバとワーカの間のコストを削減するために、双方向の量子化を行う。
論文 参考訳（メタデータ） (2022-05-28T16:17:52Z) - Understanding AdamW through Proximal Methods and Scale-Freeness [57.47324825501137]
Adam は $ell$ regularizer Adam-$ell$ の一般化である。
AdamWは、Adam-$ell$の更新ルールからAdam-$ell$の勾配を分離する。
我々はAdamWがAdam-$ell$よりも有利であることを示し、ネットワークの勾配が複数のスケールを示すことを期待する度合いを示す。
論文 参考訳（メタデータ） (2022-01-31T21:00:55Z) - A Novel Convergence Analysis for Algorithms of the Adam Family [105.22760323075008]
本稿ではAdam, AMSGrad, AdaboundなどのAdamスタイルの手法群に対する収束の一般的な証明を示す。
我々の分析は非常に単純で汎用的なので、より広範な非構成最適化問題の族を解くための収束を確立するために利用することができる。
論文 参考訳（メタデータ） (2021-12-07T02:47:58Z) - Understanding the Generalization of Adam in Learning Neural Networks
with Proper Regularization [118.50301177912381]
我々は,重力減衰グローバリゼーションにおいても,目的の異なる解に確実に異なる誤差で収束できることを示す。
凸と重み減衰正則化を用いると、Adamを含む任意の最適化アルゴリズムは同じ解に収束することを示す。
論文 参考訳（メタデータ） (2021-08-25T17:58:21Z) - Adam$^+$: A Stochastic Method with Adaptive Variance Reduction [56.051001950733315]
Adamはディープラーニングアプリケーションに広く使われている最適化手法である。
我々はAdam$+$(Adam-plusと発音する)という新しい方法を提案する。
画像分類,言語モデリング,自動音声認識など,さまざまなディープラーニングタスクに関する実証研究により,Adam$+$がAdamを著しく上回ることを示した。
論文 参考訳（メタデータ） (2020-11-24T09:28:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。