Fugu-MT 論文翻訳(概要): Anon: Extrapolating Optimizer Adaptivity Across the Real Spectrum

論文の概要: Anon: Extrapolating Optimizer Adaptivity Across the Real Spectrum

arxiv url: http://arxiv.org/abs/2605.02317v1
Date: Mon, 04 May 2026 08:14:51 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-05 20:33:50.186316
Title: Anon: Extrapolating Optimizer Adaptivity Across the Real Spectrum
Title（参考訳）: Anon: 実スペクトルを横断する外挿オプティマイザ適応性
Authors: Yiheng Zhang, Kaiyan Zhao, Shaowu Wu, Yiming Wang, Jiajun Wu, Leong Hou U, Steve Drew, Xiaoguang Niu,
Abstract要約: Anonは、古典と近代のギャップを埋めることのできる、最初の統一的で信頼性の高いフレームワークを提供する。 Anonはハードトラックよりも柔軟で、ノイズに対する勾配の堅牢性を高める。
参考スコア（独自算出の注目度）: 25.876261427108673
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Adaptive optimizers such as Adam have achieved great success in training large-scale models like large language models and diffusion models. However, they often generalize worse than non-adaptive methods, such as SGD on classical architectures like CNNs. We identify a key cause of this performance gap: adaptivity in pre-conditioners, which limits the optimizer's ability to adapt to diverse optimization landscapes. To address this, we propose Anon (Adaptivity Non-restricted Optimizer with Novel convergence technique), a novel optimizer with continuously tunable adaptivity in R, allowing it to interpolate between SGD-like and Adam-like behaviors and even extrapolate beyond both. To ensure convergence across the entire adaptivity spectrum, we introduce incremental delay update (IDU), a novel mechanism that is more flexible than AMSGrad's hard max-tracking strategy and enhances robustness to gradient noise. We theoretically establish convergence guarantees under both convex and non-convex settings. Empirically, Anon consistently outperforms state-of-the-art optimizers on representative image classification, diffusion, and language modeling tasks. These results demonstrate that adaptivity can serve as a valuable tunable design principle, and Anon provides the first unified and reliable framework capable of bridging the gap between classical and modern optimizers and surpassing their advantageous properties.
Abstract（参考訳）: Adamのような適応オプティマイザは、大規模言語モデルや拡散モデルといった大規模モデルのトレーニングで大きな成功を収めています。しかし、それらはCNNのような古典的アーキテクチャ上のSGDのような非適応的な手法よりもよく一般化される。プレコンディショナにおける適応性は,多様な最適化環境に適応する最適化者の能力を制限している。そこで本研究では,R に連続的に調整可能な適応性を持つ新しい最適化器 Anon (Adaptivity Non-Restricted Optimizer with Novel convergence Technique) を提案する。適応スペクトル全体の収束を確保するために, AMSGradのハードマックス追跡戦略よりも柔軟で, 勾配雑音に対する堅牢性を高める新しいメカニズムであるインクリメンタル遅延更新(IDU)を導入する。理論的には凸条件と非凸条件の両方で収束保証を確立する。実証的には、Anonは画像の分類、拡散、言語モデリングタスクにおける最先端の最適化よりも一貫して優れている。これらの結果は、適応性は有意義な調整可能な設計原理として機能し、Anonは古典的な最適化と近代的な最適化のギャップを埋め、それらの有利な特性を克服することのできる、最初の統一的で信頼性の高いフレームワークを提供する。

関連論文リスト

Diff3R: Feed-forward 3D Gaussian Splatting with Uncertainty-aware Differentiable Optimization [76.38917994186733]
Diff3Rはフィードフォワード予測とテストタイム最適化をブリッジする新しいフレームワークである。フィードフォワード3DGSアーキテクチャにシームレスに統合でき、ポーズギヴン法とポーズフリー法の両方に対応できることを示す。
論文参考訳（メタデータ） (2026-04-01T15:40:20Z)
HVAdam: A Full-Dimension Adaptive Optimizer [18.315990067259253]
Anonは、古典と近代のギャップを埋めることのできる、最初の統一的で信頼性の高いフレームワークを提供する。アニオンはSGDライクな行動とアダムライクな行動の両方を補間する。
論文参考訳（メタデータ） (2025-11-25T13:05:40Z)
Divergence Minimization Preference Optimization for Diffusion Model Alignment [66.31417479052774]
Divergence Minimization Preference Optimization (DMPO) は、逆KL分散を最小化して拡散モデルを整列する原理的手法である。 DMPOは、異なるベースモデルとテストセットで既存のテクニックを一貫して上回り、適合させることができる。
論文参考訳（メタデータ） (2025-07-10T07:57:30Z)
ASPO: Adaptive Sentence-Level Preference Optimization for Fine-Grained Multimodal Reasoning [14.034412856423529]
直接選好最適化(DPO)は,大規模言語モデル(LLM)の整合性において,その単純さと計算効率に注目されている。最近の進歩はDPOをマルチモーダルシナリオに拡張し、高いパフォーマンスを実現している。従来のDPOは、細かなセグメントの正しさを考慮せずに、二分選好の最適化、報酬、全応答のペナルティ化に依存している。本稿では、より正確な選好最適化のために個々の文を評価する適応文レベルの選好最適化(ASPO)を提案する。
論文参考訳（メタデータ） (2025-05-25T11:33:08Z)
AYLA: Amplifying Gradient Sensitivity via Loss Transformation in Non-Convex Optimization [0.0]
Gradient Descent (SGD)とその変種(ADAMなど)はディープラーニングの最適化の基礎となっている。本稿では、動的トレーニングを強化する新しいフレームワークであるAYLAを紹介する。
論文参考訳（メタデータ） (2025-04-02T16:31:39Z)
Gradient Correction in Federated Learning with Adaptive Optimization [19.93709245766609]
クライアント-ドリフト補償を適応最適化に組み込む最初のアルゴリズムである tt FAdamGC を提案する。 tt FAdamGCは、様々なレベルのデータの通信とコストにおいて、既存の手法よりも一貫して優れていることを示す。
論文参考訳（メタデータ） (2025-02-04T21:21:30Z)
AlphaAdam:Asynchronous Masked Optimization with Dynamic Alpha for Selective Updates [17.490809667438818]
大規模言語モデル(LLM)の最適化フレームワークであるAlphaAdamを提案する。パラメータの更新を分離し、その強度を動的に調整することで、AlphaAdamは収束を加速し、トレーニングの安定性を向上させる。
論文参考訳（メタデータ） (2025-01-30T02:10:23Z)
Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
論文参考訳（メタデータ） (2024-06-04T20:33:22Z)
Bidirectional Looking with A Novel Double Exponential Moving Average to Adaptive and Non-adaptive Momentum Optimizers [109.52244418498974]
我々は,新しいtextscAdmeta(textbfADouble指数textbfMov averagtextbfE textbfAdaptiveおよび非適応運動量)フレームワークを提案する。我々は、textscAdmetaR と textscAdmetaS の2つの実装を提供し、前者は RAdam を、後者は SGDM をベースとしています。
論文参考訳（メタデータ） (2023-07-02T18:16:06Z)
Accelerated Federated Learning with Decoupled Adaptive Optimization [53.230515878096426]
フェデレートドラーニング(FL)フレームワークは、クライアント上のトレーニングデータのプライバシを維持しながら、共有モデルを協調的に学習することを可能にする。近年,SGDM,Adam,AdaGradなどの集中型適応最適化手法をフェデレートした設定に一般化するためのイテレーションが多数実施されている。本研究は、常微分方程式(ODE)のダイナミクスの観点から、FLの新しい適応最適化手法を開発することを目的としている。
論文参考訳（メタデータ） (2022-07-14T22:46:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。