Fugu-MT 論文翻訳(概要): HVAdam: A Full-Dimension Adaptive Optimizer

論文の概要: HVAdam: A Full-Dimension Adaptive Optimizer

arxiv url: http://arxiv.org/abs/2511.20277v1
Date: Tue, 25 Nov 2025 13:05:40 GMT
ステータス: 翻訳完了
システム内更新日: 2025-11-26 17:37:04.466432
Title: HVAdam: A Full-Dimension Adaptive Optimizer
Title（参考訳）: HVAdam: フルディメンジョン適応最適化器
Authors: Yiheng Zhang, Shaowu Wu, Yuanzhuo Xu, Jiajun Wu, Shang Xu, Steve Drew, Xiaoguang Niu,
Abstract要約: Anonは、古典と近代のギャップを埋めることのできる、最初の統一的で信頼性の高いフレームワークを提供する。アニオンはSGDライクな行動とアダムライクな行動の両方を補間する。
参考スコア（独自算出の注目度）: 18.315990067259253
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Adaptive optimizers such as Adam have achieved great success in training large-scale models like large language models and diffusion models. However, they often generalize worse than non-adaptive methods, such as SGD on classical architectures like CNNs. We identify a key cause of this performance gap: adaptivity in pre-conditioners, which limits the optimizer's ability to adapt to diverse optimization landscapes. To address this, we propose Anon (Adaptivity Non-restricted Optimizer with Novel convergence technique), a novel optimizer with continuously tunable adaptivity , allowing it to interpolate between SGD-like and Adam-like behaviors and even extrapolate beyond both. To ensure convergence across the entire adaptivity spectrum, we introduce incremental delay update (IDU), a novel mechanism that is more flexible than AMSGrad's hard max-tracking strategy and enhances robustness to gradient noise. We theoretically establish convergence guarantees under both convex and non-convex settings. Empirically, Anon consistently outperforms state-of-the-art optimizers on representative image classification, diffusion, and language modeling tasks. These results demonstrate that adaptivity can serve as a valuable tunable design principle, and Anon provides the first unified and reliable framework capable of bridging the gap between classical and modern optimizers and surpassing their advantageous properties.
Abstract（参考訳）: Adamのような適応オプティマイザは、大規模言語モデルや拡散モデルといった大規模モデルのトレーニングで大きな成功を収めています。しかし、それらはCNNのような古典的アーキテクチャ上のSGDのような非適応的な手法よりもよく一般化される。プレコンディショナにおける適応性は,多様な最適化環境に適応する最適化者の能力を制限している。そこで本研究では,SGDライクな動作とAdamライクな動作を補間し,さらに両者を補間する新しい最適化手法であるAnon(Adaptivity Non-Restricted Optimizer with Novel convergence Technique)を提案する。適応スペクトル全体の収束を確保するために, AMSGradのハードマックス追跡戦略よりも柔軟で, 勾配雑音に対する堅牢性を高める新しいメカニズムであるインクリメンタル遅延更新(IDU)を導入する。理論的には凸条件と非凸条件の両方で収束保証を確立する。実証的には、Anonは画像の分類、拡散、言語モデリングタスクにおける最先端の最適化よりも一貫して優れている。これらの結果は、適応性は有意義な調整可能な設計原理として機能し、Anonは古典的な最適化と近代的な最適化のギャップを埋め、それらの有利な特性を克服することのできる、最初の統一的で信頼性の高いフレームワークを提供する。

関連論文リスト

Evolutionary Optimization Trumps Adam Optimization on Embedding Space Exploration [1.529342790344802]
我々は,広く採用されている適応モーメント推定(Adam)に対する分離共分散行列適応進化戦略(sep-CMA-ES)の進化的最適化手法の性能について検討した。提案手法は, 拡散モデルに対して効率よく勾配のない最適化を行い, 微調整を必要とせずに制御性を向上させることを示唆する。
論文参考訳（メタデータ） (2025-11-05T23:31:54Z)
Divergence Minimization Preference Optimization for Diffusion Model Alignment [66.31417479052774]
Divergence Minimization Preference Optimization (DMPO) は、逆KL分散を最小化して拡散モデルを整列する原理的手法である。 DMPOは、異なるベースモデルとテストセットで既存のテクニックを一貫して上回り、適合させることができる。
論文参考訳（メタデータ） (2025-07-10T07:57:30Z)
ASPO: Adaptive Sentence-Level Preference Optimization for Fine-Grained Multimodal Reasoning [14.034412856423529]
直接選好最適化(DPO)は,大規模言語モデル(LLM)の整合性において,その単純さと計算効率に注目されている。最近の進歩はDPOをマルチモーダルシナリオに拡張し、高いパフォーマンスを実現している。従来のDPOは、細かなセグメントの正しさを考慮せずに、二分選好の最適化、報酬、全応答のペナルティ化に依存している。本稿では、より正確な選好最適化のために個々の文を評価する適応文レベルの選好最適化(ASPO)を提案する。
論文参考訳（メタデータ） (2025-05-25T11:33:08Z)
Gradient Correction in Federated Learning with Adaptive Optimization [19.93709245766609]
クライアント-ドリフト補償を適応最適化に組み込む最初のアルゴリズムである tt FAdamGC を提案する。 tt FAdamGCは、様々なレベルのデータの通信とコストにおいて、既存の手法よりも一貫して優れていることを示す。
論文参考訳（メタデータ） (2025-02-04T21:21:30Z)
AlphaAdam:Asynchronous Masked Optimization with Dynamic Alpha for Selective Updates [17.490809667438818]
大規模言語モデル(LLM)の最適化フレームワークであるAlphaAdamを提案する。パラメータの更新を分離し、その強度を動的に調整することで、AlphaAdamは収束を加速し、トレーニングの安定性を向上させる。
論文参考訳（メタデータ） (2025-01-30T02:10:23Z)
FADAS: Towards Federated Adaptive Asynchronous Optimization [56.09666452175333]
フェデレートラーニング(FL)は、プライバシ保護機械学習のトレーニングパラダイムとして広く採用されている。本稿では、非同期更新を適応的フェデレーション最適化と証明可能な保証に組み込む新しい手法であるFADASについて紹介する。提案アルゴリズムの収束率を厳格に確立し,FADASが他の非同期FLベースラインよりも優れていることを示す実験結果を得た。
論文参考訳（メタデータ） (2024-07-25T20:02:57Z)
Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
論文参考訳（メタデータ） (2024-06-04T20:33:22Z)
Preconditioned Federated Learning [7.7269332266153326]
Federated Learning(FL)は、コミュニケーションの効率的かつプライバシ保護の方法でモデルトレーニングを可能にする分散機械学習アプローチである。 FedAvgは、現代の一階適応最適化と比較してアルゴリズム適応性を欠いていると考えられている。局所適応性(PreFed)とサーバ側適応性(PreFedOp)の2つのフレームワークに基づく通信効率の高い新しいFLアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-09-20T14:58:47Z)
Bidirectional Looking with A Novel Double Exponential Moving Average to Adaptive and Non-adaptive Momentum Optimizers [109.52244418498974]
我々は,新しいtextscAdmeta(textbfADouble指数textbfMov averagtextbfE textbfAdaptiveおよび非適応運動量)フレームワークを提案する。我々は、textscAdmetaR と textscAdmetaS の2つの実装を提供し、前者は RAdam を、後者は SGDM をベースとしています。
論文参考訳（メタデータ） (2023-07-02T18:16:06Z)
Accelerated Federated Learning with Decoupled Adaptive Optimization [53.230515878096426]
フェデレートドラーニング(FL)フレームワークは、クライアント上のトレーニングデータのプライバシを維持しながら、共有モデルを協調的に学習することを可能にする。近年,SGDM,Adam,AdaGradなどの集中型適応最適化手法をフェデレートした設定に一般化するためのイテレーションが多数実施されている。本研究は、常微分方程式(ODE)のダイナミクスの観点から、FLの新しい適応最適化手法を開発することを目的としている。
論文参考訳（メタデータ） (2022-07-14T22:46:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。