論文の概要: Zeroth-Order Sharpness-Aware Learning with Exponential Tilting

• arxiv url: http://arxiv.org/abs/2510.16157v1
• Date: Fri, 17 Oct 2025 19:01:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 00:56:38.874327
• Title: Zeroth-Order Sharpness-Aware Learning with Exponential Tilting
• Title（参考訳）: 指数ティルティングによるゼロ次シャープネス認識学習
• Authors: Xuchen Gong, Tian Li,
• Abstract要約: 傾きパラメータ$t$でパラメータ化されたソフトシャープネスの目的を解くため、新しいゼロ階アルゴリズムを探索する。 傾斜SAMフレームワークのシャープネスの概念を正確に評価する。 我々の手法はSAMの変種に代えて、勾配のないメモリ効率の代替として利用することができる。
• 参考スコア（独自算出の注目度）: 5.409688800035885
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Classic zeroth-order optimization approaches typically optimize for a smoothed version of the original function, i.e., the expected objective under randomly perturbed model parameters. This can be interpreted as encouraging the loss values in the perturbation set to be small on average. Popular sharpness-aware minimization (SAM) objectives, however, typically focus on the largest loss within the neighborhood to arrive at flat minima more effectively. In this work, we connect zeroth-order optimization (and its corresponding objectives) with SAM approaches explicitly, through an exponential tilting objective that provides a smooth transition between the average- and the max-loss formulations. We explore new zeroth-order algorithms to solve a soft SAM objective parameterized by a tilting parameter $t$. We provide precise characterizations of the sharpness notions of the tilted SAM framework. Practically, our approach can be used as a gradient-free and memory-efficient alternative to SAM variants, and it achieves better generalization compared to vanilla zeroth-order baselines on a wide range of downstream tasks, including classification, multiple choice QA, and language generation.
• Abstract（参考訳）: 古典的なゼロ階最適化アプローチは、典型的には元の関数の滑らかなバージョン、すなわちランダムに摂動されたモデルパラメータの下で期待される目的のために最適化される。 これは、摂動集合における損失値が平均して小さいことを奨励するものとして解釈できる。 しかし、人気の高いシャープネス認識最小化(SAM)の目標は通常、フラット・ミニマにもっと効果的に到達するために、地区内で最大の損失に焦点を当てている。 本研究では、ゼロ階最適化(およびそれに対応する目的)とSAMアプローチを明示的に結合し、平均と最大ロスの定式化の間の滑らかな遷移を与える指数的傾きの目的とする。 我々は、傾きパラメータ$t$でパラメータ化されたソフトSAMの目的を解くため、新しいゼロ階アルゴリズムを探索する。 傾斜SAMフレームワークのシャープネスの概念を正確に評価する。 実際に,本手法はSAM変種に対する勾配のないメモリ効率の代替として利用することができ,分類,複数選択QA,言語生成など,下流タスクにおけるバニラゼロ階次ベースラインよりも優れた一般化を実現している。

関連論文リスト

• LORENZA: Enhancing Generalization in Low-Rank Gradient LLM Training via Efficient Zeroth-Order Adaptive SAM [13.180761892449736]
  大規模言語モデル(LLM)のためのロバストパラメータ効率細調整法(PEFT)について検討する。 我々はAdam と Sharpness-Aware Minimization (SAM) を組み合わせた AdaZo-SAM という,計算効率のよい新しいフレームワークを提案する。 また,AdaZo-SAMのメモリ効率向上版であるLORENZAという低ランク勾配最適化手法を設計した。
  論文  参考訳（メタデータ） (2025-02-26T21:30:34Z)
• Tilted Sharpness-Aware Minimization [24.689230137012174]
  シャープネス・アウェアの最小化(SAM)は、超無限ハミルトン一般化アルゴリズムの一般化性能を改善するために実証されている。 TSAMはTSAMよりもスムーズであり,TSAMを解くよりも最適化し易いことを示す。
  論文  参考訳（メタデータ） (2024-10-30T02:49:48Z)
• Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [63.10833446782114]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZO) 最適化手法はメモリ効率の良い代替手段を提供する。 本稿では,高次元摂動によって生じる課題に対処するために,部分空間ゼロ次最適化を提案する。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)
• Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity [59.75300530380427]
  本稿では,アルゴリズムが検索対象関数の雑音評価にのみアクセス可能な2次スムーズかつ強い凸関数を最適化する問題を考察する。 本研究は, ミニマックス単純後悔率について, 一致した上界と下界を発達させることにより, 初めて厳密な評価を行ったものである。
  論文  参考訳（メタデータ） (2024-06-28T02:56:22Z)
• A Universal Class of Sharpness-Aware Minimization Algorithms [57.29207151446387]
  我々は、新しいシャープネス尺度を導入し、新しいシャープネス対応目標関数を導出する。 これらの測度がテキスト的に表現可能であることを証明し、トレーニング損失ヘッセン行列の任意の関数を適切なハイパーおよび行列式で表すことを可能にする。
  論文  参考訳（メタデータ） (2024-06-06T01:52:09Z)
• Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
  ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。 両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。 転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2023-10-10T10:48:52Z)
• Sharpness-Aware Minimization for Efficiently Improving Generalization [36.87818971067698]
  本稿では,損失値と損失シャープネスを同時に最小化する新しい効果的な手法を提案する。 シャープネス・アウェアの最小化(SAM)は、一様損失の少ない地区にあるパラメータを求める。 SAMは様々なベンチマークデータセットのモデル一般化を改善することを示す実験結果を示す。
  論文  参考訳（メタデータ） (2020-10-03T19:02:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。