論文の概要: Probabilistic Smoothing with Ratio-Monotone Transforms for Global Optimization
- arxiv url: http://arxiv.org/abs/2605.27316v1
- Date: Tue, 26 May 2026 17:25:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-27 17:51:42.5632
- Title: Probabilistic Smoothing with Ratio-Monotone Transforms for Global Optimization
- Title(参考訳): 大域最適化のための比モノトン変換による確率的平滑化
- Authors: Kukyoung Jang, Taehyun Cho, Junrui Zhang, Ping Xu, Kyungjae Lee,
- Abstract要約: フレキシブル対称ユニモーダルカーネルとモノトニック比に基づく変換を組み合わせた一般的な平滑化フレームワークを提案する。
高次元ベンチマークとブラックボックス攻撃の実験では、堅牢性と競争性能が改善された。
- 参考スコア(独自算出の注目度): 12.72057284593005
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Probabilistic smoothing is a standard tool for global optimization, but existing methods rely on Gaussian kernels and specific transforms, often resulting in strong hyperparameter sensitivity and limited robustness. We propose a general smoothing framework that combines flexible symmetric unimodal kernels with monotonic ratio-based transformations. Under mild conditions, we show that the smoothed objective preserves the global maximizer and that all stationary points concentrate near the true optimum for sufficiently large amplification, without requiring a decreasing smoothing schedule. We further provide explicit complexity bounds for stochastic gradient ascent and show that a leave-one-out baseline provably reduces variance. Experiments on high-dimensional benchmarks and black-box adversarial attacks demonstrate improved robustness and competitive performance.
- Abstract(参考訳): 確率的平滑化(probabilistic smoothing)は、大域最適化の標準ツールであるが、既存の手法はガウスのカーネルと特定の変換に依存しており、しばしば強いハイパーパラメータ感度と限られたロバスト性をもたらす。
フレキシブル対称ユニモーダルカーネルとモノトニック比に基づく変換を組み合わせた一般的な平滑化フレームワークを提案する。
緩やかな条件下では、滑らかな目的が大域的な最大値を保存することを示し、全ての定常点が十分に大きな増幅のために真の最適値の近くに集中していることを示し、滑らかなスケジュールを小さくする必要がない。
さらに、確率的勾配上昇に対する明示的な複雑性境界を提供し、アウトアウトベースラインが確率的に分散を減少させることを示す。
高次元ベンチマークとブラックボックス攻撃の実験では、堅牢性と競争性能が改善された。
関連論文リスト
- First-Order Softmax Weighted Switching Gradient Method for Distributed Stochastic Minimax Optimization with Stochastic Constraints [9.141425189503794]
フェデレート学習に適した1次ソフトマックス重み付きスイッチング勾配法を提案する。
完全なクライアント参加の下で、我々のアルゴリズムは標準的な $mathcalO(-4)$ Oracle complexity を達成する。
我々は、統一されたエラー分解を提供し、シャープな$mathcalO(logfrac1)$高確率収束保証を確立する。
論文 参考訳(メタデータ) (2026-03-06T00:14:46Z) - Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。
我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。
重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
論文 参考訳(メタデータ) (2026-02-24T05:32:03Z) - Majorization-Minimization Networks for Inverse Problems: An Application to EEG Imaging [4.063392865490957]
逆問題はしばしば誤りを犯し、強い安定性と収束を保証する最適化スキームを必要とする。
本稿では,二段階最適化設定における逆問題に対する学習されたMajorization-Minimization(MM)フレームワークを提案する。
我々は,古典的MM降下保証を保ちながら,各MMステップを管理する構造化曲率行列を学習する。
論文 参考訳(メタデータ) (2026-01-23T10:33:45Z) - Mirror Descent Under Generalized Smoothness [23.5387392871236]
一般ノルムと双対という観点からヘッセンのノルムを測定する新しい$ell*$-smoothnessの概念を導入する。
我々は、古典的な滑らかさの下でのレートに一致するミラー・ディフレッシュ型アルゴリズムの収束性を確立する。
論文 参考訳(メタデータ) (2025-02-02T11:23:10Z) - Optimal Guarantees for Algorithmic Reproducibility and Gradient
Complexity in Convex Optimization [55.115992622028685]
以前の研究は、一階法はより良い収束率(漸進収束率)をトレードオフする必要があることを示唆している。
最適複雑性と準最適収束保証の両方を、滑らかな凸最小化と滑らかな凸最小化問題に対して達成できることを実証する。
論文 参考訳(メタデータ) (2023-10-26T19:56:52Z) - Smoothing the Edges: Smooth Optimization for Sparse Regularization using Hadamard Overparametrization [10.009748368458409]
本稿では、(構造化された)空間性に対して、明示的に正規化された目的を円滑に最適化するためのフレームワークを提案する。
提案手法は,完全微分可能近似自由最適化を実現し,深層学習におけるユビキタス勾配降下パラダイムと互換性がある。
論文 参考訳(メタデータ) (2023-07-07T13:06:12Z) - High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。
そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
論文 参考訳(メタデータ) (2021-06-10T17:54:21Z) - Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient
Clipping [69.9674326582747]
そこで本研究では,重み付き分散雑音を用いたスムーズな凸最適化のための,クリップ付きSSTMと呼ばれる新しい1次高速化手法を提案する。
この場合、最先端の結果を上回る新たな複雑さが証明される。
本研究は,SGDにおいて,ノイズに対する光細かな仮定を伴わずにクリッピングを施した最初の非自明な高確率複雑性境界を導出した。
論文 参考訳(メタデータ) (2020-05-21T17:05:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。