論文の概要: Integer Natural Evolution Strategies

• arxiv url: http://arxiv.org/abs/2608.23714v1
• Date: Mon, 24 Aug 2026 18:04:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.502238
• Title: Integer Natural Evolution Strategies
• Title（参考訳）: 整数自然進化戦略
• Abstract要約: 第一原理から完全$ell_1$-nativeのステップサイズ適応機構を提案する。 我々は、DG分布が指数族に属し、その十分統計量$|z|$が適応のための自然な勾配信号をもたらすことを示す。 これは、連続ES機構の離散的なアナログとしてではなく、突然変異分布の統計的構造から直接DGベースのステップサイズ適応が生じることを証明している。
• 参考スコア（独自算出の注目度）: 3.6025363730694604
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While contemporary Evolution Strategies handle integer optimization problems effectively, their adaptation mechanism is grounded in $\ell_2$-based Gaussian models, which are not native to the integer lattice. In contrast, the $\ell_1$-norm provides the natural measure of displacement on $\mathbb{Z}^n$, with the double geometric distribution as its canonical mutation operator. In this work, we derive a fully $\ell_1$-native step-size adaptation mechanism from first principles and propose an Integer Natural Evolution Strategy. We show that the DG distribution belongs to the exponential family, and that its sufficient statistic $|z|$ yields a natural-gradient signal for dispersion adaptation. By accumulating this signal via an evolution path, we obtain a fading-memory online estimator of the natural gradient, following Ollivier (2018). This establishes that DG-based step-size adaptation arises directly from the statistical structure of the mutation distribution, rather than as a discrete analog of continuous ES mechanisms. Empirical results on integer quadratic benchmarks show that \textsc{INES} learns meaningful coordinate-wise step-sizes and is competitive with integer-handling CMA-ES baselines. Its advantages are most visible in high-dimensional Ellipsoidal problems and in robust convergence at larger dimensions.
• Abstract（参考訳）: 現代の進化戦略は整数最適化問題を効果的に扱うが、それらの適応機構は整数格子に固有のものではない$\ell_2$-based Gaussianモデルに基礎を置いている。 これとは対照的に、$\ell_1$-norm は $\mathbb{Z}^n$ 上の変位の自然な測度を与える。 本研究では,第一原理から完全$\ell_1$-nativeのステップサイズ適応機構を導出し,Integer Natural Evolution Strategyを提案する。 我々は、DG分布が指数族に属し、その十分統計量$|z|$が分散適応の自然な勾配信号をもたらすことを示す。 進化経路を介してこのシグナルを蓄積することにより、Ollivier (2018) に続く自然勾配のフェードメモリオンライン推定器を得る。 これは、連続ES機構の離散的なアナログとしてではなく、突然変異分布の統計的構造から直接DGベースのステップサイズ適応が生じることを証明している。 整数2次ベンチマークの実証的な結果から、 \textsc{INES} は有意義な座標のステップサイズを学習し、整数処理の CMA-ES ベースラインと競合することが示された。 その利点は、高次元の楕円体問題やより大きな次元での堅牢な収束において最も顕著である。

関連論文リスト

• Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
  プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。 我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。 重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
  論文  参考訳（メタデータ） (2026-02-24T05:32:03Z)
• Rethinking Diffusion Models with Symmetries through Canonicalization with Applications to Molecular Graph Generation [56.361076943802594]
  CanonFlowは、挑戦的なGEOM-DRUGデータセット上で最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-02-16T18:58:55Z)
• On the Computational Complexity of Performative Prediction [59.584063949469645]
  我々は、$$-performatively stable pointの計算がPPAD完全であることを示す。 我々の重要な技術的貢献の1つは、PPAD-hardnessの結果を一般的な凸領域に拡張することである。
  論文  参考訳（メタデータ） (2026-01-28T02:26:35Z)
• Correlated Mutations for Integer Programming [0.0]
  本研究は、進化戦略(IESs)の基盤を確立することを目的としている。 IESはすでにIP処理に優れていますが、離散化や高度なパッチを連続演算子に適用することで実現しています。 整数決定変数の突然変異分布に着目した。 エントロピー関数を含むそれらの理論的性質を考察し、拡張性のある相関突然変異分布を生成する方法を提案する。
  論文  参考訳（メタデータ） (2025-06-27T08:24:15Z)
• Mirror Descent and Novel Exponentiated Gradient Algorithms Using Trace-Form Entropies and Deformed Logarithms [17.422938130292827]
  本稿では,ミラー輝き(MD)と一般化指数勾配(GEG)アルゴリズムについて紹介する。 これらの一般化エントロピーを活用することで、MD & GEGアルゴリズムは収束挙動の改善、消滅と爆発勾配への堅牢性、非ユークリッド幾何学への固有の適応性をもたらす。
  論文  参考訳（メタデータ） (2025-03-11T10:50:07Z)
• Abnormal Mutations: Evolution Strategies Don't Require Gaussianity [3.9100702878800644]
  本稿では,(1+1)-ESからCMA-ESまで,幅広い進化戦略が同等の最適化性能を示すことを実証的に示す。 これらの結果は、スフィアモデルだけでなく、より広範なベンチマーク問題にも当てはまる。
  論文  参考訳（メタデータ） (2025-02-05T13:17:07Z)
• Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
  単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。 我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
  論文  参考訳（メタデータ） (2024-03-08T18:50:19Z)
• Implicit Bias and Fast Convergence Rates for Self-attention [26.766649949420746]
  本稿では,変圧器の定義機構である自己注意の基本的な最適化原理について考察する。 線形分類におけるデコーダを用いた自己アテンション層における勾配ベースの暗黙バイアスを解析する。
  論文  参考訳（メタデータ） (2024-02-08T15:15:09Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)
• NAG-GS: Semi-Implicit, Accelerated and Robust Stochastic Optimizer [45.47667026025716]
  2つの重要な要素に依存した、新しく、堅牢で、加速された反復を提案する。 NAG-GSと呼ばれる手法の収束と安定性は、まず広範に研究されている。 我々は、NAG-arityが、重量減衰を伴う運動量SGDや機械学習モデルのトレーニングのためのAdamWといった最先端の手法と競合していることを示す。
  論文  参考訳（メタデータ） (2022-09-29T16:54:53Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• A Precise High-Dimensional Asymptotic Theory for Boosting and Minimum-$\ell_1$-Norm Interpolated Classifiers [3.167685495996986]
  本稿では,分離可能なデータの強化に関する高精度な高次元理論を確立する。 統計モデルのクラスでは、ブースティングの普遍性誤差を正確に解析する。 また, 推力試験誤差と最適ベイズ誤差の関係を明示的に説明する。
  論文  参考訳（メタデータ） (2020-02-05T00:24:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。