論文の概要: Dimensional Peeking for Low-Variance Gradients in Zeroth-Order Discrete Optimization via Simulation

• arxiv url: http://arxiv.org/abs/2602.00075v1
• Date: Wed, 21 Jan 2026 04:23:06 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-02-08 13:04:06.198268
• Title: Dimensional Peeking for Low-Variance Gradients in Zeroth-Order Discrete Optimization via Simulation
• Title（参考訳）: シミュレーションによるゼロ次離散最適化における低変数勾配の次元探索
• Authors: Philipp Andelfinger, Wentong Cai,
• Abstract要約: 高次元空間における局所最適勾配を特定するために勾配に基づく最適化法が用いられる。 本稿では,C++プログラム上での3次元検索を行う手法を提案する。
• 参考スコア（独自算出の注目度）: 1.6413784607599409
• License:
• Abstract: Gradient-based optimization methods are commonly used to identify local optima in high-dimensional spaces. When derivatives cannot be evaluated directly, stochastic estimators can provide approximate gradients. However, these estimators' perturbation-based sampling of the objective function introduces variance that can lead to slow convergence. In this paper, we present dimensional peeking, a variance reduction method for gradient estimation in discrete optimization via simulation. By lifting the sampling granularity from scalar values to classes of values that follow the same control flow path, we increase the information gathered per simulation evaluation. Our derivation from an established smoothed gradient estimator shows that the method does not introduce any bias. We present an implementation via a custom numerical data type to transparently carry out dimensional peeking over C++ programs. Variance reductions by factors of up to 7.9 are observed for three simulation-based optimization problems with high-dimensional input. The optimization progress compared to three meta-heuristics shows that dimensional peeking increases the competitiveness of zeroth-order optimization for discrete and non-convex simulations.
• Abstract（参考訳）: 勾配に基づく最適化法は、高次元空間における局所最適性を特定するために一般的に用いられる。 微分が直接評価できない場合、確率的推定器は近似勾配を与えることができる。 しかし、これらの推定器による目的関数の摂動に基づくサンプリングは、収束が遅くなるような分散をもたらす。 本稿では, 離散最適化における勾配推定の分散化法である次元ピーク法について, シミュレーションにより検討する。 サンプルの粒度をスカラー値から同じ制御フローパスに従う値のクラスに引き上げることで,シミュレーション評価により収集した情報を増やす。 確立されたスムーズな勾配推定器からの導出は, この手法がバイアスを生じさせないことを示す。 本稿では,C++プログラム上での次元的なピアリングを透過的に行うための,カスタム数値データ型による実装を提案する。 高次元入力を伴う3つのシミュレーションベース最適化問題に対して,最大7.9因子による分散低減が観測された。 3つのメタヒューリスティックスと比較して最適化の進行は、離散および非凸シミュレーションにおけるゼロ階最適化の競合性を高めることを示す。

関連論文リスト

• Prior-Informed Zeroth-Order Optimization with Adaptive Direction Alignment for Memory-Efficient LLM Fine-Tuning [4.278794376089146]
  本稿では,事前インフォームド摂動を組み込んだプラグアンドプレイ手法を提案する。 本手法は標準ZO法と比較して収束を著しく加速する。 勾配推定器が真の勾配方向とより強く一致することを証明する。
  論文  参考訳（メタデータ） (2026-01-08T08:27:15Z)
• On the Optimal Construction of Unbiased Gradient Estimators for Zeroth-Order Optimization [57.179679246370114]
  既存の手法の潜在的な制限は、ステップサイズが提案されない限り、ほとんどの摂動推定器に固有のバイアスである。 本稿では, 良好な構成を維持しつつ, バイアスを排除した非バイアス勾配スケーリング推定器のファミリーを提案する。
  論文  参考訳（メタデータ） (2025-10-22T18:25:43Z)
• Neural Gradient Learning and Optimization for Oriented Point Normal Estimation [53.611206368815125]
  本研究では,3次元点雲から勾配ベクトルを一貫した向きで学習し,正規推定を行うためのディープラーニング手法を提案する。 局所平面幾何に基づいて角距離場を学習し、粗勾配ベクトルを洗練する。 本手法は,局所特徴記述の精度と能力の一般化を図りながら,グローバル勾配近似を効率的に行う。
  論文  参考訳（メタデータ） (2023-09-17T08:35:11Z)
• Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent [43.097493761380186]
  勾配アルゴリズムは線形系を解くのに有効な方法である。 最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。 実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-06-20T15:07:37Z)
• Differentiable Agent-Based Simulation for Gradient-Guided Simulation-Based Optimization [0.0]
  勾配推定法は局所最適化に向けて最適化を行うのに利用できる。 高入力次元の信号タイミング最適化問題では、勾配に基づく手法の方がかなり優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-23T11:58:21Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Channel-Directed Gradients for Optimization of Convolutional Neural Networks [50.34913837546743]
  本稿では,畳み込みニューラルネットワークの最適化手法を提案する。 出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
  論文  参考訳（メタデータ） (2020-08-25T00:44:09Z)
• A Primer on Zeroth-Order Optimization in Signal Processing and Machine Learning [95.85269649177336]
  ZO最適化は、勾配推定、降下方向、ソリューション更新の3つの主要なステップを反復的に実行する。 我々は,ブラックボックス深層学習モデルによる説明文の評価や生成,効率的なオンラインセンサ管理など,ZO最適化の有望な応用を実証する。
  論文  参考訳（メタデータ） (2020-06-11T06:50:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。