論文の概要: A Structured Tour of Optimization with Finite Differences

• arxiv url: http://arxiv.org/abs/2505.19720v1
• Date: Mon, 26 May 2025 09:08:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.310333
• Title: A Structured Tour of Optimization with Finite Differences
• Title（参考訳）: 有限差分による構造的最適化
• Authors: Marco Rando, Cesare Molinari, Lorenzo Rosasco, Silvia Villa,
• Abstract要約: 有限差分法における構造方向選択の影響について検討する。 構造化方向は非構造化方向と同等の計算コストで生成可能であることを示す。
• 参考スコア（独自算出の注目度）: 10.604744518360464
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Finite-difference methods are widely used for zeroth-order optimization in settings where gradient information is unavailable or expensive to compute. These procedures mimic first-order strategies by approximating gradients through function evaluations along a set of random directions. From a theoretical perspective, recent studies indicate that imposing structure (such as orthogonality) on the chosen directions allows for the derivation of convergence rates comparable to those achieved with unstructured random directions (i.e., directions sampled independently from a distribution). Empirically, although structured directions are expected to enhance performance, they often introduce additional computational costs, which can limit their applicability in high-dimensional settings. In this work, we examine the impact of structured direction selection in finite-difference methods. We review and extend several strategies for constructing structured direction matrices and compare them with unstructured approaches in terms of computational cost, gradient approximation quality, and convergence behavior. Our evaluation spans both synthetic tasks and real-world applications such as adversarial perturbation. The results demonstrate that structured directions can be generated with computational costs comparable to unstructured ones while significantly improving gradient estimation accuracy and optimization performance.
• Abstract（参考訳）: 勾配情報が利用できない、あるいは計算に費用がかかる設定では、ゼロ階最適化に有限差分法が広く用いられている。 これらの手順は、一連のランダムな方向に沿って関数評価を通じて勾配を近似することで、一階戦略を模倣する。 理論的な見地から、最近の研究は、選択された方向への指示構造(直交性など)が、非構造的ランダムな方向(すなわち、分布から独立してサンプリングされた方向)と同等の収束率の導出を可能にすることを示唆している。 実証的には、構造化された方向は性能を向上させることが期待されているが、高次元設定での適用性を制限できる計算コストを増大させることがしばしばある。 本研究では,有限差分法における構造化方向選択の影響について検討する。 本稿では, 計算コスト, 勾配近似品質, 収束挙動の観点から, 構造化方向行列を構成するためのいくつかの戦略を検証・拡張し, それらを非構造化アプローチと比較する。 本評価は, 対向摂動などの実世界の応用と合成課題にまたがる。 その結果、非構造化の計算コストに匹敵する計算コストで構造化方向を生成できる一方で、勾配推定精度と最適化性能を大幅に向上できることを示した。

関連論文リスト

• Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
  本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。 微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
  論文  参考訳（メタデータ） (2023-02-24T18:41:48Z)
• Gradient-Based Learning of Discrete Structured Measurement Operators for Signal Recovery [16.740247586153085]
  本稿では、勾配に基づく学習を利用して離散最適化問題を解く方法について述べる。 GLODISMO (Gradient-based Learning of DIscrete Structured Measurement Operators) によるアプローチの定式化 いくつかの信号回復アプリケーションにおいて,GLODISMOの性能と柔軟性を実証的に示す。
  論文  参考訳（メタデータ） (2022-02-07T18:27:08Z)
• Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
  決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。 厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。 このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
  論文  参考訳（メタデータ） (2021-11-29T15:10:09Z)
• Parameter Tuning Strategies for Metaheuristic Methods Applied to Discrete Optimization of Structural Design [0.0]
  本稿では, 鉄筋コンクリート(RC)構造物の設計最適化のためのメタヒューリスティック手法のパラメータを調整するためのいくつかの手法を提案する。 平均性能曲線の下での面積に基づいて, 実用性指標を提案する。
  論文  参考訳（メタデータ） (2021-10-12T17:34:39Z)
• An AI-Assisted Design Method for Topology Optimization Without Pre-Optimized Training Data [68.8204255655161]
  トポロジ最適化に基づくAI支援設計手法を提示し、最適化された設計を直接的に得ることができる。 設計は、境界条件と入力データとしての充填度に基づいて、人工ニューラルネットワーク、予測器によって提供される。
  論文  参考訳（メタデータ） (2020-12-11T14:33:27Z)
• Efficient Learning of Generative Models via Finite-Difference Score Matching [111.55998083406134]
  有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。 我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
  論文  参考訳（メタデータ） (2020-07-07T10:05:01Z)
• Learning with Differentiable Perturbed Optimizers [54.351317101356614]
  本稿では,操作を微分可能で局所的に一定ではない操作に変換する手法を提案する。 提案手法は摂動に依拠し,既存の解法とともに容易に利用することができる。 本稿では,この枠組みが,構造化予測において発達した損失の族とどのように結びつくかを示し,学習課題におけるそれらの使用に関する理論的保証を与える。
  論文  参考訳（メタデータ） (2020-02-20T11:11:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。