論文の概要: Locality-aware Surrogates for Gradient-based Black-box Optimization

• arxiv url: http://arxiv.org/abs/2501.19161v1
• Date: Fri, 31 Jan 2025 14:28:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 14:01:12.184783
• Title: Locality-aware Surrogates for Gradient-based Black-box Optimization
• Title（参考訳）: 勾配に基づくブラックボックス最適化のための局所性を考慮したサロゲート
• Authors: Ali Momeni, Stefan Uhlich, Arun Venkitaraman, Chia-Yu Hsieh, Andrea Bonetti, Ryoga Matsuo, Eisaku Ohbuchi, Lorenzo Servadei,
• Abstract要約: モデルベースブラックボックス最適化のための局所性を考慮した代理モデルを提案する。 まず、勾配アライメントと勾配経路積分方程式損失の最小化との理論的関係を確立する。 我々はGradPIE損失を最小限に抑えるスケーラブルなトレーニングアルゴリズムを開発し、オフラインとオンライン両方の学習を可能にした。
• 参考スコア（独自算出の注目度）: 5.541187309945154
• License:
• Abstract: In physics and engineering, many processes are modeled using non-differentiable black-box simulators, making the optimization of such functions particularly challenging. To address such cases, inspired by the Gradient Theorem, we propose locality-aware surrogate models for active model-based black-box optimization. We first establish a theoretical connection between gradient alignment and the minimization of a Gradient Path Integral Equation (GradPIE) loss, which enforces consistency of the surrogate's gradients in local regions of the design space. Leveraging this theoretical insight, we develop a scalable training algorithm that minimizes the GradPIE loss, enabling both offline and online learning while maintaining computational efficiency. We evaluate our approach on three real-world tasks - spanning automated in silico experiments such as coupled nonlinear oscillators, analog circuits, and optical systems - and demonstrate consistent improvements in optimization efficiency under limited query budgets. Our results offer dependable solutions for both offline and online optimization tasks where reliable gradient estimation is needed.
• Abstract（参考訳）: 物理学や工学では、多くのプロセスは非微分不可能なブラックボックスシミュレータを用いてモデル化され、そのような関数の最適化は特に困難である。 グラディエント定理(Gradient Theorem)に触発されたそのような問題に対処するため,我々は,モデルに基づくブラックボックス最適化のための局所性を考慮した代理モデルを提案する。 まず、勾配アライメントとグラディエントパス積分方程式(GradPIE)損失の最小化との理論的関係を確立し、設計空間の局所領域におけるサロゲートの勾配の整合性を強制する。 この理論的洞察を活用することで、GradPIE損失を最小限に抑え、計算効率を維持しながらオフラインとオンラインの両方の学習を可能にするスケーラブルなトレーニングアルゴリズムを開発する。 我々は, 非線形発振器, アナログ回路, 光学系などのサイリコ実験において, 3つの実世界の課題に対するアプローチを評価し, 限られたクエリ予算下での最適化効率の一貫した改善を実証した。 本結果は,信頼性の高い勾配推定を必要とするオフラインおよびオンラインの最適化タスクに対して,信頼性の高い解を提供する。

関連論文リスト

• Multi-fidelity Constrained Optimization for Stochastic Black Box Simulators [1.6385815610837167]
  上記の問題に対処するために、Scout-Nd (Stochastic Constrained Optimization for N dimensions) アルゴリズムを導入する。 Scout-Ndは効率よく勾配を推定し、推定器勾配のノイズを低減し、計算労力をさらに削減するために多重忠実性スキームを適用する。 提案手法を標準ベンチマークで検証し,既存の手法よりも優れた性能を示すパラメータの最適化の有効性を示す。
  論文  参考訳（メタデータ） (2023-11-25T23:36:38Z)
• Gradient constrained sharpness-aware prompt learning for vision-language models [99.74832984957025]
  本稿では,視覚言語モデル(VLM)の一般化可能な即時学習における新たなトレードオフ問題を提案する。 最先端手法のロスランドスケープとSAMに基づくバニラシャープネス認識最小化法を解析することにより、トレードオフ性能は損失値と損失シャープネスの両方に相関していると結論付けた。 本稿では,GCSCoOp (Gradient Constrained Sharpness-Aware Context Optimization) と表記される,素早い学習のためのSAMベースの新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-09-14T17:13:54Z)
• Joint inference and input optimization in equilibrium networks [68.63726855991052]
  ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。 この2つの設定の間には自然なシナジーがあることが示されています。 この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
  論文  参考訳（メタデータ） (2021-11-25T19:59:33Z)
• Speeding up Computational Morphogenesis with Online Neural Synthetic Gradients [51.42959998304931]
  現代科学および工学の適用の広い範囲は制約として部分的な微分方程式(PDEs)のシステムとの最適化問題として定式化されます。 これらのPDE制約最適化問題は通常、標準のDisretize-then-optimizeアプローチで解決される。 オンラインニューラル合成勾配(ONSG)を用いたPDE制約最適化の高速化のための新しい2スケール最適化手法を提案する。
  論文  参考訳（メタデータ） (2021-04-25T22:43:51Z)
• Differentiable Agent-Based Simulation for Gradient-Guided Simulation-Based Optimization [0.0]
  勾配推定法は局所最適化に向けて最適化を行うのに利用できる。 高入力次元の信号タイミング最適化問題では、勾配に基づく手法の方がかなり優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-23T11:58:21Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Enhanced data efficiency using deep neural networks and Gaussian processes for aerodynamic design optimization [0.0]
  随伴型最適化法は空気力学的形状設計において魅力的である。 複数の最適化問題が解決されている場合、それらは違法に高価になる可能性がある。 本稿では,高コストな随伴解法に取って代わる機械学習を実現するサロゲートベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-08-15T15:09:21Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)
• A Primer on Zeroth-Order Optimization in Signal Processing and Machine Learning [95.85269649177336]
  ZO最適化は、勾配推定、降下方向、ソリューション更新の3つの主要なステップを反復的に実行する。 我々は,ブラックボックス深層学習モデルによる説明文の評価や生成,効率的なオンラインセンサ管理など,ZO最適化の有望な応用を実証する。
  論文  参考訳（メタデータ） (2020-06-11T06:50:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。