論文の概要: A Distributional View of High Dimensional Optimization
- arxiv url: http://arxiv.org/abs/2507.16315v1
- Date: Tue, 22 Jul 2025 07:56:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-23 21:34:14.012499
- Title: A Distributional View of High Dimensional Optimization
- Title（参考訳）: 高次元最適化の分布ビュー
- Authors: Felix Benning,
- Abstract要約: 我々は、古典的な最適化の失敗点を調査することで、この見方を動機付けます。
ランダムに描画された目的関数の最適化を検討する。
さらに、この分布ビューは勾配降下の最適ステップサイズ制御に関する洞察を与える。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This PhD thesis presents a distributional view of optimization in place of a worst-case perspective. We motivate this view with an investigation of the failure point of classical optimization. Subsequently we consider the optimization of a randomly drawn objective function. This is the setting of Bayesian Optimization. After a review of Bayesian optimization we outline how such a distributional view may explain predictable progress of optimization in high dimension. It further turns out that this distributional view provides insights into optimal step size control of gradient descent. To enable these results, we develop mathematical tools to deal with random input to random functions and a characterization of non-stationary isotropic covariance kernels. Finally, we outline how assumptions about the data, specifically exchangability, can lead to random objective functions in machine learning and analyze their landscape.
- Abstract（参考訳）: この博士論文は、最悪の場合の観点から最適化の分布的な視点を示す。
我々は、古典的な最適化の失敗点を調査することで、この見方を動機付けます。
その後、ランダムに描画された目的関数の最適化を検討する。
これはベイズ最適化の設定である。
ベイズ最適化のレビューの後、そのような分布ビューが高次元における最適化の予測可能な進歩を説明する方法について概説する。
さらに、この分布ビューは勾配降下の最適ステップサイズ制御に関する洞察を与える。
これらの結果を実現するために,ランダム関数へのランダム入力を扱う数学的ツールを開発し,非定常等方性共分散カーネルの特性評価を行う。
最後に,データ,特に交換可能性に関する仮定が,機械学習におけるランダムな客観的関数を導き,その景観を解析する方法について概説する。
関連論文リスト
- Information-theoretic Bayesian Optimization: Survey and Tutorial [2.3931689873603603]
本稿では,情報理論的獲得関数について述べる。
また,情報理論の獲得関数を,多目的,制約付き,非明視的,多面的,並列,非同期といった複雑な最適化シナリオに適応させる方法について述べる。
論文 参考訳（メタデータ） (2025-01-22T10:54:15Z) - Local Bayesian optimization via maximizing probability of descent [26.82385325186729]
局所最適化は高価で高次元のブラックボックス最適化に対する有望なアプローチである。
意外なことに、勾配の期待値は必ずしも降下確率を最大化する方向であるとは限らない。
この観測は、最も確率の高い降下方向を移動しながら降下の確率を最大化しようとするエレガントな最適化スキームを刺激する。
論文 参考訳（メタデータ） (2022-10-21T01:13:14Z) - Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
統計的決定論の研究からシャノンエントロピーの一般化を考える。
まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。
次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
論文 参考訳（メタデータ） (2022-10-04T04:43:58Z) - Bayesian Optimization with Informative Covariance [13.113313427848828]
探索空間の特定の領域の好みを符号化するために,非定常性を利用した新しい情報共分散関数を提案する。
提案した関数は,より弱い事前情報の下でも,ハイ次元でのベイズ最適化のサンプル効率を向上させることができることを示す。
論文 参考訳（メタデータ） (2022-08-04T15:05:11Z) - Online Calibrated and Conformal Prediction Improves Bayesian Optimization [10.470326550507117]
本稿では,モデルに基づく意思決定やベイズ最適化における不確実性について検討する。
しかし、キャリブレーションの維持は、データが定常的ではなく、我々の行動に依存する場合、困難である。
我々は、オンライン学習に基づく簡単なアルゴリズムを用いて、非i.d.データのキャリブレーションを確実に維持することを提案する。
論文 参考訳（メタデータ） (2021-12-08T23:26:23Z) - Stochastic Learning Approach to Binary Optimization for Optimal Design
of Experiments [0.0]
本稿では,偏微分方程式などの数学モデルによるベイズ逆問題に対する最適実験設計 (OED) のための二項最適化への新しいアプローチを提案する。
OEDユーティリティ関数、すなわち正規化された最適性勾配はベルヌーイ分布に対する期待の形で目的関数にキャストされる。
この目的を確率的最適化ルーチンを用いて最適な観測方針を求めることで解決する。
論文 参考訳（メタデータ） (2021-01-15T03:54:12Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳（メタデータ） (2020-12-21T17:29:58Z) - Are we Forgetting about Compositional Optimisers in Bayesian
Optimisation? [66.39551991177542]
本稿では,グローバル最適化のためのサンプル手法を提案する。
この中、重要なパフォーマンス決定の自明さは、取得機能を最大化することです。
3958実験における機能最適化手法の実証的利点を強調する。
論文 参考訳（メタデータ） (2020-12-15T12:18:38Z) - Sequential Subspace Search for Functional Bayesian Optimization
Incorporating Experimenter Intuition [63.011641517977644]
本アルゴリズムは,実験者のガウス過程から引き出された一組の引き数で区切られた関数空間の有限次元ランダム部分空間列を生成する。
標準ベイズ最適化は各部分空間に適用され、次の部分空間の出発点(オリジン)として用いられる最良の解である。
シミュレーションおよび実世界の実験,すなわちブラインド関数マッチング,アルミニウム合金の最適析出強化関数の探索,深層ネットワークの学習速度スケジュール最適化において,本アルゴリズムを検証した。
論文 参考訳（メタデータ） (2020-09-08T06:54:11Z) - Incorporating Expert Prior in Bayesian Optimisation via Space Warping [54.412024556499254]
大きな探索空間では、アルゴリズムは関数の最適値に達する前に、いくつかの低関数値領域を通過する。
このコールドスタートフェーズの1つのアプローチは、最適化を加速できる事前知識を使用することである。
本稿では,関数の事前分布を通じて,関数の最適性に関する事前知識を示す。
先行分布は、探索空間を最適関数の高確率領域の周りに拡張し、最適関数の低確率領域の周りに縮小するようにワープする。
論文 参考訳（メタデータ） (2020-03-27T06:18:49Z) - Composition of kernel and acquisition functions for High Dimensional
Bayesian Optimization [0.1749935196721634]
目的関数の追加性を用いて、ベイズ最適化のカーネルと取得関数の両方をマッピングする。
このap-proachは確率的代理モデルの学習/更新をより効率的にする。
都市給水システムにおけるポンプの制御を実運用に適用するための結果が提示された。
論文 参考訳（メタデータ） (2020-03-09T15:45:57Z) - Distributed Averaging Methods for Randomized Second Order Optimization [54.51566432934556]
我々はヘッセン語の形成が計算的に困難であり、通信がボトルネックとなる分散最適化問題を考察する。
我々は、ヘッセンのサンプリングとスケッチを用いたランダム化二階最適化のための非バイアスパラメータ平均化手法を開発した。
また、不均一なコンピューティングシステムのための非バイアス分散最適化フレームワークを導入するために、二階平均化手法のフレームワークを拡張した。
論文 参考訳（メタデータ） (2020-02-16T09:01:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。