論文の概要: Sample-and-Bound for Non-Convex Optimization

• arxiv url: http://arxiv.org/abs/2401.04812v1
• Date: Tue, 9 Jan 2024 20:45:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-11 16:08:22.174140
• Title: Sample-and-Bound for Non-Convex Optimization
• Title（参考訳）: 非凸最適化のためのサンプル・アンド・バウンド
• Authors: Yaoguang Zhai, Zhizhen Qin, Sicun Gao
• Abstract要約: 我々はモンテカルロのベンチマークに適応して効率を向上する非次元目的最適化のための新しいサンプリング手法を提案する。 提案する高次ベースラインおよび競合ベンチマークアルゴリズムを積極的に評価する。
• 参考スコア（独自算出の注目度）: 18.30858789210194
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Standard approaches for global optimization of non-convex functions, such as branch-and-bound, maintain partition trees to systematically prune the domain. The tree size grows exponentially in the number of dimensions. We propose new sampling-based methods for non-convex optimization that adapts Monte Carlo Tree Search (MCTS) to improve efficiency. Instead of the standard use of visitation count in Upper Confidence Bounds, we utilize numerical overapproximations of the objective as an uncertainty metric, and also take into account of sampled estimates of first-order and second-order information. The Monte Carlo tree in our approach avoids the usual fixed combinatorial patterns in growing the tree, and aggressively zooms into the promising regions, while still balancing exploration and exploitation. We evaluate the proposed algorithms on high-dimensional non-convex optimization benchmarks against competitive baselines and analyze the effects of the hyper parameters.
• Abstract（参考訳）: ブランチとバウンドのような非凸関数のグローバルな最適化のための標準的なアプローチは、ドメインを体系的にプルーするためにパーティションツリーを維持する。 木の大きさは次元数で指数関数的に増加する。 モンテカルロ木探索(mcts)を効率良く適用した非凸最適化のためのサンプリングベース手法を提案する。 高信頼度境界における訪問カウントの標準的な使用の代わりに、目的の数値的近似を不確実性計量として利用し、一階情報と二階情報のサンプル推定を考慮に入れる。 我々のアプローチにおけるモンテカルロ木は、木の成長における通常の固定組合せパターンを避け、探索と利用のバランスを保ちながら、積極的に将来性のある領域に拡大する。 提案アルゴリズムは,高次元非凸最適化ベンチマークにおいて,競合するベースラインに対して評価し,ハイパーパラメータの効果を解析する。

関連論文リスト

• Model-based Causal Bayesian Optimization [78.120734120667]
  モデルに基づく因果ベイズ最適化(MCBO)を提案する。 MCBOは介入と逆のペアをモデリングするのではなく、完全なシステムモデルを学ぶ。 標準的なベイズ最適化とは異なり、我々の取得関数は閉形式では評価できない。
  論文  参考訳（メタデータ） (2022-11-18T14:28:21Z)
• Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces [54.58348769621782]
  木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。 ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。 我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
  論文  参考訳（メタデータ） (2022-07-02T16:59:37Z)
• From Trees to Continuous Embeddings and Back: Hyperbolic Hierarchical Clustering [33.000371053304676]
  本稿では,Dasguptaの離散最適化問題に対して,証明可能な品質保証を用いた最初の連続緩和を提案する。 勾配勾配勾配の近似解でさえ、凝集性クラスタリングよりも優れた品質を有することを示す。 また、下流分類タスクにおけるエンドツーエンドトレーニングによるHypHCの柔軟性についても強調する。
  論文  参考訳（メタデータ） (2020-10-01T13:43:19Z)
• Optimal Decision Trees for Nonlinear Metrics [42.18286681448184]
  本稿では,非線形メトリクスに対して最適な木を生成するための新しいアルゴリズムを提案する。 我々の知る限りでは、これは非線形メトリクスに対して証明可能な最適決定木を計算するための最初の方法である。 当社のアプローチは、線形メトリクスの最適化と比較した場合、トレードオフにつながります。
  論文  参考訳（メタデータ） (2020-09-15T08:30:56Z)
• Stochastic Optimization Forests [60.523606291705214]
  標準的なランダムな森林アルゴリズムのように予測精度を向上させるために分割するのではなく、分割を選択した木を栽培し、下流の意思決定品質を直接最適化することで、森林決定政策の訓練方法を示す。 概略分割基準は、各候補分割に対して正確に最適化された森林アルゴリズムに近い性能を保ちながら、100倍のランニング時間を短縮できることを示す。
  論文  参考訳（メタデータ） (2020-08-17T16:56:06Z)
• MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
  動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。 当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
  論文  参考訳（メタデータ） (2020-07-24T17:06:55Z)
• Additive Tree-Structured Covariance Function for Conditional Parameter Spaces in Bayesian Optimization [34.89735938765757]
  木構造関数への加法的仮定を一般化する。 パラメータ空間の構造情報と加法仮定をBOループに組み込むことで,取得関数を最適化する並列アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-06-21T11:21:55Z)
• Generalized and Scalable Optimal Sparse Decision Trees [56.35541305670828]
  様々な目的に対して最適な決定木を生成する手法を提案する。 また,連続変数が存在する場合に最適な結果が得られるスケーラブルなアルゴリズムも導入する。
  論文  参考訳（メタデータ） (2020-06-15T19:00:11Z)
• ENTMOOT: A Framework for Optimization over Ensemble Tree Models [57.98561336670884]
  ENTMOOTは、ツリーモデルをより大きな最適化問題に統合するためのフレームワークである。 ENTMOOTは、ツリーモデルの意思決定とブラックボックス最適化への単純な統合を可能にしていることを示す。
  論文  参考訳（メタデータ） (2020-03-10T14:34:07Z)
• Bayesian optimization for backpropagation in Monte-Carlo tree search [1.52292571922932]
  バックプロパゲーション戦略を改善するための従来の試みを一般化した,Softmax MCTS と Monotone MCTS の2つの手法を提案する。 提案手法が従来の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-01-25T14:33:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。