論文の概要: Scaling Bayesian Optimization With Game Theory

• arxiv url: http://arxiv.org/abs/2110.03790v1
• Date: Thu, 7 Oct 2021 20:55:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-12 05:47:01.779041
• Title: Scaling Bayesian Optimization With Game Theory
• Title（参考訳）: ゲーム理論によるベイズ最適化のスケーリング
• Authors: L. Mathesen, G. Pedrielli, R.L. Smith
• Abstract要約: 本稿では,高次元ブラックボックス関数の最適化のためのアルゴリズムであるBayesian Optimization with Fictitious Play (BOFiP)を提案する。 BOFiP は元の高次元空間を、重複しない次元の集合によって定義されるいくつかの部分空間に分解する。 BOFiPは、サブスペース内のBOを交互に検索し、サブスペース間の情報交換を行い、サブスペース関数の評価を更新する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce the algorithm Bayesian Optimization (BO) with Fictitious Play (BOFiP) for the optimization of high dimensional black box functions. BOFiP decomposes the original, high dimensional, space into several sub-spaces defined by non-overlapping sets of dimensions. These sets are randomly generated at the start of the algorithm, and they form a partition of the dimensions of the original space. BOFiP searches the original space with alternating BO, within sub-spaces, and information exchange among sub-spaces, to update the sub-space function evaluation. The basic idea is to distribute the high dimensional optimization across low dimensional sub-spaces, where each sub-space is a player in an equal interest game. At each iteration, BO produces approximate best replies that update the players belief distribution. The belief update and BO alternate until a stopping condition is met. High dimensional problems are common in real applications, and several contributions in the BO literature have highlighted the difficulty in scaling to high dimensions due to the computational complexity associated to the estimation of the model hyperparameters. Such complexity is exponential in the problem dimension, resulting in substantial loss of performance for most techniques with the increase of the input dimensionality. We compare BOFiP to several state-of-the-art approaches in the field of high dimensional black box optimization. The numerical experiments show the performance over three benchmark objective functions from 20 up to 1000 dimensions. A neural network architecture design problem is tested with 42 up to 911 nodes in 6 up to 92 layers, respectively, resulting into networks with 500 up to 10,000 weights. These sets of experiments empirically show that BOFiP outperforms its competitors, showing consistent performance across different problems and increasing problem dimensionality.
• Abstract（参考訳）: 本稿では,高次元ブラックボックス関数の最適化のために,Factitious Play (BOFiP) を用いたベイズ最適化アルゴリズムを提案する。 BOFiP は元の高次元空間を、重複しない次元の集合によって定義されるいくつかの部分空間に分解する。 これらの集合はアルゴリズムの開始時にランダムに生成され、元の空間の次元の分割を形成する。 BOFiPは、サブスペース内のBOを交互に検索し、サブスペース間の情報交換を行い、サブスペース関数の評価を更新する。 基本的な考え方は、低次元部分空間をまたいで高次元最適化を分配することであり、各部分空間は等しい利得ゲームにおけるプレイヤーである。 各イテレーションでBOは、プレイヤーの信念分布を更新する近似したベストリプライを生成する。 信念更新とBOは、停止条件が満たされるまで交互に行う。 高次元問題は実際の応用では一般的な問題であり、BO文学におけるいくつかの貢献は、モデルハイパーパラメータの推定に伴う計算複雑性に起因する高次元へのスケーリングの難しさを強調している。 このような複雑さは問題次元において指数関数的であり、入力次元が増加するにつれてほとんどの技術の性能が著しく低下する。 BOFiPを高次元ブラックボックス最適化の分野における最先端のアプローチと比較する。 数値実験により、20次元から1000次元までの3つのベンチマーク対象関数のパフォーマンスが示された。 ニューラルネットワークアーキテクチャ設計の問題は、それぞれ6層から92層までの42から911ノードでテストされ、結果として500から10,000の重みを持つネットワークとなる。 これらの実験は、BOFiPが競合より優れており、異なる問題に対して一貫した性能を示し、問題次元を増大させていることを実証的に示している。

関連論文リスト

• Transolver++: An Accurate Neural Solver for PDEs on Million-Scale Geometries [67.63077028746191]
  Transolver++は、百万のスケールでPDEを解くことができる、非常に並列で効率的なニューラルソルバである。 Transolver++は、シングルGPU入力能力を初めて100万ポイントに拡張する。 数百万スケールの高忠実度産業シミュレーションで20%以上の性能向上を実現している。
  論文  参考訳（メタデータ） (2025-02-04T15:33:50Z)
• High-Dimensional Bayesian Optimization via Random Projection of Manifold Subspaces [0.0]
  この問題に取り組むための共通の枠組みは、目的関数が高次元の周囲空間に埋め込まれた低次元多様体上の限られた特徴集合に依存すると仮定することである。 本稿では,目的関数の新たな表現を活用することによって,BOの高次元への新たなアプローチを提案する。 提案手法は, BOの低次元空間における取得関数の効率的な最適化を可能にする。
  論文  参考訳（メタデータ） (2024-12-21T09:41:24Z)
• BOIDS: High-dimensional Bayesian Optimization via Incumbent-guided Direction Lines and Subspace Embeddings [14.558601519561721]
  BOIDSは,一次元方向線列による最適化を導く新しい高次元BOアルゴリズムである。 また,各ラウンドのラインベース最適化に対して最適な行を特定するための適応的選択手法を提案する。 実験の結果,BOIDSは様々な総合的および実世界のベンチマーク問題において,最先端のベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2024-12-17T13:51:24Z)
• High dimensional Bayesian Optimization via Condensing-Expansion Projection [1.6355174910200032]
  高次元設定では、ベイズ最適化(BO)は高価で実現不可能である。 実効的な部分空間仮定に応答しない高次元BOに対して、新しいランダムなプロジェクションに基づくアプローチを導入する。 実験の結果、どちらのアルゴリズムも既存のランダムな埋め込みに基づくアルゴリズムよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-08-09T04:47:38Z)
• Coverage Axis++: Efficient Inner Point Selection for 3D Shape Skeletonization [49.47444127373479]
  Coverage Axis++は、3D形状のスケルトン化に対する、新しくて効率的なアプローチである。 メディア軸変換(MAT)の高精度近似を提供する。
  論文  参考訳（メタデータ） (2024-01-23T18:07:07Z)
• Computationally Efficient High-Dimensional Bayesian Optimization via Variable Selection [0.5439020425818999]
  本稿では,変数選択を利用した計算効率の高い高次元BO法を提案する。 提案手法では,選択変数を含む空間を軸整列した部分空間を自動的に学習することができる。 我々は,いくつかの合成および実問題に対する本手法の有効性を実証的に示す。
  論文  参考訳（メタデータ） (2021-09-20T01:55:43Z)
• Optimal Gradient-based Algorithms for Non-concave Bandit Optimization [76.57464214864756]
  この研究は、未知の報酬関数が非可逆であるようなバンドイット問題の大群を考察する。 我々のアルゴリズムは、非常に一般化されたゼロ階最適化のパラダイムに基づいている。 標準的な楽観的アルゴリズムは次元因子によって準最適であることを示す。
  論文  参考訳（メタデータ） (2021-07-09T16:04:24Z)
• Sequential Subspace Search for Functional Bayesian Optimization Incorporating Experimenter Intuition [63.011641517977644]
  本アルゴリズムは,実験者のガウス過程から引き出された一組の引き数で区切られた関数空間の有限次元ランダム部分空間列を生成する。 標準ベイズ最適化は各部分空間に適用され、次の部分空間の出発点(オリジン)として用いられる最良の解である。 シミュレーションおよび実世界の実験,すなわちブラインド関数マッチング,アルミニウム合金の最適析出強化関数の探索,深層ネットワークの学習速度スケジュール最適化において,本アルゴリズムを検証した。
  論文  参考訳（メタデータ） (2020-09-08T06:54:11Z)
• Sub-linear Regret Bounds for Bayesian Optimisation in Unknown Search Spaces [63.22864716473051]
  本稿では,反復により探索空間を拡大(およびシフト)する新しいBOアルゴリズムを提案する。 理論的には、どちらのアルゴリズムにおいても、累積的後悔は線形以下の速度で増大する。
  論文  参考訳（メタデータ） (2020-09-05T14:24:40Z)
• Augmented Parallel-Pyramid Net for Attention Guided Pose-Estimation [90.28365183660438]
  本稿では、注意部分モジュールと微分可能な自動データ拡張を備えた拡張並列ピラミドネットを提案する。 我々は、データ拡張のシーケンスをトレーニング可能なCNNコンポーネントとして定式化する新しいポーズ検索空間を定義する。 特に,本手法は,挑戦的なCOCOキーポイントベンチマークとMPIIデータセットの最先端結果において,トップ1の精度を実現する。
  論文  参考訳（メタデータ） (2020-03-17T03:52:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。