論文の概要: Scaling Bayesian Optimization With Game Theory

• arxiv url: http://arxiv.org/abs/2110.03790v1
• Date: Thu, 7 Oct 2021 20:55:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-12 05:47:01.779041
• Title: Scaling Bayesian Optimization With Game Theory
• Title（参考訳）: ゲーム理論によるベイズ最適化のスケーリング
• Authors: L. Mathesen, G. Pedrielli, R.L. Smith
• Abstract要約: 本稿では,高次元ブラックボックス関数の最適化のためのアルゴリズムであるBayesian Optimization with Fictitious Play (BOFiP)を提案する。 BOFiP は元の高次元空間を、重複しない次元の集合によって定義されるいくつかの部分空間に分解する。 BOFiPは、サブスペース内のBOを交互に検索し、サブスペース間の情報交換を行い、サブスペース関数の評価を更新する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce the algorithm Bayesian Optimization (BO) with Fictitious Play (BOFiP) for the optimization of high dimensional black box functions. BOFiP decomposes the original, high dimensional, space into several sub-spaces defined by non-overlapping sets of dimensions. These sets are randomly generated at the start of the algorithm, and they form a partition of the dimensions of the original space. BOFiP searches the original space with alternating BO, within sub-spaces, and information exchange among sub-spaces, to update the sub-space function evaluation. The basic idea is to distribute the high dimensional optimization across low dimensional sub-spaces, where each sub-space is a player in an equal interest game. At each iteration, BO produces approximate best replies that update the players belief distribution. The belief update and BO alternate until a stopping condition is met. High dimensional problems are common in real applications, and several contributions in the BO literature have highlighted the difficulty in scaling to high dimensions due to the computational complexity associated to the estimation of the model hyperparameters. Such complexity is exponential in the problem dimension, resulting in substantial loss of performance for most techniques with the increase of the input dimensionality. We compare BOFiP to several state-of-the-art approaches in the field of high dimensional black box optimization. The numerical experiments show the performance over three benchmark objective functions from 20 up to 1000 dimensions. A neural network architecture design problem is tested with 42 up to 911 nodes in 6 up to 92 layers, respectively, resulting into networks with 500 up to 10,000 weights. These sets of experiments empirically show that BOFiP outperforms its competitors, showing consistent performance across different problems and increasing problem dimensionality.
• Abstract（参考訳）: 本稿では,高次元ブラックボックス関数の最適化のために,Factitious Play (BOFiP) を用いたベイズ最適化アルゴリズムを提案する。 BOFiP は元の高次元空間を、重複しない次元の集合によって定義されるいくつかの部分空間に分解する。 これらの集合はアルゴリズムの開始時にランダムに生成され、元の空間の次元の分割を形成する。 BOFiPは、サブスペース内のBOを交互に検索し、サブスペース間の情報交換を行い、サブスペース関数の評価を更新する。 基本的な考え方は、低次元部分空間をまたいで高次元最適化を分配することであり、各部分空間は等しい利得ゲームにおけるプレイヤーである。 各イテレーションでBOは、プレイヤーの信念分布を更新する近似したベストリプライを生成する。 信念更新とBOは、停止条件が満たされるまで交互に行う。 高次元問題は実際の応用では一般的な問題であり、BO文学におけるいくつかの貢献は、モデルハイパーパラメータの推定に伴う計算複雑性に起因する高次元へのスケーリングの難しさを強調している。 このような複雑さは問題次元において指数関数的であり、入力次元が増加するにつれてほとんどの技術の性能が著しく低下する。 BOFiPを高次元ブラックボックス最適化の分野における最先端のアプローチと比較する。 数値実験により、20次元から1000次元までの3つのベンチマーク対象関数のパフォーマンスが示された。 ニューラルネットワークアーキテクチャ設計の問題は、それぞれ6層から92層までの42から911ノードでテストされ、結果として500から10,000の重みを持つネットワークとなる。 これらの実験は、BOFiPが競合より優れており、異なる問題に対して一貫した性能を示し、問題次元を増大させていることを実証的に示している。

関連論文リスト

• High dimensional Bayesian Optimization via Condensing-Expansion Projection [1.6355174910200032]
  高次元設定では、ベイズ最適化(BO)は高価で実現不可能である。 実効的な部分空間仮定に応答しない高次元BOに対して、新しいランダムなプロジェクションに基づくアプローチを導入する。 実験の結果、どちらのアルゴリズムも既存のランダムな埋め込みに基づくアルゴリズムよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-08-09T04:47:38Z)
• FLoRA: Low-Rank Core Space for N-dimension [78.39310274926535]
  さまざまな下流タスクに事前訓練された基礎モデルを適応させることは、人工知能において一般的である。 これを軽減するために、事前訓練されたモデルの重みをより資源効率の良い方法で更新するために、いくつかの微調整技術が開発されている。 本稿では,多次元パラメータ空間用に設計された一般化されたパラメータ効率きめ細調整フレームワークFLoRAを提案する。
  論文  参考訳（メタデータ） (2024-05-23T16:04:42Z)
• Coverage Axis++: Efficient Inner Point Selection for 3D Shape Skeletonization [49.47444127373479]
  Coverage Axis++は、3D形状のスケルトン化に対する、新しくて効率的なアプローチである。 メディア軸変換(MAT)の高精度近似を提供する。
  論文  参考訳（メタデータ） (2024-01-23T18:07:07Z)
• Monte Carlo Tree Search based Variable Selection for High Dimensional Bayesian Optimization [20.56296965542983]
  モンテカルロ木探索(MCTS)に基づく変数選択手法を提案し,変数のサブセットを反復的に選択・最適化する。 高次元合成関数と実世界の問題の実験は、MCTS-VSが最先端の性能を達成できることを示している。
  論文  参考訳（メタデータ） (2022-10-04T14:16:41Z)
• Computationally Efficient High-Dimensional Bayesian Optimization via Variable Selection [0.5439020425818999]
  本稿では,変数選択を利用した計算効率の高い高次元BO法を提案する。 提案手法では,選択変数を含む空間を軸整列した部分空間を自動的に学習することができる。 我々は,いくつかの合成および実問題に対する本手法の有効性を実証的に示す。
  論文  参考訳（メタデータ） (2021-09-20T01:55:43Z)
• Optimal Gradient-based Algorithms for Non-concave Bandit Optimization [76.57464214864756]
  この研究は、未知の報酬関数が非可逆であるようなバンドイット問題の大群を考察する。 我々のアルゴリズムは、非常に一般化されたゼロ階最適化のパラダイムに基づいている。 標準的な楽観的アルゴリズムは次元因子によって準最適であることを示す。
  論文  参考訳（メタデータ） (2021-07-09T16:04:24Z)
• Sequential Subspace Search for Functional Bayesian Optimization Incorporating Experimenter Intuition [63.011641517977644]
  本アルゴリズムは,実験者のガウス過程から引き出された一組の引き数で区切られた関数空間の有限次元ランダム部分空間列を生成する。 標準ベイズ最適化は各部分空間に適用され、次の部分空間の出発点(オリジン)として用いられる最良の解である。 シミュレーションおよび実世界の実験,すなわちブラインド関数マッチング,アルミニウム合金の最適析出強化関数の探索,深層ネットワークの学習速度スケジュール最適化において,本アルゴリズムを検証した。
  論文  参考訳（メタデータ） (2020-09-08T06:54:11Z)
• Sub-linear Regret Bounds for Bayesian Optimisation in Unknown Search Spaces [63.22864716473051]
  本稿では,反復により探索空間を拡大(およびシフト)する新しいBOアルゴリズムを提案する。 理論的には、どちらのアルゴリズムにおいても、累積的後悔は線形以下の速度で増大する。
  論文  参考訳（メタデータ） (2020-09-05T14:24:40Z)
• Semi-supervised Embedding Learning for High-dimensional Bayesian Optimization [12.238019485880583]
  本稿では,半教師付き次元の縮小によりベイズ最適化を反復的に行うための低次元空間を求める新しい枠組みを提案する。 SILBOは、取得関数から取得したラベル付き点とラベルなし点の両方を組み込んで、埋め込み空間学習をガイドする。 SILBOは既存の最先端高次元ベイズ最適化法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-05-29T14:37:12Z)
• Augmented Parallel-Pyramid Net for Attention Guided Pose-Estimation [90.28365183660438]
  本稿では、注意部分モジュールと微分可能な自動データ拡張を備えた拡張並列ピラミドネットを提案する。 我々は、データ拡張のシーケンスをトレーニング可能なCNNコンポーネントとして定式化する新しいポーズ検索空間を定義する。 特に,本手法は,挑戦的なCOCOキーポイントベンチマークとMPIIデータセットの最先端結果において,トップ1の精度を実現する。
  論文  参考訳（メタデータ） (2020-03-17T03:52:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。