論文の概要: Are Random Decompositions all we need in High Dimensional Bayesian Optimisation?

• arxiv url: http://arxiv.org/abs/2301.12844v2
• Date: Mon, 29 May 2023 13:59:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 01:56:43.483025
• Title: Are Random Decompositions all we need in High Dimensional Bayesian Optimisation?
• Title（参考訳）: ランダム分解は高次元ベイズ最適化に必要なすべてか?
• Authors: Juliusz Ziomek, Haitham Bou-Ammar
• Abstract要約: グローバルに保持されていない局所的な分解に対して,データ駆動による分解学習者が容易に誤認できることが判明した。 木をベースとした無作為分解サンプリング装置は、ブラックボックスとそのサロゲート間の最大情報ゲインと機能ミスマッチを効果的にトレードオフする理論的保証を示す。 これらの結果は、(ほぼ)プラグ・アンド・プレイの実装が容易な乱分解上信頼結合アルゴリズム(RDUCB)の開発を動機付けている。
• 参考スコア（独自算出の注目度）: 4.31133019086586
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning decompositions of expensive-to-evaluate black-box functions promises to scale Bayesian optimisation (BO) to high-dimensional problems. However, the success of these techniques depends on finding proper decompositions that accurately represent the black-box. While previous works learn those decompositions based on data, we investigate data-independent decomposition sampling rules in this paper. We find that data-driven learners of decompositions can be easily misled towards local decompositions that do not hold globally across the search space. Then, we formally show that a random tree-based decomposition sampler exhibits favourable theoretical guarantees that effectively trade off maximal information gain and functional mismatch between the actual black-box and its surrogate as provided by the decomposition. Those results motivate the development of the random decomposition upper-confidence bound algorithm (RDUCB) that is straightforward to implement - (almost) plug-and-play - and, surprisingly, yields significant empirical gains compared to the previous state-of-the-art on a comprehensive set of benchmarks. We also confirm the plug-and-play nature of our modelling component by integrating our method with HEBO, showing improved practical gains in the highest dimensional tasks from Bayesmark.
• Abstract（参考訳）: 高価なブラックボックス関数の学習分解は、ベイズ最適化(BO)を高次元問題に拡張することを約束する。 しかし、これらの手法の成功はブラックボックスを正確に表現する適切な分解を見つけることに依存する。 先行研究はデータに基づいてこれらの分解を学習する一方で,本論文ではデータ非依存分解サンプリングルールについて検討する。 探索空間全体にわたって保持されない局所的な分解に対して,データ駆動型分解学習者が容易に誤解されることが判明した。 そして, 木をベースとした無作為な分解サンプリングは, 分解によって提供されるブラックボックスとサロゲート間の最大情報ゲインと機能的ミスマッチを効果的に除去する理論的保証を示す。 これらの結果は、(ほぼ)プラグ・アンド・プレイの実装が容易なランダム分解上信頼結合アルゴリズム(RDUCB)の開発を動機付け、驚くべきことに、包括的なベンチマークの以前の状態と比較して、大きな経験的利益をもたらす。 また,本手法をHEBOと統合することにより,モデルコンポーネントのプラグアンドプレイ性を確認し,ベイズマルクの高次元タスクにおける実用性の向上を示した。

関連論文リスト

• Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
  拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。 本稿では,階層型統合拡散モデル(HI-Diff)を提案する。 人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2023-05-22T12:18:20Z)
• Flag Aggregator: Scalable Distributed Training under Failures and Augmented Losses using Convex Optimization [14.732408788010313]
  MLアプリケーションはますます、複雑なディープラーニングモデルと大規模なデータセットに依存している。 計算とデータをスケールするために、これらのモデルはノードのクラスタ内で分散的にトレーニングされ、それらの更新はモデルに適用される前に集約される。 これらの設定にデータ拡張を加えることで、堅牢で効率的なアグリゲーションシステムが必要である。 この手法は,最先端のビザンツ系レジリエントアグリゲータのロバスト性を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-02-12T06:38:30Z)
• Search for Concepts: Discovering Visual Concepts Using Direct Optimization [48.51514897866221]
  直接最適化はより一般化可能であり、正しい分解を見逃し、典型的には償却推論に基づく手法よりも少ないデータを必要とすることを示す。 これは、より直接的な最適化要素を統合することで改善される可能性のある、償却推論を使用する現在の一般的なプラクティスの弱点を浮き彫りにしている。
  論文  参考訳（メタデータ） (2022-10-25T15:55:24Z)
• Langevin Monte Carlo for Contextual Bandits [72.00524614312002]
  Langevin Monte Carlo Thompson Sampling (LMC-TS) が提案されている。 提案アルゴリズムは,文脈的帯域幅の特別な場合において,最高のトンプソンサンプリングアルゴリズムと同じサブ線形残差を達成できることを示す。
  論文  参考訳（メタデータ） (2022-06-22T17:58:23Z)
• Kronecker Decomposition for Knowledge Graph Embeddings [5.49810117202384]
  知識グラフ埋め込みモデルにおけるパラメータ数を削減するために,Kronecker分解に基づく手法を提案する。 この分解により、3つの埋め込みベクトル間の要素的相互作用が各埋め込みベクトル内の相互作用によって拡張されることが保証される。 実験により,Kronecker分解を埋め込み行列に適用すると,全てのベンチマークデータセットのパラメータ効率が向上することが示唆された。
  論文  参考訳（メタデータ） (2022-05-13T11:11:03Z)
• Distributed Dynamic Safe Screening Algorithms for Sparse Regularization [73.85961005970222]
  本稿では,分散動的安全スクリーニング(DDSS)手法を提案し,共有メモリアーキテクチャと分散メモリアーキテクチャにそれぞれ適用する。 提案手法は, 線形収束率を低次複雑度で達成し, 有限個の繰り返しにおいてほとんどすべての不活性な特徴をほぼ確実に除去できることを示す。
  論文  参考訳（メタデータ） (2022-04-23T02:45:55Z)
• C$^{4}$Net: Contextual Compression and Complementary Combination Network for Salient Object Detection [0.0]
  機能結合は、乗算や加算のような他の組み合わせ方法よりもうまく機能することを示す。 また、共同特徴学習は、処理中の情報共有のため、より良い結果をもたらす。
  論文  参考訳（メタデータ） (2021-10-22T16:14:10Z)
• Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature Selection [138.97647716793333]
  再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。 提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
  論文  参考訳（メタデータ） (2020-12-29T04:08:38Z)
• Gaussian MRF Covariance Modeling for Efficient Black-Box Adversarial Attacks [86.88061841975482]
  我々は,ゼロオーダーのオラクルにのみアクセス可能なブラックボックス設定において,逆例を生成する問題について検討する。 我々はこの設定を用いて、FGSM(Fast Gradient Sign Method)のブラックボックス版と同様に、高速な1ステップの敵攻撃を見つける。 提案手法はクエリを少なくし,現在の技術よりも攻撃成功率が高いことを示す。
  論文  参考訳（メタデータ） (2020-10-08T18:36:51Z)
• Multi-Person Pose Estimation with Enhanced Feature Aggregation and Selection [33.15192824888279]
  複数人物のポーズ推定のためのEFASNet(Enhanced Feature Aggregation and Selection Network)を提案する。 我々の手法は、混み合った、散らばった、ぎこちないシーンをうまく扱える。 総合的な実験により、提案手法は最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-03-20T08:33:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。