論文の概要: Reinforced Few-Shot Acquisition Function Learning for Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2106.04335v1
• Date: Tue, 8 Jun 2021 13:46:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-09 16:25:01.105237
• Title: Reinforced Few-Shot Acquisition Function Learning for Bayesian Optimization
• Title（参考訳）: ベイズ最適化のための強化最小ショット獲得関数学習
• Authors: Bing-Jing Hsieh, Ping-Chun Hsieh, Xi Liu
• Abstract要約: また, ブラックボックス機能の違いにより, 最良性能のAFが有意に異なることが観察された。 本稿では,この課題に対して,FSAF(Reforceed few-shot AF learning)の観点から対処することを目的とする。 FSAFは、さまざまな合成および実世界のテスト機能に関する最先端のベンチマークよりも、同等またはより良い後悔を達成していることを示す。
• 参考スコア（独自算出の注目度）: 6.2283964963356295
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian optimization (BO) conventionally relies on handcrafted acquisition functions (AFs) to sequentially determine the sample points. However, it has been widely observed in practice that the best-performing AF in terms of regret can vary significantly under different types of black-box functions. It has remained a challenge to design one AF that can attain the best performance over a wide variety of black-box functions. This paper aims to attack this challenge through the perspective of reinforced few-shot AF learning (FSAF). Specifically, we first connect the notion of AFs with Q-functions and view a deep Q-network (DQN) as a surrogate differentiable AF. While it serves as a natural idea to combine DQN and an existing few-shot learning method, we identify that such a direct combination does not perform well due to severe overfitting, which is particularly critical in BO due to the need of a versatile sampling policy. To address this, we present a Bayesian variant of DQN with the following three features: (i) It learns a distribution of Q-networks as AFs based on the Kullback-Leibler regularization framework. This inherently provides the uncertainty required in sampling for BO and mitigates overfitting. (ii) For the prior of the Bayesian DQN, we propose to use a demo policy induced by an off-the-shelf AF for better training stability. (iii) On the meta-level, we leverage the meta-loss of Bayesian model-agnostic meta-learning, which serves as a natural companion to the proposed FSAF. Moreover, with the proper design of the Q-networks, FSAF is general-purpose in that it is agnostic to the dimension and the cardinality of the input domain. Through extensive experiments, we demonstrate that the FSAF achieves comparable or better regrets than the state-of-the-art benchmarks on a wide variety of synthetic and real-world test functions.
• Abstract（参考訳）: ベイズ最適化(BO)は伝統的に手作りの取得関数(AF)に頼ってサンプル点を逐次決定する。 しかし、実際には、後悔の点において最も優れたAFはブラックボックス関数の種類によって大きく異なることが広く観察されている。 多様なブラックボックス機能に対して最高の性能を達成できる1つのAFを設計することは依然として課題である。 本稿は,強化された少数ショットaf学習(fsaf)の観点から,この課題に挑戦することを目的とする。 具体的には、まず AF の概念と Q-函数を結びつけ、深い Q-ネットワーク(DQN)を代理微分可能な AF とみなす。 DQNと既存の数発の学習法を組み合わせる自然なアイデアとして機能するが、このような直接的な組み合わせは過度なオーバーフィッティングのためにうまく機能しない。 i) Kullback-Leibler 正規化フレームワークに基づく AF として Q-networks の分布を学習する。 これは本質的にBOのサンプリングに必要な不確実性を提供し、オーバーフィッティングを緩和する。 (II)ベイズDQNに先立って,市販のAFによって誘導されるデモポリシーをトレーニング安定性の向上に活用することを提案する。 (iii)メタレベルでは,提案するfsafの自然なコンパニオンとして機能するベイズモデル非依存型メタラーニングのメタロスを利用する。 さらに、Q-networks の適切な設計により、FSAF は入力領域の次元と濃度に依存しないという点で汎用的である。 広範な実験を通じて、FSAFは様々な合成および実世界のテスト機能に関する最先端のベンチマークよりも、同等またはより良い後悔を達成していることを示す。

関連論文リスト

• Alpha-VI DeepONet: A prior-robust variational Bayesian approach for enhancing DeepONets with uncertainty quantification [0.0]
  一般化変分推論(GVI)を組み込んだ新しいディープオペレータネットワーク(DeepONet)を提案する。 分岐ネットワークとトランクネットワークのビルディングブロックとしてベイズニューラルネットワークを組み込むことで,不確実な定量化が可能なDeepONetを実現する。 変動目的関数の修正は平均二乗誤差を最小化する点で優れた結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-08-01T16:22:03Z)
• SF-DQN: Provable Knowledge Transfer using Successor Feature for Deep Reinforcement Learning [89.04776523010409]
  本稿では、複数のRL問題が異なる報酬関数を持つが、基礎となる遷移力学を共有する転写強化学習(RL)問題を考察する。 この設定では、各RL問題(タスク)のQ-関数を後継特徴(SF)と報酬マッピングに分解することができる。 GPIを用いたSF-DQNの証明可能な一般化保証を用いた最初の収束解析を確立する。
  論文  参考訳（メタデータ） (2024-05-24T20:30:14Z)
• Understanding, Predicting and Better Resolving Q-Value Divergence in Offline-RL [86.0987896274354]
  まず、オフラインRLにおけるQ値推定のばらつきの主な原因として、基本パターン、自己励起を同定する。 そこで本研究では,Q-network の学習における進化特性を測定するために,SEEM(Self-Excite Eigen Value Measure)尺度を提案する。 われわれの理論では、訓練が早期に発散するかどうかを確実に決定できる。
  論文  参考訳（メタデータ） (2023-10-06T17:57:44Z)
• BOtied: Multi-objective Bayesian optimization with tied multivariate ranks [33.414682601242006]
  本稿では,非支配解と結合累積分布関数の極端量子化との自然な関係を示す。 このリンクにより、我々はPareto対応CDFインジケータと関連する取得関数BOtiedを提案する。 種々の合成および実世界の問題に対する実験により,BOtied は最先端MOBO 取得関数より優れていることが示された。
  論文  参考訳（メタデータ） (2023-06-01T04:50:06Z)
• Unleashing the Potential of Acquisition Functions in High-Dimensional Bayesian Optimization [5.349207553730357]
  ベイズ最適化は高価なブラックボックス関数の最適化に広く用いられている。 高次元問題では、取得関数の大域的な最大値を求めることは困難である。 ブラックボックス最適化の歴史的能力を活用するために,複数のデータポイントを利用することにより,より優れたアプローチを提案する。
  論文  参考訳（メタデータ） (2023-02-16T13:56:32Z)
• Reliable Federated Disentangling Network for Non-IID Domain Feature [62.73267904147804]
  本稿では、RFedDisと呼ばれる新しい信頼性のあるフェデレーション・ディエンタングリング・ネットワークを提案する。 我々の知る限り、提案するRFedDisは、明らかな不確実性と特徴の混在に基づくFLアプローチを開発する最初の試みである。 提案するRFedDisは,他の最先端FL手法と比較して信頼性の高い優れた性能を提供する。
  論文  参考訳（メタデータ） (2023-01-30T11:46:34Z)
• Bayesian Optimization over Discrete and Mixed Spaces via Probabilistic Reparameterization [29.178417789839102]
  離散的(そして潜在的に連続的な)設計パラメータのブラックボックス関数を最適化することは、科学や工学の応用においてユビキタスな問題である。 本稿では,確率分布に対する獲得関数(AF)の期待を最大化するために確率的再パラメータ化(PR)を提案する。 PRは最近の作業と補完的であり、複数の目的とブラックボックス制約を持った設定に自然に一般化します。
  論文  参考訳（メタデータ） (2022-10-18T22:41:00Z)
• Optimizing Two-way Partial AUC with an End-to-end Framework [154.47590401735323]
  ROC曲線のエリア(AUC)は、機械学習にとって重要な指標である。 最近の研究は、TPAUCが既存のPartial AUCメトリクスと本質的に矛盾していることを示している。 本論文では,この新指標を最適化するための最初の試行について述べる。
  論文  参考訳（メタデータ） (2022-06-23T12:21:30Z)
• BERTops: Studying BERT Representations under a Topological Lens [13.452510519858995]
  パーシステンススコアリング関数(PSF)という新しいスコアリング関数を提案する。 PSFは、高次元隠れ表現のホモロジーを正確に捉え、幅広いデータセットのテストセット精度とよく相関する。 本研究では, BERT に関連する様々な NLP タスクにおける PSF の実用性について検討した。
  論文  参考訳（メタデータ） (2022-05-02T14:56:17Z)
• Cross Learning in Deep Q-Networks [82.20059754270302]
  本稿では、値に基づく強化学習手法において、よく知られた過大評価問題を緩和することを目的とした、新しいクロスQ-ラーニングアルゴリズムを提案する。 本アルゴリズムは,並列モデルの集合を維持し,ランダムに選択されたネットワークに基づいてQ値を算出することによって,二重Q-ラーニングに基づいて構築する。
  論文  参考訳（メタデータ） (2020-09-29T04:58:17Z)
• Feature Quantization Improves GAN Training [126.02828112121874]
  識別器の特徴量子化(FQ)は、真と偽のデータの両方を共有離散空間に埋め込む。 本手法は,既存のGANモデルに容易に接続でき,訓練における計算オーバーヘッドがほとんどない。
  論文  参考訳（メタデータ） (2020-04-05T04:06:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。