論文の概要: End-to-End Learning of Deep Kernel Acquisition Functions for Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2111.00639v1
• Date: Mon, 1 Nov 2021 00:42:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-02 12:58:03.394384
• Title: End-to-End Learning of Deep Kernel Acquisition Functions for Bayesian Optimization
• Title（参考訳）: ベイズ最適化のためのディープカーネル獲得関数のエンドツーエンド学習
• Authors: Tomoharu Iwata
• Abstract要約: ニューラルネットワークに基づくカーネルを用いたベイズ最適化のためのメタラーニング手法を提案する。 我々のモデルは、複数のタスクから強化学習フレームワークによって訓練されている。 3つのテキスト文書データセットを用いた実験において,提案手法が既存の手法よりも優れたBO性能を実現することを示す。
• 参考スコア（独自算出の注目度）: 39.56814839510978
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For Bayesian optimization (BO) on high-dimensional data with complex structure, neural network-based kernels for Gaussian processes (GPs) have been used to learn flexible surrogate functions by the high representation power of deep learning. However, existing methods train neural networks by maximizing the marginal likelihood, which do not directly improve the BO performance. In this paper, we propose a meta-learning method for BO with neural network-based kernels that minimizes the expected gap between the true optimum value and the best value found by BO. We model a policy, which takes the current evaluated data points as input and outputs the next data point to be evaluated, by a neural network, where neural network-based kernels, GPs, and mutual information-based acquisition functions are used as its layers. With our model, the neural network-based kernel is trained to be appropriate for the acquisition function by backpropagating the gap through the acquisition function and GP. Our model is trained by a reinforcement learning framework from multiple tasks. Since the neural network is shared across different tasks, we can gather knowledge on BO from multiple training tasks, and use the knowledge for unseen test tasks. In experiments using three text document datasets, we demonstrate that the proposed method achieves better BO performance than the existing methods.
• Abstract（参考訳）: 複雑な構造を持つ高次元データに対するベイズ最適化(BO)のために、ガウス過程(GP)のためのニューラルネットワークベースのカーネルは、ディープラーニングの高表現力によって柔軟な代理関数を学習するために使われてきた。 しかし、既存の手法では、BO性能を直接改善しない限界確率を最大化してニューラルネットワークを訓練している。 本稿では,boが求める真の最適値と最良値との差を最小化するニューラルネットワークを用いた,boのメタ学習手法を提案する。 我々は,現在評価されているデータポイントを入力として,次に評価すべきデータポイントをニューラルネットワークによって出力するポリシをモデル化する。 このモデルでは、ニューラルネットワークベースのカーネルは、取得関数とgpを介してギャップをバックプロパゲーションすることにより、取得関数に適するように訓練される。 我々のモデルは、複数のタスクから強化学習フレームワークによって訓練されている。 ニューラルネットワークはさまざまなタスク間で共有されるため、複数のトレーニングタスクからBOに関する知識を収集し、その知識を見えないテストタスクに使用することができる。 3つのテキスト文書データセットを用いた実験において,提案手法が既存の手法よりも優れたBO性能を実現することを示す。

関連論文リスト

• Deep Learning and genetic algorithms for cosmological Bayesian inference speed-up [0.0]
  本稿では,ネストサンプリングアルゴリズムに特化してベイズ推論を高速化する新しい手法を提案する。 提案手法は,ベイズ推論過程における確率関数を動的に近似するために,フィードフォワードニューラルネットワークを用いてディープラーニングのパワーを利用する。 この実装はネストサンプリングアルゴリズムと統合され、単純な宇宙学のダークエネルギーモデルと多様な観測データセットの両方を用いて徹底的に評価されている。
  論文  参考訳（メタデータ） (2024-05-06T09:14:58Z)
• Deep Neural Network Classifier for Multi-dimensional Functional Data [4.340040784481499]
  我々は,多次元関数型データを分類するFDNN(Functional Deep Neural Network)と呼ばれる新しい手法を提案する。 具体的には、将来のデータ関数のクラスラベルを予測するために使用されるトレーニングデータの原則コンポーネントに基づいて、ディープニューラルネットワークをトレーニングする。
  論文  参考訳（メタデータ） (2022-05-17T19:22:48Z)
• Incorporating Prior Knowledge into Neural Networks through an Implicit Composite Kernel [1.6383321867266318]
  Implicit Composite Kernel (ICK) は、ニューラルネットワークによって暗黙的に定義されたカーネルと、既知のプロパティをモデル化するために選択された第2のカーネル関数を組み合わせたカーネルである。 合成データセットと実世界のデータセットの両方において、ICKの優れた性能と柔軟性を実証する。
  論文  参考訳（メタデータ） (2022-05-15T21:32:44Z)
• Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics [85.31710759801705]
  現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。 本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。 我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
  論文  参考訳（メタデータ） (2022-01-11T20:53:15Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Learning Structures for Deep Neural Networks [99.8331363309895]
  我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。 スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。 公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
  論文  参考訳（メタデータ） (2021-05-27T12:27:24Z)
• Universality and Optimality of Structured Deep Kernel Networks [0.0]
  カーネルベースの手法は、柔軟で効率的で強力な近似モデルを生み出す。 機械学習手法の最近の成功は、ディープニューラルネットワーク(NN)によって駆動されている。 本稿では,特殊なタイプのカーネルを用いることで,ニューラルネットワークを連想させるモデルが得られることを示す。
  論文  参考訳（メタデータ） (2021-05-15T14:10:35Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
  本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。 提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。 2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
  論文  参考訳（メタデータ） (2020-12-23T09:33:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。