論文の概要: Reinforcement Learning via Gaussian Processes with Neural Network Dual Kernels

• arxiv url: http://arxiv.org/abs/2004.05198v1
• Date: Fri, 10 Apr 2020 18:36:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-14 20:35:14.925170
• Title: Reinforcement Learning via Gaussian Processes with Neural Network Dual Kernels
• Title（参考訳）: ニューラルネットワークデュアルカーネルを用いたガウス過程による強化学習
• Authors: Im\`ene R. Goumiri, Benjamin W. Priest, Michael D. Schneider
• Abstract要約: ニューラルネットワーク二重カーネルは回帰学習や強化学習に効率的に適用可能であることを示す。 我々は、よく理解されたマウンテンカー問題を用いて、デュアルカーネルで権限を持つGPが、従来のラジアル基底関数カーネルと同様に、少なくとも性能を発揮することを示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While deep neural networks (DNNs) and Gaussian Processes (GPs) are both popularly utilized to solve problems in reinforcement learning, both approaches feature undesirable drawbacks for challenging problems. DNNs learn complex nonlinear embeddings, but do not naturally quantify uncertainty and are often data-inefficient to train. GPs infer posterior distributions over functions, but popular kernels exhibit limited expressivity on complex and high-dimensional data. Fortunately, recently discovered conjugate and neural tangent kernel functions encode the behavior of overparameterized neural networks in the kernel domain. We demonstrate that these kernels can be efficiently applied to regression and reinforcement learning problems by analyzing a baseline case study. We apply GPs with neural network dual kernels to solve reinforcement learning tasks for the first time. We demonstrate, using the well-understood mountain-car problem, that GPs empowered with dual kernels perform at least as well as those using the conventional radial basis function kernel. We conjecture that by inheriting the probabilistic rigor of GPs and the powerful embedding properties of DNNs, GPs using NN dual kernels will empower future reinforcement learning models on difficult domains.
• Abstract（参考訳）: deep neural network (dnns) と gaussian process (gps) はともに強化学習の問題を解決するために広く利用されているが、どちらのアプローチも難しい問題に対して好ましくない欠点を持っている。 DNNは複雑な非線形埋め込みを学習するが、不確実性を自然に定量化せず、しばしば訓練にデータ非効率である。 GPは関数上の後続分布を推定するが、一般的なカーネルは複素および高次元のデータに対して限定的な表現性を示す。 幸いなことに、最近発見された共役および神経接核関数は、カーネルドメイン内の過パラメータニューラルネットワークの振る舞いをコードしている。 ベースラインケーススタディを解析することにより,これらのカーネルをレグレッション問題や強化学習問題に効率的に適用できることを実証する。 gpsをニューラルネットワークのデュアルカーネルに応用して,強化学習タスクを初めて解決する。 我々は、よく理解されているマウンテンカー問題を用いて、デュアルカーネルを備えたgpsが、従来のラジアル基底関数カーネルを使用するものと同様に少なくとも機能することを示す。 我々は、GPの確率的厳密さとDNNの強力な埋め込み特性を継承することにより、NN双対カーネルを用いたGPは、困難な領域における将来の強化学習モデルを強化することができると推測する。

関連論文リスト

• Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
  本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。 また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。 この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
  論文  参考訳（メタデータ） (2024-05-24T06:30:36Z)
• Efficient kernel surrogates for neural network-based regression [0.8030359871216615]
  ニューラルタンジェントカーネル(NTK)の効率的な近似である共役カーネル(CK)の性能について検討する。 CK性能がNTKよりもわずかに劣っていることを示し、特定の場合において、CK性能が優れていることを示す。 NTKの代わりにCKを使用するための理論的基盤を提供するだけでなく,DNNの精度を安価に向上するためのレシピを提案する。
  論文  参考訳（メタデータ） (2023-10-28T06:41:47Z)
• Linear Time GPs for Inferring Latent Trajectories from Neural Spike Trains [7.936841911281107]
  我々は,Hida-Mat'ernカーネルと共役変分推論(CVI)を利用した潜在GPモデルの一般的な推論フレームワークであるcvHMを提案する。 我々は任意の確率で線形時間複雑性を持つ潜在神経軌道の変分推定を行うことができる。
  論文  参考訳（メタデータ） (2023-06-01T16:31:36Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Incorporating Prior Knowledge into Neural Networks through an Implicit Composite Kernel [1.6383321867266318]
  Implicit Composite Kernel (ICK) は、ニューラルネットワークによって暗黙的に定義されたカーネルと、既知のプロパティをモデル化するために選択された第2のカーネル関数を組み合わせたカーネルである。 合成データセットと実世界のデータセットの両方において、ICKの優れた性能と柔軟性を実証する。
  論文  参考訳（メタデータ） (2022-05-15T21:32:44Z)
• Inducing Gaussian Process Networks [80.40892394020797]
  本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
  論文  参考訳（メタデータ） (2022-04-21T05:27:09Z)
• Uniform Generalization Bounds for Overparameterized Neural Networks [5.945320097465419]
  カーネルシステムにおけるオーバーパラメータ化ニューラルネットワークに対する一様一般化バウンダリを証明した。 我々の境界は、アクティベーション関数の微分可能性に応じて正確な誤差率をキャプチャする。 NTカーネルに対応するRKHSと、Mat'ernカーネルのファミリーに対応するRKHSの等価性を示す。
  論文  参考訳（メタデータ） (2021-09-13T16:20:13Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• Avoiding Kernel Fixed Points: Computing with ELU and GELU Infinite Networks [12.692279981822011]
  指数線型単位(ELU)とガウス誤差線形単位(GELU)を持つ多層パーセプトロンの共分散関数を導出する。 我々は、幅広い活性化関数に対応する繰り返しカーネルの固定点ダイナミクスを解析する。 これまで研究されてきたニューラルネットワークカーネルとは異なり、これらの新しいカーネルは非自明な固定点ダイナミクスを示す。
  論文  参考訳（メタデータ） (2020-02-20T01:25:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。