論文の概要: Incorporating Prior Knowledge into Neural Networks through an Implicit
Composite Kernel
- arxiv url: http://arxiv.org/abs/2205.07384v1
- Date: Sun, 15 May 2022 21:32:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-18 02:43:16.442446
- Title: Incorporating Prior Knowledge into Neural Networks through an Implicit
Composite Kernel
- Title(参考訳): インシシット複合カーネルによるニューラルネットワークへの事前知識の導入
- Authors: Ziyang Jiang, Tongshu Zheng, and David Carlson
- Abstract要約: 多くのディープラーニングアプリケーションは、既知のプロパティをモデリングすることによって強化できる。
ニューラルネットワークによって暗黙的に定義されたカーネルと、既知の特性をモデル化するために選択された第2のカーネル関数を組み合わせた複合カーネルを提案する。
合成データセットと実世界のデータセットの両方において、優れたパフォーマンスと柔軟性を示すことで、我々のフレームワークの強みを実証する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: It is challenging to guide neural network (NN) learning with prior knowledge.
In contrast, many known properties, such as spatial smoothness or seasonality,
are straightforward to model by choosing an appropriate kernel in a Gaussian
process (GP). Many deep learning applications could be enhanced by modeling
such known properties. For example, convolutional neural networks (CNNs) are
frequently used in remote sensing, which is subject to strong seasonal effects.
We propose to blend the strengths of deep learning and the clear modeling
capabilities of GPs by using a composite kernel that combines a kernel
implicitly defined by a neural network with a second kernel function chosen to
model known properties (e.g., seasonality). Then, we approximate the resultant
GP by combining a deep network and an efficient mapping based on the Nystrom
approximation, which we call Implicit Composite Kernel (ICK). ICK is flexible
and can be used to include prior information in neural networks in many
applications. We demonstrate the strength of our framework by showing its
superior performance and flexibility on both synthetic and real-world data
sets. The code is available at:
https://anonymous.4open.science/r/ICK_NNGP-17C5/.
- Abstract(参考訳): ニューラルネットワーク(NN)学習を事前知識でガイドすることは困難である。
対照的に、空間的滑らかさや季節性といった多くの既知の性質は、ガウス過程 (GP) において適切なカーネルを選択することでモデル化が簡単である。
多くのディープラーニングアプリケーションは、そのような既知の特性をモデル化することで拡張することができる。
例えば、畳み込みニューラルネットワーク(CNN)は、強い季節的影響を受けるリモートセンシングで頻繁に使用される。
本稿では,ニューラルネットワークによって暗黙的に定義されたカーネルと,既知の特性(季節性など)をモデル化するために選択された第2のカーネル関数を組み合わせることで,ディープラーニングの強みとGPの明確なモデリング能力を組み合わせることを提案する。
次に,Nystrom近似に基づく深層ネットワークと効率的なマッピングを組み合わせることにより,結果GPを近似し,Implicit Composite Kernel (ICK) と呼ぶ。
ICKは柔軟で、多くのアプリケーションでニューラルネットワークに事前情報を含めることができる。
我々は,合成データと実世界のデータセットの両方において,優れた性能と柔軟性を示すことにより,フレームワークの強みを実証する。
コードは、https://anonymous.4open.science/r/ICK_NNGP-17C5/で入手できる。
関連論文リスト
- Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。
また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。
この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
論文 参考訳(メタデータ) (2024-05-24T06:30:36Z) - Local Kernel Renormalization as a mechanism for feature learning in
overparametrized Convolutional Neural Networks [0.0]
実験的な証拠は、無限幅限界における完全連結ニューラルネットワークが最終的に有限幅限界よりも優れていることを示している。
畳み込み層を持つ最先端アーキテクチャは、有限幅構造において最適な性能を達成する。
有限幅FCネットワークの一般化性能は,ガウス事前選択に適した無限幅ネットワークで得られることを示す。
論文 参考訳(メタデータ) (2023-07-21T17:22:04Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳(メタデータ) (2022-05-11T17:43:54Z) - Inducing Gaussian Process Networks [80.40892394020797]
本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。
特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。
実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
論文 参考訳(メタデータ) (2022-04-21T05:27:09Z) - End-to-End Learning of Deep Kernel Acquisition Functions for Bayesian
Optimization [39.56814839510978]
ニューラルネットワークに基づくカーネルを用いたベイズ最適化のためのメタラーニング手法を提案する。
我々のモデルは、複数のタスクから強化学習フレームワークによって訓練されている。
3つのテキスト文書データセットを用いた実験において,提案手法が既存の手法よりも優れたBO性能を実現することを示す。
論文 参考訳(メタデータ) (2021-11-01T00:42:31Z) - Universality and Optimality of Structured Deep Kernel Networks [0.0]
カーネルベースの手法は、柔軟で効率的で強力な近似モデルを生み出す。
機械学習手法の最近の成功は、ディープニューラルネットワーク(NN)によって駆動されている。
本稿では,特殊なタイプのカーネルを用いることで,ニューラルネットワークを連想させるモデルが得られることを示す。
論文 参考訳(メタデータ) (2021-05-15T14:10:35Z) - Random Features for the Neural Tangent Kernel [57.132634274795066]
完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。
得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
論文 参考訳(メタデータ) (2021-04-03T09:08:12Z) - Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。
中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。
重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
論文 参考訳(メタデータ) (2020-07-31T01:57:47Z) - Neural Splines: Fitting 3D Surfaces with Infinitely-Wide Neural Networks [61.07202852469595]
本稿では,無限幅浅部ReLUネットワークから生じるランダムな特徴カーネルをベースとした3次元表面再構成手法であるNeural Splinesを提案する。
提案手法は,最近のニューラルネットワーク技術より優れ,ポアソン表面再構成に広く用いられている。
論文 参考訳(メタデータ) (2020-06-24T14:54:59Z) - On the Empirical Neural Tangent Kernel of Standard Finite-Width
Convolutional Neural Network Architectures [3.4698840925433765]
NTK理論が実際に一般的な幅の標準的なニューラルネットワークアーキテクチャをいかにうまくモデル化するかは、まだ明らかな疑問である。
我々はこの疑問を、AlexNetとLeNetという2つのよく知られた畳み込みニューラルネットワークアーキテクチャに対して実証的に研究する。
これらのネットワークのより広いバージョンでは、完全に接続されたレイヤのチャネル数や幅が増加すると、偏差は減少する。
論文 参考訳(メタデータ) (2020-06-24T11:40:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。