論文の概要: Gaussian process surrogate models for neural networks
- arxiv url: http://arxiv.org/abs/2208.06028v1
- Date: Thu, 11 Aug 2022 20:17:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-15 13:00:46.642451
- Title: Gaussian process surrogate models for neural networks
- Title(参考訳): ニューラルネットワークのためのガウス過程代理モデル
- Authors: Michael Y. Li, Erin Grant, Thomas L. Griffiths
- Abstract要約: 本稿では,ガウス過程を用いたニューラルネットワークの代理モデルのクラスを構築する。
ニューラルネットワークの自然な振る舞いからガウス過程の核を経験的に学習する。
さらに2つの実践的なケーススタディでは、学習したカーネルを使用してニューラルネットワークの一般化特性を予測する。
- 参考スコア(独自算出の注目度): 9.707081318954165
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The lack of insight into deep learning systems hinders their systematic
design. In science and engineering, modeling is a methodology used to
understand complex systems whose internal processes are opaque. Modeling
replaces a complex system with a simpler surrogate that is more amenable to
interpretation. Drawing inspiration from this, we construct a class of
surrogate models for neural networks using Gaussian processes. Rather than
deriving the kernels for certain limiting cases of neural networks, we learn
the kernels of the Gaussian process empirically from the naturalistic behavior
of neural networks. We first evaluate our approach with two case studies
inspired by previous theoretical studies of neural network behavior in which we
capture neural network preferences for learning low frequencies and identify
pathological behavior in deep neural networks. In two further practical case
studies, we use the learned kernel to predict the generalization properties of
neural networks.
- Abstract(参考訳): ディープラーニングシステムに対する洞察の欠如は、その体系的設計を妨げる。
科学と工学において、モデリングは内部プロセスが不透明である複雑なシステムを理解するために用いられる方法論である。
モデリングは複雑なシステムを、解釈に適したより単純なサロゲートで置き換える。
このことから着想を得た我々は,ガウス過程を用いたニューラルネットワークの代理モデルのクラスを構築した。
ニューラルネットワークの特定の制限ケースのカーネルを導出するのではなく、ニューラルネットワークの自然な振る舞いからガウス過程のカーネルを経験的に学習する。
このアプローチを,ニューラルネットワークの低周波学習における好みを捉え,深層ニューラルネットワークの病理挙動を同定する,ニューラルネットワークの行動に関する前回の理論的研究から着想を得た2つのケーススタディで評価した。
さらに2つの実用的なケーススタディにおいて,学習核を用いてニューラルネットワークの一般化特性を予測する。
関連論文リスト
- Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。
新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。
我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
論文 参考訳(メタデータ) (2024-02-20T15:23:24Z) - Understanding Activation Patterns in Artificial Neural Networks by
Exploring Stochastic Processes [0.0]
我々はこれまで未利用であったプロセスの枠組みを活用することを提案する。
我々は、実際のニューロンスパイク列車に使用される神経科学技術を活用した、アクティベーション周波数のみに焦点をあてる。
各ネットワークにおけるアクティベーションパターンを記述するパラメータを導出し、アーキテクチャとトレーニングセット間で一貫した差異を明らかにする。
論文 参考訳(メタデータ) (2023-08-01T22:12:30Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳(メタデータ) (2023-06-04T08:53:27Z) - An Artificial Neural Network Functionalized by Evolution [2.0625936401496237]
フィードフォワードニューラルネットワークのテンソル計算と擬似ダーウィン機構を組み合わせたハイブリッドモデルを提案する。
これにより、戦略の解明、制御問題、パターン認識タスクに適したトポロジを見つけることができる。
特に、このモデルは初期の進化段階に適応したトポロジを提供し、ロボット工学、ビッグデータ、人工生命に応用できる「構造収束」を提供することができる。
論文 参考訳(メタデータ) (2022-05-16T14:49:58Z) - Inducing Gaussian Process Networks [80.40892394020797]
本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。
特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。
実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
論文 参考訳(メタデータ) (2022-04-21T05:27:09Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Creating Powerful and Interpretable Models withRegression Networks [2.2049183478692584]
本稿では,ニューラルネットワークのパワーと回帰分析の可視性を組み合わせた新しいアーキテクチャRegression Networksを提案する。
これらのモデルが,いくつかのベンチマークデータセット上での解釈可能なモデルの最先端性能を上回ることを実証する。
論文 参考訳(メタデータ) (2021-07-30T03:37:00Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳(メタデータ) (2021-04-29T14:31:09Z) - Explainable artificial intelligence for mechanics: physics-informing
neural networks for constitutive models [0.0]
メカニクスにおいて、物理インフォームドニューラルネットワークの新しい活発な分野は、機械的知識に基づいてディープニューラルネットワークを設計することによって、この欠点を緩和しようとする。
本論文では,機械データに訓練されたニューラルネットワークを後述する物理形成型アプローチへの第一歩を提案する。
これにより、主成分分析はRNNの細胞状態における分散表現をデコレーションし、既知の基本関数との比較を可能にする。
論文 参考訳(メタデータ) (2021-04-20T18:38:52Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳(メタデータ) (2020-08-19T04:53:31Z) - Deep Randomized Neural Networks [12.333836441649343]
ランダム化されたニューラルネットワークは、ほとんどの接続が固定されたニューラルネットワークの挙動を探索する。
本章はランダム化ニューラルネットワークの設計と解析に関する主要な側面をすべて調査する。
論文 参考訳(メタデータ) (2020-02-27T17:57:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。