論文の概要: Gaussian Process Surrogate Models for Neural Networks

• arxiv url: http://arxiv.org/abs/2208.06028v2
• Date: Thu, 14 Sep 2023 16:37:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-15 19:51:11.695855
• Title: Gaussian Process Surrogate Models for Neural Networks
• Title（参考訳）: ニューラルネットワークのためのガウス過程代理モデル
• Authors: Michael Y. Li, Erin Grant, Thomas L. Griffiths
• Abstract要約: 科学と工学において、モデリング(英: modeling)とは、内部プロセスが不透明な複雑なシステムを理解するために用いられる方法論である。 本稿では,ガウス過程を用いたニューラルネットワークの代理モデルのクラスを構築する。 提案手法は,ニューラルネットワークのスペクトルバイアスに関連する既存の現象を捕捉し,サロゲートモデルを用いて現実的な問題を解決することを実証する。
• 参考スコア（独自算出の注目度）: 6.8304779077042515
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Not being able to understand and predict the behavior of deep learning systems makes it hard to decide what architecture and algorithm to use for a given problem. In science and engineering, modeling is a methodology used to understand complex systems whose internal processes are opaque. Modeling replaces a complex system with a simpler, more interpretable surrogate. Drawing inspiration from this, we construct a class of surrogate models for neural networks using Gaussian processes. Rather than deriving kernels for infinite neural networks, we learn kernels empirically from the naturalistic behavior of finite neural networks. We demonstrate our approach captures existing phenomena related to the spectral bias of neural networks, and then show that our surrogate models can be used to solve practical problems such as identifying which points most influence the behavior of specific neural networks and predicting which architectures and algorithms will generalize well for specific datasets.
• Abstract（参考訳）: ディープラーニングシステムの振る舞いを理解して予測できないことは、特定の問題にどのアーキテクチャとアルゴリズムを使うかを決定するのが難しくなります。 科学と工学において、モデリングは内部プロセスが不透明である複雑なシステムを理解するために用いられる方法論である。 モデリングは複雑なシステムをよりシンプルでより解釈可能なサロゲートに置き換える。 このことから着想を得た我々は,ガウス過程を用いたニューラルネットワークの代理モデルのクラスを構築した。 無限ニューラルネットワークのカーネルを導出するのではなく、有限ニューラルネットワークの自然主義的な振る舞いから経験的にカーネルを学習する。 提案手法は,ニューラルネットワークのスペクトルバイアスに関連する既存の現象をキャプチャし,特定のニューラルネットワークの挙動に最も影響する点の特定や,特定のデータセットに対してどのアーキテクチャやアルゴリズムがうまく一般化するかの予測など,現実的な問題を解決する上で有効であることを示す。

関連論文リスト

• Structure of Artificial Neural Networks -- Empirical Investigations [0.0]
  10年以内にDeep Learningは、人工知能の数え切れないほどの問題を、支配的な解法で克服した。 ニューラルネットワークの構造を形式的に定義することで、ニューラルネットワークの探索問題と解法を共通の枠組みで定式化することができる。 構造は違いをもたらすのか、それとも任意に選択できるのか?
  論文  参考訳（メタデータ） (2024-10-12T16:13:28Z)
• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
  我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。 新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。 我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
  論文  参考訳（メタデータ） (2024-02-20T15:23:24Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• An Artificial Neural Network Functionalized by Evolution [2.0625936401496237]
  フィードフォワードニューラルネットワークのテンソル計算と擬似ダーウィン機構を組み合わせたハイブリッドモデルを提案する。 これにより、戦略の解明、制御問題、パターン認識タスクに適したトポロジを見つけることができる。 特に、このモデルは初期の進化段階に適応したトポロジを提供し、ロボット工学、ビッグデータ、人工生命に応用できる「構造収束」を提供することができる。
  論文  参考訳（メタデータ） (2022-05-16T14:49:58Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Explainable artificial intelligence for mechanics: physics-informing neural networks for constitutive models [0.0]
  メカニクスにおいて、物理インフォームドニューラルネットワークの新しい活発な分野は、機械的知識に基づいてディープニューラルネットワークを設計することによって、この欠点を緩和しようとする。 本論文では,機械データに訓練されたニューラルネットワークを後述する物理形成型アプローチへの第一歩を提案する。 これにより、主成分分析はRNNの細胞状態における分散表現をデコレーションし、既知の基本関数との比較を可能にする。
  論文  参考訳（メタデータ） (2021-04-20T18:38:52Z)
• Deep Randomized Neural Networks [12.333836441649343]
  ランダム化されたニューラルネットワークは、ほとんどの接続が固定されたニューラルネットワークの挙動を探索する。 本章はランダム化ニューラルネットワークの設計と解析に関する主要な側面をすべて調査する。
  論文  参考訳（メタデータ） (2020-02-27T17:57:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。