論文の概要: Separable Gaussian Neural Networks: Structure, Analysis, and Function Approximations

• arxiv url: http://arxiv.org/abs/2308.06679v1
• Date: Sun, 13 Aug 2023 03:54:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-15 16:03:52.788793
• Title: Separable Gaussian Neural Networks: Structure, Analysis, and Function Approximations
• Title（参考訳）: 分離可能なガウス型ニューラルネットワーク:構造、解析、関数近似
• Authors: Siyuan Xing and Jianqiao Sun
• Abstract要約: 我々は新しいフィードフォワードネットワーク-分離型ガウスニューラルネットワーク(SGNN)を提案する。 SGNNはガウス関数の分離性を利用して、データを複数の列に分割し、順次並列層にフィードする。 実験により,SGNNはGRBFNNよりも100倍の精度で高速化できることが示された。
• 参考スコア（独自算出の注目度）: 2.17301816060102
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Gaussian-radial-basis function neural network (GRBFNN) has been a popular choice for interpolation and classification. However, it is computationally intensive when the dimension of the input vector is high. To address this issue, we propose a new feedforward network - Separable Gaussian Neural Network (SGNN) by taking advantage of the separable property of Gaussian functions, which splits input data into multiple columns and sequentially feeds them into parallel layers formed by uni-variate Gaussian functions. This structure reduces the number of neurons from O(N^d) of GRBFNN to O(dN), which exponentially improves the computational speed of SGNN and makes it scale linearly as the input dimension increases. In addition, SGNN can preserve the dominant subspace of the Hessian matrix of GRBFNN in gradient descent training, leading to a similar level of accuracy to GRBFNN. It is experimentally demonstrated that SGNN can achieve 100 times speedup with a similar level of accuracy over GRBFNN on tri-variate function approximations. The SGNN also has better trainability and is more tuning-friendly than DNNs with RuLU and Sigmoid functions. For approximating functions with complex geometry, SGNN can lead to three orders of magnitude more accurate results than a RuLU-DNN with twice the number of layers and the number of neurons per layer.
• Abstract（参考訳）: gaussian-radial-basis function neural network (grbfnn) は補間と分類に一般的な選択肢である。 しかし、入力ベクトルの次元が高いときは計算量が多い。 そこで本研究では,ガウス関数の分離性を利用して,入力データを複数の列に分割し,一変量ガウス関数によって形成された並列層に順次フィードする,新たなフィードフォワードネットワーク-分離ガウスニューラルネットワーク(SGNN)を提案する。 この構造は、GRBFNNのO(N^d)からO(dN)へのニューロンの数を減少させ、SGNNの計算速度を指数関数的に向上させ、入力次元が増加するにつれて線形にスケールさせる。 さらに、SGNNは勾配降下訓練において、GRBFNNのヘシアン行列の支配的な部分空間を保ち、GRBFNNと同等の精度が得られる。 3変量関数近似におけるGRBFNNよりも100倍の精度でSGNNが達成できることを実験的に実証した。 SGNNはトレーニング性も優れており、RuLUやSigmoidの機能を持つDNNよりもチューニングに優しい。 複雑な幾何学を持つ関数を近似するために、SGNNは、RuLU-DNNの2倍の層数と1層あたりのニューロン数を持つ3桁の精度で結果を得ることができる。

関連論文リスト

• Use of Parallel Explanatory Models to Enhance Transparency of Neural Network Configurations for Cell Degradation Detection [18.214293024118145]
  我々は,ニューラルネットワークの内部動作を照らし,理解するための並列モデルを構築している。 RNNの各層が入力分布を変換して検出精度を高める方法を示す。 同時に、精度の向上を制限するために作用する副作用も発見する。
  論文  参考訳（メタデータ） (2024-04-17T12:22:54Z)
• Do deep neural networks have an inbuilt Occam's razor? [1.1470070927586016]
  構造データとOccam's razor-likeインダクティブバイアスが組み合わさった単純な関数に対する構造データは、複雑さを伴う関数の指数的成長に反することを示す。 この分析により、構造データと(コルモゴロフ)単純関数に対するOccam's razor-likeインダクティブバイアスが組み合わさって、複雑さを伴う関数の指数的成長に対抗できるほど強いことがDNNの成功の鍵であることが明らかになった。
  論文  参考訳（メタデータ） (2023-04-13T16:58:21Z)
• GNN-Ensemble: Towards Random Decision Graph Neural Networks [3.7620848582312405]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データに広く応用されている。 GNNは、大量のテストデータに基づいて推論を行うために、限られた量のトレーニングデータから潜伏パターンを学習する必要がある。 本稿では、GNNのアンサンブル学習を一歩前進させ、精度、堅牢性、敵攻撃を改善した。
  論文  参考訳（メタデータ） (2023-03-20T18:24:01Z)
• Superiority of GNN over NN in generalizing bandlimited functions [6.3151583550712065]
  グラフニューラルネットワーク(GNN)は、さまざまなアプリケーションにまたがってグラフベースの情報を処理するための強力なリソースとして登場した。 本研究では,これらの分類におけるGNNの習熟度について検討する。 以上の結果から,GNNを用いた帯域制限関数を$varepsilon$-errorマージン内で一般化する上で,高い効率性を示した。
  論文  参考訳（メタデータ） (2022-06-13T05:15:12Z)
• Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
  グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。 本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。 我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
  論文  参考訳（メタデータ） (2022-02-13T10:54:59Z)
• Learning Graph Neural Networks with Approximate Gradient Descent [24.49427608361397]
  ラベルがノードまたはグラフに添付されているかどうかに応じて、2種類のグラフニューラルネットワーク(GNN)が調査されます。 gnnトレーニングアルゴリズムの設計と解析のための包括的なフレームワークを開発した。 提案アルゴリズムは,GNNの根底にある真のパラメータに対する線形収束率を保証する。
  論文  参考訳（メタデータ） (2020-12-07T02:54:48Z)
• A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。 本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。 UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
  論文  参考訳（メタデータ） (2020-10-05T04:57:18Z)
• The Surprising Power of Graph Neural Networks with Random Node Initialization [54.4101931234922]
  グラフニューラルネットワーク(GNN)は、関係データ上での表現学習に有効なモデルである。 標準 GNN はその表現力に制限があり、Weisfeiler-Leman グラフ同型(英語版)の能力以外の区別はできない。 本研究では,ランダムノード(RNI)を用いたGNNの表現力の解析を行う。 我々はこれらのモデルが普遍的であることを証明し、GNNが高次特性の計算に頼らない最初の結果である。
  論文  参考訳（メタデータ） (2020-10-02T19:53:05Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Stochastic Graph Neural Networks [123.39024384275054]
  グラフニューラルネットワーク(GNN)は、分散エージェント調整、制御、計画に応用したグラフデータの非線形表現をモデル化する。 現在のGNNアーキテクチャは理想的なシナリオを前提として,環境やヒューマンファクタ,あるいは外部攻撃によるリンク変動を無視している。 これらの状況において、GNNは、トポロジカルなランダム性を考慮していない場合、その分散タスクに対処することができない。
  論文  参考訳（メタデータ） (2020-06-04T08:00:00Z)
• Binarized Graph Neural Network [65.20589262811677]
  我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。 提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。 実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
  論文  参考訳（メタデータ） (2020-04-19T09:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。