論文の概要: Graph Neural Networks and Applied Linear Algebra

• arxiv url: http://arxiv.org/abs/2310.14084v1
• Date: Sat, 21 Oct 2023 18:37:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 02:04:22.521791
• Title: Graph Neural Networks and Applied Linear Algebra
• Title（参考訳）: グラフニューラルネットワークと応用線形代数
• Authors: Nicholas S. Moore and Eric C. Cyr and Peter Ohm and Christopher M. Siefert and Raymond S. Tuminaro
• Abstract要約: グラフニューラルネットワーク(GNN)は、スパース行列計算に適したアプローチである。 本稿では,数値線形代数オーディエンスのためのGNNを紹介する。 具体例は、GNNを用いて、どれだけの共通線型代数タスクを達成できるかを示すものである。
• 参考スコア（独自算出の注目度）: 1.8749305679160366
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse matrix computations are ubiquitous in scientific computing. With the recent interest in scientific machine learning, it is natural to ask how sparse matrix computations can leverage neural networks (NN). Unfortunately, multi-layer perceptron (MLP) neural networks are typically not natural for either graph or sparse matrix computations. The issue lies with the fact that MLPs require fixed-sized inputs while scientific applications generally generate sparse matrices with arbitrary dimensions and a wide range of nonzero patterns (or matrix graph vertex interconnections). While convolutional NNs could possibly address matrix graphs where all vertices have the same number of nearest neighbors, a more general approach is needed for arbitrary sparse matrices, e.g. arising from discretized partial differential equations on unstructured meshes. Graph neural networks (GNNs) are one approach suitable to sparse matrices. GNNs define aggregation functions (e.g., summations) that operate on variable size input data to produce data of a fixed output size so that MLPs can be applied. The goal of this paper is to provide an introduction to GNNs for a numerical linear algebra audience. Concrete examples are provided to illustrate how many common linear algebra tasks can be accomplished using GNNs. We focus on iterative methods that employ computational kernels such as matrix-vector products, interpolation, relaxation methods, and strength-of-connection measures. Our GNN examples include cases where parameters are determined a-priori as well as cases where parameters must be learned. The intent with this article is to help computational scientists understand how GNNs can be used to adapt machine learning concepts to computational tasks associated with sparse matrices. It is hoped that this understanding will stimulate data-driven extensions of classical sparse linear algebra tasks.
• Abstract（参考訳）: スパース行列計算は科学計算においてユビキタスである。 最近の科学機械学習への関心から、スパース行列計算がニューラルネットワーク(NN)をどのように活用できるかを問うのは当然である。 残念なことに、多層パーセプトロン(MLP)ニューラルネットワークは一般的にグラフ計算やスパース行列計算では自然ではない。 問題は、mlpが固定サイズの入力を必要とするのに対して、科学的な応用は一般に任意の次元と幅広い非零パターン(あるいは行列グラフ頂点相互接続)を持つスパース行列を生成する。 畳み込みNNは、任意のスパース行列(例えば、非構造的メッシュ上の離散偏微分方程式から生じるような)に対して、全ての頂点が隣り合う同じ数の近傍を持つ行列グラフに対処することができる。 グラフニューラルネットワーク(GNN)はスパース行列に適したアプローチである。 GNNは、可変サイズの入力データを操作するアグリゲーション関数(例えば和)を定義し、固定出力サイズのデータを生成して、MPPを適用することができる。 本研究の目的は,数値線形代数オーディエンスのためのGNNの導入である。 具体例は、GNNを用いてどれだけの共通線型代数タスクを達成できるかを示すものである。 本研究では,行列ベクトル積,補間,緩和法,結合強度測定などの計算核を用いた反復的手法に注目した。 我々のGNNの例には、パラメータをa-prioriで決定するケースと、パラメータを学習しなければならないケースが含まれています。 本稿の目的は、計算科学者が機械学習の概念をスパース行列に関連付けられた計算タスクにどのように適用できるかを理解することである。 この理解は、古典的なスパース線形代数タスクのデータ駆動拡張を刺激することが期待されている。

関連論文リスト

• Signal Processing in the Retina: Interpretable Graph Classifier to Predict Ganglion Cell Responses [26.403303281303092]
  そこで我々は,視覚刺激に応答してガングリオン細胞の発火を予測できるグラフベース分類器を学習した。 我々の枠組みは、解釈を必要とする前兆的特徴を持つ他の生物学的システムに適用できる。
  論文  参考訳（メタデータ） (2024-01-03T16:15:22Z)
• CoLA: Exploiting Compositional Structure for Automatic and Efficient Numerical Linear Algebra [62.37017125812101]
  機械学習における大規模線形代数問題に対して, CoLA という, 単純だが汎用的なフレームワークを提案する。 線形演算子抽象と合成ディスパッチルールを組み合わせることで、CoLAはメモリと実行時の効率的な数値アルゴリズムを自動的に構築する。 偏微分方程式,ガウス過程,同変モデル構築,教師なし学習など,幅広い応用で有効性を示す。
  論文  参考訳（メタデータ） (2023-09-06T14:59:38Z)
• A Structured Sparse Neural Network and Its Matrix Calculations Algorithm [0.0]
  非対称な三対角行列を導入し, 対角方向のスパース成分とオフセット部分および超対角線を導入した。 行列逆が存在しない場合には、最小二乗型擬逆が提供される。 その結果,行列のサイズが大きくなると計算コストが著しく向上することがわかった。
  論文  参考訳（メタデータ） (2022-07-02T19:38:48Z)
• Graph Kernel Neural Networks [53.91024360329517]
  本稿では、グラフ上の内部積を計算するカーネル関数であるグラフカーネルを用いて、標準畳み込み演算子をグラフ領域に拡張することを提案する。 これにより、入力グラフの埋め込みを計算する必要のない完全に構造的なモデルを定義することができる。 私たちのアーキテクチャでは,任意の種類のグラフカーネルをプラグインすることが可能です。
  論文  参考訳（メタデータ） (2021-12-14T14:48:08Z)
• Optimizing Sparse Matrix Multiplications for Graph Neural Networks [8.080228311931261]
  グラフニューラルネットワーク(GNN)は、グラフ構造をモデル化するための強力なテクニックとして登場している。 実世界のグラフデータのばらつきにより、GNN性能は広いスパース行列乗算演算によって制限される。 本稿では,スパース行列ストレージフォーマットの選択がGNNの性能に与える影響について検討する。
  論文  参考訳（メタデータ） (2021-10-30T22:08:51Z)
• Permute Me Softly: Learning Soft Permutations for Graph Representations [26.581982471005674]
  グラフニューラルネットワーク(GNN)は、グラフを用いた機械学習の主流パラダイムとして浮上している。 MPNNの研究は、主にメッセージパッシングニューラルネットワーク(MPNN)のファミリーに焦点を当てている。
  論文  参考訳（メタデータ） (2021-10-05T08:20:51Z)
• Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
  アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
  論文  参考訳（メタデータ） (2021-09-10T07:01:15Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Learning Algebraic Multigrid Using Graph Neural Networks [34.32501734380907]
  我々は、そのような行列のクラス全体から長期演算子へのマッピングを学ぶために、単一のグラフニューラルネットワークを訓練する。 幅広い問題に対する実験では、古典的なAMGと比較して収束率が改善された。
  論文  参考訳（メタデータ） (2020-03-12T12:36:48Z)
• Sketching Transformed Matrices with Applications to Natural Language Processing [76.6222695417524]
  本稿では, 変換行列を用いて, 与えられた小さな行列の積を計算するための空間効率のよいスケッチアルゴリズムを提案する。 提案手法は誤差が小さく,空間と時間の両方で効率がよいことを示す。
  論文  参考訳（メタデータ） (2020-02-23T03:07:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。