論文の概要: GINN-KAN: Interpretability pipelining with applications in Physics Informed Neural Networks
- arxiv url: http://arxiv.org/abs/2408.14780v2
- Date: Wed, 28 Aug 2024 15:48:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-29 12:58:09.290455
- Title: GINN-KAN: Interpretability pipelining with applications in Physics Informed Neural Networks
- Title（参考訳）: GINN-KAN:物理情報ニューラルネットワークにおける解釈可能性パイプライン化
- Authors: Nisal Ranasinghe, Yu Xia, Sachith Seneviratne, Saman Halgamuge,
- Abstract要約: 本稿では,解釈可能性パイプラインの概念を導入し,複数の解釈可能性技術を導入し,各手法の精度を向上する。
我々は、標準的なニューラルネットワークアーキテクチャに解釈可能性を導入する可能性のために選択された2つの最近のモデルを評価する。
両モデルの利点を合成する新しい解釈可能なニューラルネットワークGINN-KANを提案する。
- 参考スコア（独自算出の注目度）: 5.2969467015867915
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Neural networks are powerful function approximators, yet their ``black-box" nature often renders them opaque and difficult to interpret. While many post-hoc explanation methods exist, they typically fail to capture the underlying reasoning processes of the networks. A truly interpretable neural network would be trained similarly to conventional models using techniques such as backpropagation, but additionally provide insights into the learned input-output relationships. In this work, we introduce the concept of interpretability pipelineing, to incorporate multiple interpretability techniques to outperform each individual technique. To this end, we first evaluate several architectures that promise such interpretability, with a particular focus on two recent models selected for their potential to incorporate interpretability into standard neural network architectures while still leveraging backpropagation: the Growing Interpretable Neural Network (GINN) and Kolmogorov Arnold Networks (KAN). We analyze the limitations and strengths of each and introduce a novel interpretable neural network GINN-KAN that synthesizes the advantages of both models. When tested on the Feynman symbolic regression benchmark datasets, GINN-KAN outperforms both GINN and KAN. To highlight the capabilities and the generalizability of this approach, we position GINN-KAN as an alternative to conventional black-box networks in Physics-Informed Neural Networks (PINNs). We expect this to have far-reaching implications in the application of deep learning pipelines in the natural sciences. Our experiments with this interpretable PINN on 15 different partial differential equations demonstrate that GINN-KAN augmented PINNs outperform PINNs with black-box networks in solving differential equations and surpass the capabilities of both GINN and KAN.
- Abstract（参考訳）: ニューラルネットワークは強力な関数近似器であるが、その‘ブラックボックス’の性質は、しばしば不透明で解釈が難しい。
多くのポストホックな説明法が存在するが、一般的にネットワークの根底にある推論過程を捉えない。
真に解釈可能なニューラルネットワークは、バックプロパゲーションのような技術を使って従来のモデルと同様に訓練されるが、学習されたインプットとアウトプットの関係に関する洞察を提供する。
本研究では,解釈可能性パイプラインの概念を導入し,複数の解釈可能性技術を導入し,各手法の精度を向上する。
この目的のために、我々はまず、そのような解釈可能性を約束するいくつかのアーキテクチャを評価し、特に、バックプロパゲーションを引き続き活用しながら、標準的なニューラルネットワークアーキテクチャに解釈可能性を統合する可能性のために選択された2つのモデル、すなわちGrowing Interpretable Neural Network(GINN)とKolmogorov Arnold Networks(KAN)に焦点を当てた。
それぞれの限界と強みを分析し、両モデルの利点を合成する新しい解釈可能なニューラルネットワークGINN-KANを導入する。
Feynmanのシンボリックレグレッションベンチマークデータセットでテストすると、GINN-KANはGINNとkanのどちらよりも優れています。
提案手法の能力と一般化性を強調するため, GINN-KANを物理インフォームドニューラルネットワーク(PINN)における従来のブラックボックスネットワークの代替として位置づける。
これは、自然科学におけるディープラーニングパイプラインの応用において、はるかに大きな影響をもたらすものと期待している。
15の異なる偏微分方程式に対するこの解釈可能なPINNを用いた実験により、GINN-KAN拡張PINNは、微分方程式の解法においてブラックボックスネットワークでPINNよりも優れており、GINNとKAの能力を上回っていることが示された。
関連論文リスト
- Learning Interpretable Differentiable Logic Networks [3.8064485653035987]
解釈可能な微分可能論理ネットワーク(DLN)を学習するための新しい手法を提案する。
我々はこれらのネットワークを、入力の双対化、二項論理演算、ニューロン間の接続を通じて、個々の成分の軟化と差別化によって訓練する。
20の分類タスクの実験結果は、従来のNNと同等かそれ以上の精度で、微分可能な論理ネットワークが達成可能であることを示している。
論文 参考訳（メタデータ） (2024-07-04T21:58:26Z) - Deep Neural Networks via Complex Network Theory: a Perspective [3.1023851130450684]
ディープニューラルネットワーク(DNN)は、リンクと頂点が反復的にデータを処理し、タスクを亜最適に解くグラフとして表現することができる。複雑なネットワーク理論(CNT)は、統計物理学とグラフ理論を融合させ、その重みとニューロン構造を分析してニューラルネットワークを解釈する方法を提供する。
本研究では,DNNのトレーニング分布から抽出した測定値を用いて既存のCNTメトリクスを拡張し,純粋なトポロジカル解析からディープラーニングの解釈可能性へ移行する。
論文 参考訳（メタデータ） (2024-04-17T08:42:42Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a
Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。
本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。
我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文 参考訳（メタデータ） (2022-09-16T06:36:06Z) - Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。
本稿では,関係データに対するKENNの拡張を提案する。
論文 参考訳（メタデータ） (2022-05-31T13:00:34Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳（メタデータ） (2022-05-11T17:43:54Z) - Universal approximation property of invertible neural networks [76.95927093274392]
Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。
その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
論文 参考訳（メタデータ） (2022-04-15T10:45:26Z) - Scientific Machine Learning through Physics-Informed Neural Networks:
Where we are and What's next [5.956366179544257]
physic-Informed Neural Networks (PINN) は、モデル方程式を符号化するニューラルネットワーク(NN)である。
PINNは現在ではPDE、分数方程式、積分微分方程式の解法として使われている。
論文 参考訳（メタデータ） (2022-01-14T19:05:44Z) - Creating Powerful and Interpretable Models withRegression Networks [2.2049183478692584]
本稿では,ニューラルネットワークのパワーと回帰分析の可視性を組み合わせた新しいアーキテクチャRegression Networksを提案する。
これらのモデルが,いくつかのベンチマークデータセット上での解釈可能なモデルの最先端性能を上回ることを実証する。
論文 参考訳（メタデータ） (2021-07-30T03:37:00Z) - SPINN: Sparse, Physics-based, and Interpretable Neural Networks for PDEs [0.0]
Sparse, Physics-based, and Interpretable Neural Networks (SPINN) のクラスを導入し,一般微分方程式と部分微分方程式を解く。
従来のPDEのソリューションのメッシュレス表現を特別なスパースディープニューラルネットワークとして再解釈することにより、解釈可能なスパースニューラルネットワークアーキテクチャのクラスを開発する。
論文 参考訳（メタデータ） (2021-02-25T17:45:50Z) - Neural Networks Enhancement with Logical Knowledge [83.9217787335878]
関係データに対するKENNの拡張を提案する。
その結果、KENNは、存在関係データにおいても、基礎となるニューラルネットワークの性能を高めることができることがわかった。
論文 参考訳（メタデータ） (2020-09-13T21:12:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。