論文の概要: Discovering Symbolic Models from Deep Learning with Inductive Biases

• arxiv url: http://arxiv.org/abs/2006.11287v2
• Date: Wed, 18 Nov 2020 01:16:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 04:41:34.131073
• Title: Discovering Symbolic Models from Deep Learning with Inductive Biases
• Title（参考訳）: 誘導バイアスを用いた深層学習から記号モデルを発見する
• Authors: Miles Cranmer, Alvaro Sanchez-Gonzalez, Peter Battaglia, Rui Xu, Kyle Cranmer, David Spergel, Shirley Ho
• Abstract要約: 我々は,強い帰納バイアスを導入することによって,学習深層モデルの記号表現を蒸留する一般手法を開発した。 グラフニューラルネットワーク(GNN)に焦点をあてる 力法則やハミルトニアンを含む正しい既知の方程式は、ニューラルネットワークから抽出できる。 次に,本手法を非自明な例,詳細な暗黒物質シミュレーションに適用し,新しい解析式を発見する。
• 参考スコア（独自算出の注目度）: 18.407542833830966
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We develop a general approach to distill symbolic representations of a learned deep model by introducing strong inductive biases. We focus on Graph Neural Networks (GNNs). The technique works as follows: we first encourage sparse latent representations when we train a GNN in a supervised setting, then we apply symbolic regression to components of the learned model to extract explicit physical relations. We find the correct known equations, including force laws and Hamiltonians, can be extracted from the neural network. We then apply our method to a non-trivial cosmology example-a detailed dark matter simulation-and discover a new analytic formula which can predict the concentration of dark matter from the mass distribution of nearby cosmic structures. The symbolic expressions extracted from the GNN using our technique also generalized to out-of-distribution data better than the GNN itself. Our approach offers alternative directions for interpreting neural networks and discovering novel physical principles from the representations they learn.
• Abstract（参考訳）: 我々は,強い帰納バイアスを導入することによって,学習深層モデルの記号表現を蒸留する一般手法を開発した。 グラフニューラルネットワーク(GNN)に注目します。 我々はまず,教師付き環境でGNNを訓練する際,まず疎密な潜在表現を奨励し,次に学習モデルの構成要素に記号回帰を適用し,明示的な物理的関係を抽出する。 我々は、力の法則やハミルトニアンを含む正しい既知の方程式をニューラルネットワークから抽出できることを見出した。 次に, この手法を非自明な宇宙論の例, 詳細なダークマターシミュレーションに適用し, 近傍の宇宙構造の質量分布からダークマターの濃度を予測できる新しい解析式を発見する。 また,本手法を用いてGNNから抽出した記号表現は,GNN自体よりも分布外データに一般化された。 我々のアプローチは、ニューラルネットワークを解釈し、学習した表現から新しい物理原理を発見するための代替手段を提供する。

関連論文リスト

• Graph Neural Reaction Diffusion Models [14.164952387868341]
  本稿では,ニューラルRDシステムに基づく反応GNNの新たなファミリーを提案する。 本稿では,RDGNNの理論的特性とその実装について論じるとともに,最先端手法の競争性能を向上させるか,提供するかを示す。
  論文  参考訳（メタデータ） (2024-06-16T09:46:58Z)
• Distilling Symbolic Priors for Concept Learning into Neural Networks [9.915299875869046]
  メタラーニングにより,シンボルベイズモデルから事前分布を蒸留することにより,インダクティブバイアスを人工知能ニューラルネットワークでインスタンス化できることを示す。 このアプローチを用いて、短い論理式として表現された概念に対する帰納的バイアスを持つニューラルネットワークを作成する。
  論文  参考訳（メタデータ） (2024-02-10T20:06:26Z)
• How Graph Neural Networks Learn: Lessons from Training Dynamics [80.41778059014393]
  グラフニューラルネットワーク(GNN)の関数空間におけるトレーニングダイナミクスについて検討する。 GNNの勾配勾配勾配最適化は暗黙的にグラフ構造を利用して学習関数を更新する。 この発見は、学習したGNN関数が一般化した時期と理由に関する新たな解釈可能な洞察を提供する。
  論文  参考訳（メタデータ） (2023-10-08T10:19:56Z)
• Geometric Knowledge Distillation: Topology Compression for Graph Neural Networks [80.8446673089281]
  グラフトポロジ情報をグラフニューラルネットワーク(GNN)に符号化することを目的とした知識伝達の新しいパラダイムについて検討する。 本稿では,GNNのアーキテクチャに関する基礎となる多様体の幾何学的性質をカプセル化するためのニューラルヒートカーネル(NHK)を提案する。 基本的な原理的解法は、NHKを幾何学的知識蒸留(Geometric Knowledge Distillation)と呼ばれる教師モデルと学生モデルに合わせることで導かれる。
  論文  参考訳（メタデータ） (2022-10-24T08:01:58Z)
• Invertible Neural Networks for Graph Prediction [22.140275054568985]
  本研究では,ディープ・インバーチブル・ニューラルネットワークを用いた条件生成について述べる。 私たちの目標は,前処理と後処理の予測と生成を同時に行うことにあるので,エンドツーエンドのトレーニングアプローチを採用しています。
  論文  参考訳（メタデータ） (2022-06-02T17:28:33Z)
• The Surprising Power of Graph Neural Networks with Random Node Initialization [54.4101931234922]
  グラフニューラルネットワーク(GNN)は、関係データ上での表現学習に有効なモデルである。 標準 GNN はその表現力に制限があり、Weisfeiler-Leman グラフ同型(英語版)の能力以外の区別はできない。 本研究では,ランダムノード(RNI)を用いたGNNの表現力の解析を行う。 我々はこれらのモデルが普遍的であることを証明し、GNNが高次特性の計算に頼らない最初の結果である。
  論文  参考訳（メタデータ） (2020-10-02T19:53:05Z)
• Interpreting Graph Neural Networks for NLP With Differentiable Edge Masking [63.49779304362376]
  グラフニューラルネットワーク(GNN)は、構造的帰納バイアスをNLPモデルに統合する一般的なアプローチとなっている。 本稿では,不要なエッジを識別するGNNの予測を解釈するポストホック手法を提案する。 モデルの性能を劣化させることなく,多数のエッジを落とせることを示す。
  論文  参考訳（メタデータ） (2020-10-01T17:51:19Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)
• Higher-Order Explanations of Graph Neural Networks via Relevant Walks [3.1510406584101776]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データを予測するための一般的なアプローチである。 本稿では,GNNを高次展開を用いて自然に説明できることを示す。 本稿では,テキストデータの感情分析,量子化学における構造・不適切な関係,画像分類に関する実践的な知見を抽出する。
  論文  参考訳（メタデータ） (2020-06-05T17:59:14Z)
• Understanding the Message Passing in Graph Neural Networks via Power Iteration Clustering [4.426835206454162]
  グラフニューラルネットワーク(GNN)におけるメッセージパッシングのメカニズムについて検討する。 本稿では,1つのアグリゲータのみを用いて反復的に学習するサブスペース・パワー・イテレーション・クラスタリング(SPIC)モデルを提案する。 我々の発見は、ニューラルネットワークの理論的理解の境界を押し広げた。
  論文  参考訳（メタデータ） (2020-05-30T01:44:34Z)
• Parsimonious neural networks learn interpretable physical laws [77.34726150561087]
  本稿では、ニューラルネットワークと進化的最適化を組み合わせたパシモニクスニューラルネットワーク(PNN)を提案し、精度とパシモニクスのバランスをとるモデルを求める。 アプローチのパワーと汎用性は、古典力学のモデルを開発し、基本特性から材料の融解温度を予測することによって実証される。
  論文  参考訳（メタデータ） (2020-05-08T16:15:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。