論文の概要: Interpreting FCDNNs via RG on Exponential Family

• arxiv url: http://arxiv.org/abs/2606.00157v1
• Date: Fri, 29 May 2026 07:29:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.076444
• Title: Interpreting FCDNNs via RG on Exponential Family
• Title（参考訳）: 指数族上のRGによるFCDNNの解釈
• Abstract要約: 我々は、再正規化群(RG)法と深層ニューラルネットワーク(DNN)の学習過程との関係を構築し、深層学習の解釈可能性理論を確立する。 本稿では,実世界のデータに対応するフレームワークを適用する上で必要となる連続的な入力データに対して,その結果を一般化する。 この結論は、DNNのトレーニングプロセスがこの種のデータ上でのRG計算と等価であることを示し、ネットワークがRGと同じように入力データから主要な特徴を抽出できることを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider establishing the interpretability theory of deep learning through constructing a corresponding relationship between the renormalization group (RG) method in statistical physics and the training process of deep neural networks (DNNs). We have proved the constructed relationship using the one-dimensional Ising model as the input data. In this paper we generalize our results to the case of continuous input data, which is a necessary preparation for applying the corresponding framework to real-world data. To be representative, we consider a class of data distribution in the exponential family. We prove that when the parameters of fully connected (FC) DNNs achieve their optimal value after training, the characteristic parameters of the feature layer output of DNNs are equal to the fixed points of the characteristic parameters of input data under RG method for continuous fields. This conclusion shows that the training process of DNNs is equivalent to RG calculation on this kind of data and therefore the network can extract main features from the input data just like RG. Also, the equivalence further validates the correspondence framework we have established, providing an explanation for the outstanding performance of DNNs on real-world data.
• Abstract（参考訳）: 本稿では、統計物理学における正規化群(RG)法と深層ニューラルネットワーク(DNN)の学習過程の対応関係を構築することにより、深層学習の解釈可能性理論を確立することを検討する。 入力データとして一次元イジングモデルを用いて構築された関係を証明した。 本稿では,実世界のデータに適用するために必要なフレームワークである連続入力データに対して,本結果を一般化する。 代表的なものとして,指数関数系におけるデータ分布のクラスを考える。 完全連結(FC)DNNのパラメータが訓練後に最適値に達すると、DNNの特徴層出力の特性パラメータは連続場に対するRG法の下での入力データの特性パラメータの固定点に等しいことが証明された。 この結論は、DNNのトレーニングプロセスがこの種のデータ上でのRG計算と等価であることを示し、ネットワークがRGと同じように入力データから主要な特徴を抽出できることを示している。 また、同値性は、我々が確立した対応フレームワークをさらに検証し、実世界のデータ上でのDNNの卓越した性能を説明する。

関連論文リスト

• RelGNN: Composite Message Passing for Relational Deep Learning [56.48834369525997]
  RelGNNはリレーショナルデータベースから構築されたグラフのユニークな構造特性を活用するために特別に設計された新しいGNNフレームワークである。 RelGNNは、Relbench(Fey et al., 2024)から30の多様な実世界のタスクで評価され、ほとんどのタスクで最先端のパフォーマンスを実現し、最大25%の改善を実現している。
  論文  参考訳（メタデータ） (2025-02-10T18:58:40Z)
• Mean flow data assimilation using physics-constrained Graph Neural Networks [0.0]
  本研究では,グラフニューラルネットワーク(GNN)と最適化手法を統合し,平均流路復元の精度を高める新しいデータ同化手法を提案する。 GNNフレームワークは非構造化データを扱うのに適しており、計算流体力学(CFD)で遭遇する複雑な測地に共通している。 その結果,データ駆動モデルに類似するモデルと比較して,訓練データに制限がある場合でも,平均フロー再構成の精度は著しく向上した。
  論文  参考訳（メタデータ） (2024-11-14T14:31:52Z)
• Deep Learning as Ricci Flow [38.27936710747996]
  ディープニューラルネットワーク(DNN)は、複雑なデータの分布を近似する強力なツールである。 分類タスク中のDNNによる変換は、ハミルトンのリッチ流下で期待されるものと類似していることを示す。 本研究の成果は, 微分幾何学や離散幾何学から, 深層学習における説明可能性の問題まで, ツールの利用を動機づけるものである。
  論文  参考訳（メタデータ） (2024-04-22T15:12:47Z)
• Interpretable A-posteriori Error Indication for Graph Neural Network Surrogate Models [0.0]
  本稿では,グラフニューラルネットワーク(GNN)の解釈可能性向上手法を提案する。 最終結果は、予測タスクに本質的に関連付けられたサブグラフに対応する物理空間内の領域を分離する解釈可能なGNNモデルである。 解釈可能なGNNは、推論中に予測される予測エラーの大部分に対応するグラフノードを特定するためにも使用できる。
  論文  参考訳（メタデータ） (2023-11-13T18:37:07Z)
• Neural Tangent Kernels Motivate Graph Neural Networks with Cross-Covariance Graphs [94.44374472696272]
  グラフニューラルネットワーク(GNN)の文脈におけるNTKとアライメントについて検討する。 その結果、2層GNNのアライメントの最適性に関する理論的保証が確立された。 これらの保証は、入力と出力データの相互共分散の関数であるグラフシフト演算子によって特徴づけられる。
  論文  参考訳（メタデータ） (2023-10-16T19:54:21Z)
• Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [72.33336385797944]
  本稿では,学習バイアスを軽減するため,ラベルの効率的な正規化手法であるラベルデコンボリューション(LD)を提案する。 LDはOpen Graph Benchmarkデータセット上で最先端の手法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2023-09-26T13:09:43Z)
• Deep neural networks have an inbuilt Occam's razor [4.330196787806085]
  構造データとOccam's razor-likeインダクティブバイアスが組み合わさった単純な関数に対する構造データは、複雑さを伴う関数の指数的成長に反することを示す。 この分析により、構造データと(コルモゴロフ)単純関数に対するOccam's razor-likeインダクティブバイアスが組み合わさって、複雑さを伴う関数の指数的成長に対抗できるほど強いことがDNNの成功の鍵であることが明らかになった。
  論文  参考訳（メタデータ） (2023-04-13T16:58:21Z)
• Explicit Context Integrated Recurrent Neural Network for Sensor Data Applications [0.0]
  Context Integrated RNN (CiRNN) は、コンテキスト特徴の形式で表現された明示的なコンテキストの統合を可能にする。 実験では、最先端モデルよりもそれぞれ39%と87%の改善が見られた。
  論文  参考訳（メタデータ） (2023-01-12T13:58:56Z)
• coVariance Neural Networks [119.45320143101381]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データ内の相互関係を利用して学習する効果的なフレームワークである。 我々は、サンプル共分散行列をグラフとして扱う、共分散ニューラルネットワーク(VNN)と呼ばれるGNNアーキテクチャを提案する。 VNN の性能は PCA ベースの統計手法よりも安定していることを示す。
  論文  参考訳（メタデータ） (2022-05-31T15:04:43Z)
• Deep Neural Network Classifier for Multi-dimensional Functional Data [4.340040784481499]
  我々は,多次元関数型データを分類するFDNN(Functional Deep Neural Network)と呼ばれる新しい手法を提案する。 具体的には、将来のデータ関数のクラスラベルを予測するために使用されるトレーニングデータの原則コンポーネントに基づいて、ディープニューラルネットワークをトレーニングする。
  論文  参考訳（メタデータ） (2022-05-17T19:22:48Z)
• Shift-Robust GNNs: Overcoming the Limitations of Localized Graph Training data [52.771780951404565]
  Shift-Robust GNN (SR-GNN) は、バイアス付きトレーニングデータとグラフの真の推論分布の分布差を考慮に入れた設計である。 SR-GNNが他のGNNベースラインを精度良く上回り、バイアス付きトレーニングデータから生じる負の効果の少なくとも40%を排除していることを示す。
  論文  参考訳（メタデータ） (2021-08-02T18:00:38Z)
• Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
  Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。 まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2021-04-11T16:37:32Z)
• Bayesian Graph Neural Networks with Adaptive Connection Sampling [62.51689735630133]
  グラフニューラルネットワーク(GNN)における適応接続サンプリングのための統一的なフレームワークを提案する。 提案フレームワークは,深部GNNの過度なスムース化や過度に適合する傾向を緩和するだけでなく,グラフ解析タスクにおけるGNNによる不確実性の学習を可能にする。
  論文  参考訳（メタデータ） (2020-06-07T07:06:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。