論文の概要: A Graph Sufficiency Perspective for Neural Networks

• arxiv url: http://arxiv.org/abs/2507.10215v2
• Date: Fri, 08 Aug 2025 12:39:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-11 14:17:29.463908
• Title: A Graph Sufficiency Perspective for Neural Networks
• Title（参考訳）: ニューラルネットワークのグラフ十分性
• Authors: Cencheng Shen, Yuexiao Dong,
• Abstract要約: 本稿では,グラフ変数と統計的十分性を用いてニューラルネットワークを解析する。 ニューラルネットワーク層をグラフベースの変換として解釈し、ニューロンが入力と学習アンカーポイントのペア機能として機能する。 我々のフレームワークは、完全に接続された層、一般的なペアワイズ関数、ReLUとシグモノイドの活性化、畳み込みニューラルネットワークを網羅している。
• 参考スコア（独自算出の注目度）: 4.872570541276082
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper analyzes neural networks through graph variables and statistical sufficiency. We interpret neural network layers as graph-based transformations, where neurons act as pairwise functions between inputs and learned anchor points. Within this formulation, we establish conditions under which layer outputs are sufficient for the layer inputs, that is, each layer preserves the conditional distribution of the target variable given the input variable. We explore two theoretical paths under this graph-based view. The first path assumes dense anchor points and shows that asymptotic sufficiency holds in the infinite-width limit and is preserved throughout training. The second path, more aligned with practical architectures, proves exact or approximate sufficiency in finite-width networks by assuming region-separated input distributions and constructing appropriate anchor points. This path can ensure the sufficiency property for an infinite number of layers, and provide error bounds on the optimal loss for both regression and classification tasks using standard neural networks. Our framework covers fully connected layers, general pairwise functions, ReLU and sigmoid activations, and convolutional neural networks. Overall, this work bridges statistical sufficiency, graph-theoretic representations, and deep learning, providing a new statistical understanding of neural networks.
• Abstract（参考訳）: 本稿では,グラフ変数と統計的十分性を用いてニューラルネットワークを解析する。 ニューラルネットワーク層をグラフベースの変換として解釈し、ニューロンが入力と学習アンカーポイントのペア機能として機能する。 この定式化の中で,各層は入力変数の条件分布を保持するため,層出力が十分である条件を確立する。 このグラフに基づいた2つの理論的経路を探索する。 第1の経路は、密接なアンカー点を仮定し、漸近的飽和度が無限幅の極限を持ち、訓練を通して保存されることを示す。 第2の経路は、より実用的なアーキテクチャと整合し、領域分離された入力分布を仮定し、適切なアンカーポイントを構築することにより、有限幅ネットワークにおける正確な、あるいは近似的な充足性を証明している。 この経路は無限個の層に対する十分性を保証することができ、標準ニューラルネットワークを用いて回帰タスクと分類タスクの両方の最適損失の誤差境界を提供する。 我々のフレームワークは、完全に接続された層、一般的なペアワイズ関数、ReLUとシグモノイドの活性化、畳み込みニューラルネットワークを網羅している。 全体として、この研究は統計十分性、グラフ理論表現、ディープラーニングを橋渡しし、ニューラルネットワークの新しい統計的理解を提供する。

関連論文リスト

• Global Convergence and Rich Feature Learning in $L$-Layer Infinite-Width Neural Networks under $μ$P Parametrization [66.03821840425539]
  本稿では, テンソル勾配プログラム(SGD)フレームワークを用いた$L$層ニューラルネットワークのトレーニング力学について検討する。 SGDにより、これらのネットワークが初期値から大きく逸脱する線形独立な特徴を学習できることを示す。 このリッチな特徴空間は、関連するデータ情報をキャプチャし、トレーニングプロセスの収束点が世界最小であることを保証する。
  論文  参考訳（メタデータ） (2025-03-12T17:33:13Z)
• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Half-Space Feature Learning in Neural Networks [2.3249139042158853]
  現在、ニューラルネットワークの特徴学習には2つの極端な視点がある。 どちらの解釈も、新しい観点からは正しいとは考えにくい。 私たちはこの代替解釈を使って、Deep Linearly Gated Network (DLGN)と呼ばれるモデルを動かす。
  論文  参考訳（メタデータ） (2024-04-05T12:03:19Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Quantifying the Optimization and Generalization Advantages of Graph Neural Networks Over Multilayer Perceptrons [50.33260238739837]
  グラフネットワーク(GNN)は、グラフ構造化データから学習する際、顕著な能力を示した。 最適化と一般化の観点から、GNNと一般化を比較した分析の欠如がまだ残っている。
  論文  参考訳（メタデータ） (2023-06-24T10:21:11Z)
• Graph Neural Operators for Classification of Spatial Transcriptomics Data [1.408706290287121]
  マウス脳組織サンプルにおける脳領域の予測に対する神経オペレーターの適用の有効性を検証するために,様々なグラフニューラルネットワークアプローチを取り入れた研究を提案する。 グラフニューラルネットワークのアプローチでは,F1スコアが72%近く向上し,すべてのベースラインやグラフネットワークのアプローチを上回った。
  論文  参考訳（メタデータ） (2023-02-01T18:32:06Z)
• Optimal Learning Rates of Deep Convolutional Neural Networks: Additive Ridge Functions [19.762318115851617]
  深部畳み込みニューラルネットワークにおける平均2乗誤差解析について考察する。 付加的なリッジ関数に対しては、畳み込みニューラルネットワークとReLUアクティベーション関数を併用した1つの完全連結層が最適極小値に到達できることが示される。
  論文  参考訳（メタデータ） (2022-02-24T14:22:32Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Subspace Clustering Based Analysis of Neural Networks [7.451579925406617]
  入力セット上でトレーニングされたニューラルネットワーク層の潜在構造から親和性グラフを学習する。 次に、コミュニティ検出のツールを使用して、入力に存在する構造を定量化します。 ネットワークの最終畳み込み層の学習親和性グラフを解析し、入力の局所的近傍がネットワークによる分類にどのように影響するかを示す。
  論文  参考訳（メタデータ） (2021-07-02T22:46:40Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Graph Structure of Neural Networks [104.33754950606298]
  ニューラルネットワークのグラフ構造が予測性能にどのように影響するかを示す。 リレーショナルグラフの"スイートスポット"は、予測性能を大幅に改善したニューラルネットワークにつながる。 トップパフォーマンスニューラルネットワークは、実際の生物学的ニューラルネットワークと驚くほどよく似たグラフ構造を持つ。
  論文  参考訳（メタデータ） (2020-07-13T17:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。