論文の概要: Generalization in Neural Networks Through the Lens of Magnitude Potential

• arxiv url: http://arxiv.org/abs/2610.01633v1
• Date: Thu, 01 Oct 2026 13:03:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.141262
• Title: Generalization in Neural Networks Through the Lens of Magnitude Potential
• Title（参考訳）: マグニチュードポテンシャルレンズによるニューラルネットワークの一般化
• Abstract要約: 任意の点が与えられた集合でどれだけうまく表現されているかを反映した、計量等級理論に基づくエミデオポテンシャル(エミデオポテンシャル)の概念を導入する。 クラスに関する大きさポテンシャルと、ロジット層で計算されたデータ全体との比は、その点の表現を知らせる。
• 参考スコア（独自算出の注目度）: 9.19444526847653
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Explaining generalization and training dynamics in neural networks remains a challenge, and various approaches have been developed to study different aspects of these phenomena. In this paper, we introduce the idea of {\em magnitude potential} -- a quantity based on the theory of metric magnitude -- that reflects how well an arbitrary point is represented by a given set. We find that this basic quantity can be applied to examine various features in neural generalization. The ratio between the magnitude potential with respect to a class and with respect to the entire data, computed at the logit layer, is informative of the representation of the point. In experiments, these ratios for individual training points are found to be correlated with the Feldman memorization scores. Magnitude potential ratios aggregated across points detect structural changes in the decision boundaries and provide a geometric indicator of grokking in modular arithmetic. Although the magnitude potential ratio and neural collapse are both closely associated with intra-class and inter-class geometric structure, the magnitude potential ratio remains informative even when neural collapse is explicitly suppressed.
• Abstract（参考訳）: ニューラルネットワークにおける一般化とトレーニングのダイナミクスの説明は依然として課題であり、これらの現象のさまざまな側面を研究するために様々なアプローチが開発されている。 本稿では、任意の点が与えられた集合によってどれだけうまく表現されるかを反映した、計量等級の理論に基づく量である「等級ポテンシャル」の概念を導入する。 この基本量は、神経一般化の様々な特徴を調べるために応用できる。 クラスに関する大きさポテンシャルと、ロジット層で計算されたデータ全体との比は、その点の表現を知らせる。 実験では, 個々のトレーニングポイントに対するこれらの比率は, フェルドマンメモ化スコアと相関することがわかった。 点間で集約されたマグニチュードポテンシャル比は、決定境界の構造的変化を検出し、モジュラー算術におけるグルーキングの幾何学的指標を提供する。 大きさポテンシャル比と神経崩壊は、クラス内およびクラス間幾何学構造と密接に関連しているが、神経崩壊が明示的に抑制された場合でも、大きさポテンシャル比は情報的のままである。

関連論文リスト

• Neural Dynamics as the Composition of Quantized Units [0.47154736035631406]
  深層学習は一般的に2つのレベルで解釈される:マクロ的、スケール法則によって要約された損失の集合的傾向、そして微視的、ニューロン、特徴、回路である。 本研究では,Quantaの順に取得したトレーニングを記述した中間的抽象化について検討する。 停滞した離散的獲得がスムーズな集合的損失をもたらすことを示し、量子組成の特定のジオメトリの下では、スケーリング法則がもたらされる。
  論文  参考訳（メタデータ） (2026-09-26T11:29:49Z)
• Generalization Below the Edge of Stability: The Role of Data Geometry [60.147710896851045]
  安定性の限界以下で訓練されたReLUネットワークにおいて,データ幾何が一般化を制御するかを示す。 低次元球の混合に支持されるデータ分布について、本質的な次元に確実に適応する一般化境界を導出する。 文献に現れる異種の経験的所見を総合的に検討した。
  論文  参考訳（メタデータ） (2025-10-20T21:40:36Z)
• Neural networks leverage nominally quantum and post-quantum representations [0.0]
  我々は、トランスフォーマーやRNNを含む深層ニューラルネットワークが、トレーニングデータの低次元生成モデルである「量子」と「後量子」についての信念を本質的に発見し、表現していることを示す。
  論文  参考訳（メタデータ） (2025-07-10T05:09:19Z)
• Concept-Guided Interpretability via Neural Chunking [64.6429903327095]
  ニューラルネットワークは、トレーニングデータの規則性を反映した生の集団活動のパターンを示す。 神経集団レベルで繰り返しチャンクを抽出する3つの方法を提案する。 私たちの研究は、認知原則と自然主義的データの構造の両方を活用する、解釈可能性の新しい方向性を指し示しています。
  論文  参考訳（メタデータ） (2025-05-16T13:49:43Z)
• Memorization With Neural Nets: Going Beyond the Worst Case [5.03863830033243]
  実際には、ディープニューラルネットワークはトレーニングデータを簡単に補間できることが多い。 本稿では、3層ニューラルネットワークを時間内に補間する単純なランダム化アルゴリズムを提案する。 サンプル数に依存しない保証を得るため、最悪の記憶能力限界を超えて移動します。
  論文  参考訳（メタデータ） (2023-09-30T10:06:05Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• The Causal Neural Connection: Expressiveness, Learnability, and Inference [125.57815987218756]
  構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。 本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。 我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
  論文  参考訳（メタデータ） (2021-07-02T01:55:18Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。