論文の概要: Wormhole Dynamics in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2508.15086v1
• Date: Wed, 20 Aug 2025 21:41:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-22 16:26:46.10395
• Title: Wormhole Dynamics in Deep Neural Networks
• Title（参考訳）: 深部ニューラルネットワークにおけるワームホールダイナミクス
• Authors: Yen-Lung Lai, Zhe Jin,
• Abstract要約: 本研究では,ディープニューラルネットワーク(DNN)の一般化挙動について検討する。 我々は、DNNが人間にランダムまたは非構造化に見える入力を確実に分類する「食物例」の現象に焦点を当てる。
• 参考スコア（独自算出の注目度）: 7.531126877550286
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work investigates the generalization behavior of deep neural networks (DNNs), focusing on the phenomenon of "fooling examples," where DNNs confidently classify inputs that appear random or unstructured to humans. To explore this phenomenon, we introduce an analytical framework based on maximum likelihood estimation, without adhering to conventional numerical approaches that rely on gradient-based optimization and explicit labels. Our analysis reveals that DNNs operating in an overparameterized regime exhibit a collapse in the output feature space. While this collapse improves network generalization, adding more layers eventually leads to a state of degeneracy, where the model learns trivial solutions by mapping distinct inputs to the same output, resulting in zero loss. Further investigation demonstrates that this degeneracy can be bypassed using our newly derived "wormhole" solution. The wormhole solution, when applied to arbitrary fooling examples, reconciles meaningful labels with random ones and provides a novel perspective on shortcut learning. These findings offer deeper insights into DNN generalization and highlight directions for future research on learning dynamics in unsupervised settings to bridge the gap between theory and practice.
• Abstract（参考訳）: 本研究では、ディープニューラルネットワーク(DNN)の一般化行動を調査し、DNNが人間にランダムまたは非構造化のように見える入力を確実に分類する「食品例」の現象に焦点を当てた。 この現象を探索するために、勾配に基づく最適化と明示的なラベルに依存する従来の数値的アプローチに固執することなく、最大推定に基づく解析的枠組みを導入する。 分析の結果,DNNが過度にパラメータ化された状態にある場合,出力特徴空間が崩壊することが明らかとなった。 この崩壊はネットワークの一般化を改善させるが、より多くの層を追加することで最終的に縮退状態となり、モデルが異なる入力を同じ出力にマッピングすることで自明な解を学び、結果として損失はゼロとなる。 さらなる調査により、この新しい「ワームホール」ソリューションによって、この縮退を回避できることが示されている。 ワームホール解は、任意の愚かな例に適用すると、意味のあるラベルをランダムなラベルと照合し、ショートカット学習に関する新しい視点を提供する。 これらの知見は、DNNの一般化に関する深い洞察を与え、理論と実践のギャップを埋めるため、教師なし環境での学習力学の研究の方向性を明らかにする。

関連論文リスト

• Information-Theoretic Generalization Bounds for Deep Neural Networks [20.015357820733406]
  ディープニューラルネットワーク(DNN)は、実用的な応用において、非常に優れた一般化能力を示す。 本研究の目的は,情報理論の一般化境界による教師あり学習における深度の影響とメリットを捉えることである。
  論文  参考訳（メタデータ） (2024-04-04T03:20:35Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Negative Flux Aggregation to Estimate Feature Attributions [15.411534490483495]
  セキュリティや透明性の懸念が高まる中で、ディープニューラルネットワーク(DNN)の動作を理解する必要性が高まっている。 DNNの説明可能性を高めるために,分岐とフラックスを用いた予測課題に対する入力特徴の属性を推定する。 ベクトル解析における発散定理に着想を得て,新しい負フラックス凝集法(NeFLAG)の定式化と,帰属写像を推定するための効率的な近似アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-01-17T16:19:41Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Neuron Coverage-Guided Domain Generalization [37.77033512313927]
  本稿では、ドメイン知識が利用できないドメイン一般化タスクに注目し、さらに悪いことに、1つのドメインからのサンプルのみをトレーニング中に利用することができる。 私たちの動機は、ディープニューラルネットワーク(DNN)テストの最近の進歩に由来し、DNNのニューロンカバレッジの最大化がDNNの潜在的な欠陥の探索に役立つことが示されています。
  論文  参考訳（メタデータ） (2021-02-27T14:26:53Z)
• Fast Learning of Graph Neural Networks with Guaranteed Generalizability: One-hidden-layer Case [93.37576644429578]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。 回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
  論文  参考訳（メタデータ） (2020-06-25T00:45:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。