論文の概要: Feature Dynamics as Implicit Data Augmentation: A Depth-Decomposed View on Deep Neural Network Generalization

• arxiv url: http://arxiv.org/abs/2509.20334v2
• Date: Thu, 02 Oct 2025 20:09:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 14:21:29.887853
• Title: Feature Dynamics as Implicit Data Augmentation: A Depth-Decomposed View on Deep Neural Network Generalization
• Title（参考訳）: インシシットデータ拡張としての特徴ダイナミクス:ディープニューラルネットワークの一般化を深く分解した視点
• Abstract要約: 時間的一貫性は、目に見えないデータや破損したデータにまで拡張されるが、セマンティック構造が破壊されると崩壊する。 これらの知見は、特徴力学と一般化をリンクする概念的な視点を示唆している。
• 参考スコア（独自算出の注目度）: 18.72807692009739
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Why do deep networks generalize well? In contrast to classical generalization theory, we approach this fundamental question by examining not only inputs and outputs, but the evolution of internal features. Our study suggests a phenomenon of temporal consistency that predictions remain stable when shallow features from earlier checkpoints combine with deeper features from later ones. This stability is not a trivial convergence artifact. It acts as a form of implicit, structured augmentation that supports generalization. We show that temporal consistency extends to unseen and corrupted data, but collapses when semantic structure is destroyed (e.g., random labels). Statistical tests further reveal that SGD injects anisotropic noise aligned with a few principal directions, reinforcing its role as a source of structured variability. Together, these findings suggest a conceptual perspective that links feature dynamics to generalization, pointing toward future work on practical surrogates for measuring temporal feature evolution.
• Abstract（参考訳）: なぜディープネットワークが一般化するのか? 古典的一般化理論とは対照的に、入力と出力だけでなく、内部特徴の進化を調べることによって、この基本的な問題にアプローチする。 本研究は, 過去のチェックポイントの浅さと, 後のチェックポイントの深い特徴が組み合わさった場合, 予測が安定しているという, 時間的一貫性の現象を示唆する。 この安定性は自明な収束アーチファクトではない。 一般化をサポートする暗黙的、構造化された拡張の形式として機能する。 時間的一貫性は、目に見えないデータや破損したデータにまで拡張されるが、意味構造が破壊されると崩壊する(例:ランダムラベル)。 統計的検査により、SGDはいくつかの主方向に沿った異方性雑音を注入し、構造的変動の源としての役割を補強することが明らかとなった。 これらの知見は、時間的特徴の進化を測定するための実践的サロゲートの研究をめざして、特徴力学と一般化をリンクする概念的な視点を示唆している。

関連論文リスト

• Benign Overfitting Does Not Occur in Diffusion Models [33.8340803958907]
  拡散モデルは標準的なディープラーニングの機械の多くを共有している。 データ次元に比例してサンプルサイズが指数関数的に増加しない限り、オーバーフィットと良い一般化は同時には起こらないことを示す。 このような過度な適合を防ぐメカニズムとして,スコアの時間平滑化とトレーニング中の早期停止から生じる暗黙の正則化を同定した。
  論文  参考訳（メタデータ） (2026-07-02T18:05:23Z)
• The Structural Origin of Attention Sink: Variance Discrepancy, Super Neurons, and Dimension Disparity [22.040532283910522]
  この研究は、この現象のテクトメカニスティックな説明を提供する。 我々はそのルーツを自己注意に固有の価値集約プロセスに遡る。 概念実証として,事前学習時の値アグリゲーション出力を安定化するアーキテクチャ変更であるtextithead-wise RMSNormを提案する。
  論文  参考訳（メタデータ） (2026-05-07T17:28:55Z)
• Learning Uncertainty from Sequential Internal Dispersion in Large Language Models [52.29267172760918]
  不確実性推定は、大規模言語モデルにおける幻覚を検出するための有望なアプローチである。 最近の手法は一般に不確実性を推定するために内部状態のモデルに依存する。 本稿では,教師付き幻覚検出フレームワークであるシークエンシャル内部変数表現(SIVR)を提案する。
  論文  参考訳（メタデータ） (2026-04-17T06:31:29Z)
• A Systematic Empirical Study of Grokking: Depth, Architecture, Activation, and Regularization [0.0]
  暗記からニューラルネットワークの一般化への遅れた遷移をグロッキングすることは、まだ理解されていない。 モジュラー加算に関する因子を系統的に分散させる制御された研究(mod 97)を提案する。 我々の中心的な発見は、グラッキングダイナミクスはアーキテクチャーによって決定されるのではなく、安定性と正規化の間の相互作用によって決定されることである。
  論文  参考訳（メタデータ） (2026-03-26T04:16:01Z)
• Generalization Below the Edge of Stability: The Role of Data Geometry [60.147710896851045]
  安定性の限界以下で訓練されたReLUネットワークにおいて,データ幾何が一般化を制御するかを示す。 低次元球の混合に支持されるデータ分布について、本質的な次元に確実に適応する一般化境界を導出する。 文献に現れる異種の経験的所見を総合的に検討した。
  論文  参考訳（メタデータ） (2025-10-20T21:40:36Z)
• Understanding Transformers for Time Series: Rank Structure, Flow-of-ranks, and Compressibility [90.894232610821]
  我々は、ランク構造のレンズを通してトランスフォーマーを解析する。 時系列埋め込みは急激な減衰特異値スペクトルを示すことを示す。 関連する$Q/K/V$プロジェクションが正確な低ランク近似を持つことを示す。
  論文  参考訳（メタデータ） (2025-10-02T23:56:17Z)
• Beyond Progress Measures: Theoretical Insights into the Mechanism of Grokking [50.465604300990904]
  グロキング(Grokking)とは、オーバーフィッティングの拡張後のテスト精度の急激な改善を指す。 本研究では、素数演算のタスクにおいて、Transformerの基盤となるグルーキング機構について検討する。
  論文  参考訳（メタデータ） (2025-04-04T04:42:38Z)
• Skews in the Phenomenon Space Hinder Generalization in Text-to-Image Generation [59.138470433237615]
  本稿では,関係学習用データセットの言語的スキューと視覚的スクリューの両方を定量化する統計指標を提案する。 系統的に制御されたメトリクスは、一般化性能を強く予測できることを示す。 この研究は、データの多様性やバランスを向上し、絶対的なサイズをスケールアップするための重要な方向を示します。
  論文  参考訳（メタデータ） (2024-03-25T03:18:39Z)
• Rank Collapse Causes Over-Smoothing and Over-Correlation in Graph Neural Networks [3.566568169425391]
  深さが大きくなると、ノード表現はアグリゲーション関数に依存するが特徴変換には依存しない低次元部分空間に支配されることが示される。 すべてのアグリゲーション関数について、ノード表現のランクは崩壊し、特定のアグリゲーション関数に対して過度に滑らかになる。
  論文  参考訳（メタデータ） (2023-08-31T15:22:31Z)
• DynGFN: Towards Bayesian Inference of Gene Regulatory Networks with GFlowNets [81.75973217676986]
  遺伝子調節ネットワーク(GRN)は、遺伝子発現と細胞機能を制御する遺伝子とその産物間の相互作用を記述する。 既存の方法は、チャレンジ(1)、ダイナミックスから循環構造を識別すること、あるいはチャレンジ(2)、DAGよりも複雑なベイズ後部を学習することに焦点を当てるが、両方ではない。 本稿では、RNAベロシティ技術を用いて遺伝子発現の「速度」を推定できるという事実を活用し、両方の課題に対処するアプローチを開発する。
  論文  参考訳（メタデータ） (2023-02-08T16:36:40Z)
• Isometric Representations in Neural Networks Improve Robustness [0.0]
  我々は、クラス内メートル法構造を同時に維持しながら分類を行うためにニューラルネットワークを訓練する。 我々は、等尺正則化がMNISTに対する敵攻撃に対する堅牢性を改善することを検証する。
  論文  参考訳（メタデータ） (2022-11-02T16:18:18Z)
• Uniform Convergence, Adversarial Spheres and a Simple Remedy [40.44709296304123]
  これまでの研究は、統一収束の一般的な枠組みと、ニューラルネットワークの一般化を説明する能力に疑問を投げかけてきた。 我々は、無限大モデルのレンズを通して、以前に研究されたデータセットの広範な理論的検討を行う。 我々は、ニューラルタンジェントカーネル(NTK)も同じ現象に苦しむことを証明し、その起源を明らかにします。
  論文  参考訳（メタデータ） (2021-05-07T20:23:01Z)
• On Feature Decorrelation in Self-Supervised Learning [15.555208840500086]
  最近のアプローチから最も一般的なコンポーネントを含むフレームワークについて検討する。 次元崩壊を軸間の強い相関関係と結び付け、そのような関係を特徴デコリレーションの強い動機とみなす。
  論文  参考訳（メタデータ） (2021-05-02T13:28:18Z)
• Learning Causal Models Online [103.87959747047158]
  予測モデルは、予測を行うためにデータの急激な相関に依存することができる。 強い一般化を達成するための一つの解決策は、モデルに因果構造を組み込むことである。 本稿では,突発的特徴を継続的に検出・除去するオンラインアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-12T20:49:20Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。