論文の概要: Feature Dynamics as Implicit Data Augmentation: A Depth-Decomposed View on Deep Neural Network Generalization

• arxiv url: http://arxiv.org/abs/2509.20334v2
• Date: Thu, 02 Oct 2025 20:09:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 14:21:29.887853
• Title: Feature Dynamics as Implicit Data Augmentation: A Depth-Decomposed View on Deep Neural Network Generalization
• Title（参考訳）: インシシットデータ拡張としての特徴ダイナミクス:ディープニューラルネットワークの一般化を深く分解した視点
• Authors: Tianyu Ruan, Kuo Gai, Shihua Zhang,
• Abstract要約: 時間的一貫性は、目に見えないデータや破損したデータにまで拡張されるが、セマンティック構造が破壊されると崩壊する。 これらの知見は、特徴力学と一般化をリンクする概念的な視点を示唆している。
• 参考スコア（独自算出の注目度）: 18.72807692009739
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Why do deep networks generalize well? In contrast to classical generalization theory, we approach this fundamental question by examining not only inputs and outputs, but the evolution of internal features. Our study suggests a phenomenon of temporal consistency that predictions remain stable when shallow features from earlier checkpoints combine with deeper features from later ones. This stability is not a trivial convergence artifact. It acts as a form of implicit, structured augmentation that supports generalization. We show that temporal consistency extends to unseen and corrupted data, but collapses when semantic structure is destroyed (e.g., random labels). Statistical tests further reveal that SGD injects anisotropic noise aligned with a few principal directions, reinforcing its role as a source of structured variability. Together, these findings suggest a conceptual perspective that links feature dynamics to generalization, pointing toward future work on practical surrogates for measuring temporal feature evolution.
• Abstract（参考訳）: なぜディープネットワークが一般化するのか? 古典的一般化理論とは対照的に、入力と出力だけでなく、内部特徴の進化を調べることによって、この基本的な問題にアプローチする。 本研究は, 過去のチェックポイントの浅さと, 後のチェックポイントの深い特徴が組み合わさった場合, 予測が安定しているという, 時間的一貫性の現象を示唆する。 この安定性は自明な収束アーチファクトではない。 一般化をサポートする暗黙的、構造化された拡張の形式として機能する。 時間的一貫性は、目に見えないデータや破損したデータにまで拡張されるが、意味構造が破壊されると崩壊する(例:ランダムラベル)。 統計的検査により、SGDはいくつかの主方向に沿った異方性雑音を注入し、構造的変動の源としての役割を補強することが明らかとなった。 これらの知見は、時間的特徴の進化を測定するための実践的サロゲートの研究をめざして、特徴力学と一般化をリンクする概念的な視点を示唆している。

関連論文リスト

• Beyond Progress Measures: Theoretical Insights into the Mechanism of Grokking [50.465604300990904]
  グロキング(Grokking)とは、オーバーフィッティングの拡張後のテスト精度の急激な改善を指す。 本研究では、素数演算のタスクにおいて、Transformerの基盤となるグルーキング機構について検討する。
  論文  参考訳（メタデータ） (2025-04-04T04:42:38Z)
• Skews in the Phenomenon Space Hinder Generalization in Text-to-Image Generation [59.138470433237615]
  本稿では,関係学習用データセットの言語的スキューと視覚的スクリューの両方を定量化する統計指標を提案する。 系統的に制御されたメトリクスは、一般化性能を強く予測できることを示す。 この研究は、データの多様性やバランスを向上し、絶対的なサイズをスケールアップするための重要な方向を示します。
  論文  参考訳（メタデータ） (2024-03-25T03:18:39Z)
• Rank Collapse Causes Over-Smoothing and Over-Correlation in Graph Neural Networks [3.566568169425391]
  深さが大きくなると、ノード表現はアグリゲーション関数に依存するが特徴変換には依存しない低次元部分空間に支配されることが示される。 すべてのアグリゲーション関数について、ノード表現のランクは崩壊し、特定のアグリゲーション関数に対して過度に滑らかになる。
  論文  参考訳（メタデータ） (2023-08-31T15:22:31Z)
• DynGFN: Towards Bayesian Inference of Gene Regulatory Networks with GFlowNets [81.75973217676986]
  遺伝子調節ネットワーク(GRN)は、遺伝子発現と細胞機能を制御する遺伝子とその産物間の相互作用を記述する。 既存の方法は、チャレンジ(1)、ダイナミックスから循環構造を識別すること、あるいはチャレンジ(2)、DAGよりも複雑なベイズ後部を学習することに焦点を当てるが、両方ではない。 本稿では、RNAベロシティ技術を用いて遺伝子発現の「速度」を推定できるという事実を活用し、両方の課題に対処するアプローチを開発する。
  論文  参考訳（メタデータ） (2023-02-08T16:36:40Z)
• Uniform Convergence, Adversarial Spheres and a Simple Remedy [40.44709296304123]
  これまでの研究は、統一収束の一般的な枠組みと、ニューラルネットワークの一般化を説明する能力に疑問を投げかけてきた。 我々は、無限大モデルのレンズを通して、以前に研究されたデータセットの広範な理論的検討を行う。 我々は、ニューラルタンジェントカーネル(NTK)も同じ現象に苦しむことを証明し、その起源を明らかにします。
  論文  参考訳（メタデータ） (2021-05-07T20:23:01Z)
• On Feature Decorrelation in Self-Supervised Learning [15.555208840500086]
  最近のアプローチから最も一般的なコンポーネントを含むフレームワークについて検討する。 次元崩壊を軸間の強い相関関係と結び付け、そのような関係を特徴デコリレーションの強い動機とみなす。
  論文  参考訳（メタデータ） (2021-05-02T13:28:18Z)
• Learning Causal Models Online [103.87959747047158]
  予測モデルは、予測を行うためにデータの急激な相関に依存することができる。 強い一般化を達成するための一つの解決策は、モデルに因果構造を組み込むことである。 本稿では,突発的特徴を継続的に検出・除去するオンラインアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-12T20:49:20Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。