論文の概要: Learning reshapes power-law anisotropy in internal representations

• arxiv url: http://arxiv.org/abs/2608.15239v1
• Date: Sat, 15 Aug 2026 13:56:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.237453
• Title: Learning reshapes power-law anisotropy in internal representations
• Title（参考訳）: 学習は内部表現におけるパワー・ロー異方性を再認識する
• Abstract要約: 内部表現におけるパワーロー異方性は、幅広い生物学的および人工的な神経系で観察されている。 特徴学習体制においては,内的表現の局所的パワーロー指数は,訓練の過程で非単調に進化することを示す。 これらの結果から,入力統計量とタスク構造との動的相互作用がパワールールの内部表現を引き起こす機構が示唆された。
• 参考スコア（独自算出の注目度）: 0.03437656066916039
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Power-law anisotropy in internal representations has been observed across a wide range of biological and artificial neural systems, from state-of-the-art language models to the mouse cerebral cortex. This anisotropy is a key geometric property of high-dimensional information processing and underlies a variety of theoretical analyses. However, the mechanism by which it emerges from input structure and task-driven learning has remained unclear. Here, we characterize this formation process by exactly solving the learning dynamics of a wide two-layer linear neural network in a teacher--student setting with power-law input and teacher structures. We show that, in the feature-learning regime, the local power-law exponent of the internal-representation spectrum evolves nonmonotonically over the course of training and exhibits up to four distinct asymptotic regimes across modes and training times. By contrast, in the lazy regime, the exponent remains essentially unchanged. We further demonstrate numerically that similar exponent dynamics arise in more realistic nonlinear networks. Together, these results suggest a general mechanism by which the dynamic interaction between input statistics and task structure gives rise to power-law internal representations.
• Abstract（参考訳）: 内部表現におけるパワーロー異方性は、最先端の言語モデルからマウス大脳皮質まで、幅広い生物学的および人工神経系で観察されている。 この異方性は高次元情報処理の鍵となる幾何学的性質であり、様々な理論解析の基盤となっている。 しかし、それが入力構造やタスク駆動学習から現れるメカニズムはいまだ不明である。 そこで本研究では,教師の入力と教師構造を考慮した学習環境において,広い2層線形ニューラルネットワークの学習力学を正確に解くことにより,この形成過程を特徴づける。 特徴学習体制においては、内部表現スペクトルの局所的なパワーロー指数はトレーニングの過程で非単調に進化し、モードや訓練時間にわたって最大4つの異なる漸近的体制を示す。 対照的に、遅延状態においては、指数は基本的に変化しない。 さらに、より現実的な非線形ネットワークにおいて、同様の指数ダイナミクスが生じることを数値的に示す。 これらの結果から,入力統計量とタスク構造との動的相互作用がパワールールの内部表現を引き起こす機構が示唆された。

関連論文リスト

• Invariant Learning Dynamics of Transformers in Inductive Reasoning Tasks [50.79340930913805]
  文献で知られているいくつかの合成タスクを統一する帰納的タスクのクラスについて検討する。 低次元力学現象として回路形成を鋳造することにより、トランスフォーマーの学習方法に関する予測理論へと進む。
  論文  参考訳（メタデータ） (2026-07-13T17:56:11Z)
• Interpreting learning dynamics of autoencoders: Transient scaling and emerging concepts of the Ising model [0.0]
  イジングモデルからの顕微鏡的スピン構成で訓練された教師なしオートエンコーダは、マクロ的、理論関連変数を学習する。 複数の空間スケールでの学習を定量化し、2つの異なる力学状態を明らかにする。 学習のダイナミックな視点は、内在的特性が強制的変化の影響を表わすことによって確立される。
  論文  参考訳（メタデータ） (2026-07-11T12:31:34Z)
• Kirchhoff-Inspired Neural Networks for Evolving High-Order Perception [51.28469959548178]
  我々はKirchhoff-Inspired Neural Network (KINN)を提案する。 KINNは、基本的な常微分方程式から数値的に安定な状態更新を導き、より高階の進化成分の明示的な分離と符号化を可能にする。
  論文  参考訳（メタデータ） (2026-03-25T06:17:31Z)
• Hierarchical Latent Structures in Data Generation Process Unify Mechanistic Phenomena across Scale [50.33952894976367]
  我々は文脈自由文法を用いて、ウェブスケールテキストコーパスのための忠実で効率的なプロキシである合成コーパスを生成する。 設計したデータ生成プロセスにおいて,誘導ヘッド,関数ベクトル,ハイドラ効果という3つの力学現象の出現について検討する。 これらの現象の出現を説明する上で,データ生成プロセスの階層構造がX因子となることが示唆された。
  論文  参考訳（メタデータ） (2026-02-04T14:49:13Z)
• KPFlow: An Operator Perspective on Dynamic Collapse Under Gradient Descent Training of Recurrent Networks [9.512147747894026]
  勾配流を2つの作用素を含む積に分解する方法を示す。 それらの相互作用がGDの下での低次元潜在力学にどのように影響するかを示す。 マルチタスクトレーニングでは,各サブタスクの目的がどのように一致しているかを演算子を用いて測定できることが示される。
  論文  参考訳（メタデータ） (2025-07-08T20:33:15Z)
• From Lazy to Rich: Exact Learning Dynamics in Deep Linear Networks [47.13391046553908]
  人工ネットワークでは、これらのモデルの有効性はタスク固有の表現を構築する能力に依存している。 以前の研究では、異なる初期化によって、表現が静的な遅延状態にあるネットワークや、表現が動的に進化するリッチ/フィーチャーな学習体制のいずれかにネットワークを配置できることが強調されていた。 これらの解は、豊かな状態から遅延状態までのスペクトルにわたる表現とニューラルカーネルの進化を捉えている。
  論文  参考訳（メタデータ） (2024-09-22T23:19:04Z)
• Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
  我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。 新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。 我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
  論文  参考訳（メタデータ） (2024-02-20T15:23:24Z)
• A Waddington landscape for prototype learning in generalized Hopfield networks [0.0]
  一般化ホップフィールドネットワークの学習力学について検討する。 細胞が分化するにつれて、運河や低次元のダイナミックスと強い類似性が観察される。
  論文  参考訳（メタデータ） (2023-12-04T21:28:14Z)
• Decomposed Linear Dynamical Systems (dLDS) for learning the latent components of neural dynamics [6.829711787905569]
  本稿では,時系列データの非定常および非線形の複雑なダイナミクスを表現した新しい分解力学系モデルを提案する。 我々のモデルは辞書学習によって訓練され、最近の結果を利用してスパースベクトルを時間とともに追跡する。 連続時間と離散時間の両方の指導例において、我々のモデルは元のシステムによく近似できることを示した。
  論文  参考訳（メタデータ） (2022-06-07T02:25:38Z)
• A duality connecting neural network and cosmological dynamics [0.0]
  本研究では、勾配降下によるニューラルネットワークの力学と、平らで真空エネルギーが支配する宇宙におけるスカラー場の力学が構造的に関連していることを示す。 この双対性は、ニューラルネットワークのダイナミクスを理解し説明するための、これらのシステム間のシナジーのためのフレームワークを提供する。
  論文  参考訳（メタデータ） (2022-02-22T19:00:01Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Recurrent Neural Network Learning of Performance and Intrinsic Population Dynamics from Sparse Neural Data [77.92736596690297]
  本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。 提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。 注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
  論文  参考訳（メタデータ） (2020-05-05T14:16:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。