論文の概要: How are linear representations learned? Exact solutions to the dynamics of abstraction
- arxiv url: http://arxiv.org/abs/2607.08843v1
- Date: Thu, 09 Jul 2026 18:04:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-13 14:47:12.723856
- Title: How are linear representations learned? Exact solutions to the dynamics of abstraction
- Title（参考訳）: 線形表現はどのように学習されるか?抽象の力学に対する厳密な解
- Abstract要約: 人工および生物学的ニューラルネットワークでは、概念はしばしば表現空間における一貫した線形方向として符号化される。
ディープラーニングでは、このアイデアは線形表現仮説として知られ、多くの解釈可能性と制御方法の基盤となっている。
ここでは、トレーニング中の概念方向のアライメントを研究するためのフレームワークを開発する。
- 参考スコア（独自算出の注目度）: 20.467582967702672
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In artificial and biological neural networks, concepts are often encoded as consistent linear directions in representation space. In deep learning, this idea is known as the linear representation hypothesis and underpins many interpretability and control methods based on linear probes, from concept detection to activation steering. Yet while prior work has studied whether such directions should exist $\textit{after}$ training, the dynamics of how they emerge $\textit{during}$ training remain poorly understood. Here, we develop a framework to study the alignment of concept directions during training - a process we call "abstraction". In a minimal linear network setting, we obtain exact solutions for the full trajectory of abstraction. These solutions reveal key analytic principles governing abstraction: (i) data and target geometry jointly determine abstraction at the end-of-learning, (ii) abstraction improves with network depth, and (iii) initialization scale controls the maximum abstraction reached during training. Extending our theory to nonlinear networks, we analyze how the choice of nonlinearity affects abstraction dynamics: erf networks approximate the linear theory, while abstraction in ReLU networks depends less on target geometry and more on input geometry. Across both, we prove a striking attenuation law: both nonlinearities weaken abstraction in activations relative to preactivations. We find evidence for this law in open models (DINOv3, Gemma 4) and apply our theory to improve linear probe generalization in LLMs. Together, our results provide a dynamical theory of abstraction with implications for interpretability and control.
- Abstract（参考訳）: 人工および生物学的ニューラルネットワークでは、概念はしばしば表現空間における一貫した線形方向として符号化される。
ディープラーニングでは、このアイデアは線形表現仮説として知られ、概念検出からアクティベーションステアリングに至るまで、線形プローブに基づく多くの解釈可能性と制御方法の基盤となっている。
しかし、事前の研究は、そのような方向が$\textit{after}$トレーニングに存在するべきかどうかを調査しているが、それらがどのように出現するかのダイナミクスは、まだ理解されていない。
ここでは、トレーニング中の概念方向のアライメントを研究するためのフレームワークを開発します。
最小限の線形ネットワーク設定では、抽象の完全な軌跡の正確な解を得る。
これらのソリューションは、抽象を規定する重要な分析原則を明らかにします。
i)データとターゲット幾何学が学習終了時の抽象化を共同で決定する。
(ii)ネットワーク深度により抽象化が向上し、
三 初期化尺度は、訓練中に到達した最大抽象度を制御する。
エルフネットワークは線形理論を近似するが、ReLUネットワークの抽象化はターゲット幾何学に依存せず、入力幾何学にも依存しない。
両者とも顕著な減衰則を証明し、どちらの非線形性も事前アクティベーションに対するアクティベーションの抽象性を弱める。
開模型(DINOv3, Gemma 4)においてこの法則の証拠を見つけ、LLMにおける線形プローブ一般化を改善するために我々の理論を適用する。
この結果から,解釈可能性と制御性を考慮した抽象化の動的理論が得られた。
関連論文リスト
- A mathematical theory for understanding when abstract representations emerge in neural networks [4.415536082342714]
フィードフォワード非線形ネットワークの最後に隠された層に潜伏変数の抽象表現が現れることが保証されていることを示す。
これらの表現は、所望の出力の構造や入力刺激の意味を反映している。
論文 参考訳（メタデータ） (2025-10-10T19:30:57Z) - Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。
3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
論文 参考訳（メタデータ） (2024-10-31T22:54:34Z) - From Lazy to Rich: Exact Learning Dynamics in Deep Linear Networks [47.13391046553908]
人工ネットワークでは、これらのモデルの有効性はタスク固有の表現を構築する能力に依存している。
以前の研究では、異なる初期化によって、表現が静的な遅延状態にあるネットワークや、表現が動的に進化するリッチ/フィーチャーな学習体制のいずれかにネットワークを配置できることが強調されていた。
これらの解は、豊かな状態から遅延状態までのスペクトルにわたる表現とニューラルカーネルの進化を捉えている。
論文 参考訳（メタデータ） (2024-09-22T23:19:04Z) - On the Trade-off Between Efficiency and Precision of Neural Abstraction [62.046646433536104]
ニューラル抽象化は、最近、複雑な非線形力学モデルの形式近似として導入されている。
我々は形式的帰納的合成法を用いて、これらのセマンティクスを用いた動的モデルをもたらすニューラル抽象化を生成する。
論文 参考訳（メタデータ） (2023-07-28T13:22:32Z) - The Law of Parsimony in Gradient Descent for Learning Deep Linear
Networks [34.85235641812005]
我々は、データが低次元構造を持つ場合、学習力学において驚くべき「パシモニーの法則」を明らかにする。
この学習力学の単純さは、効率的なトレーニングとディープネットワークのより良い理解の両方に重大な影響を及ぼす可能性がある。
論文 参考訳（メタデータ） (2023-06-01T21:24:53Z) - Understanding Multi-phase Optimization Dynamics and Rich Nonlinear
Behaviors of ReLU Networks [8.180184504355571]
線形可分データに基づく勾配流による2層ReLUネットワークの学習過程の理論的評価を行う。
学習過程全体から4つの段階が明らかになり,学習の簡略化と複雑化の傾向が示された。
特定の非線形挙動は、初期、サドルプラトー力学、凝縮エスケープ、複雑化に伴う活性化パターンの変化など、理論的に正確に識別することもできる。
論文 参考訳（メタデータ） (2023-05-21T14:08:34Z) - Does Deep Learning Learn to Abstract? A Systematic Probing Framework [69.2366890742283]
抽象化はディープラーニングモデルにとって望ましい機能であり、具体的なインスタンスから抽象概念を誘導し、学習コンテキストを超えて柔軟に適用することを意味する。
本稿では,伝達可能性の観点から,ディープラーニングモデルの抽象化能力を検討するための体系的探索フレームワークを提案する。
論文 参考訳（メタデータ） (2023-02-23T12:50:02Z) - Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。
我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
論文 参考訳（メタデータ） (2021-11-02T20:24:01Z) - The Principles of Deep Learning Theory [19.33681537640272]
この本は、実践的妥当性の深いニューラルネットワークを理解するための効果的な理論アプローチを開発する。
これらのネットワークがトレーニングから非自明な表現を効果的に学習する方法について説明する。
トレーニングネットワークのアンサンブルの有効モデル複雑性を,奥行き比が支配していることを示す。
論文 参考訳（メタデータ） (2021-06-18T15:00:00Z) - Developing Constrained Neural Units Over Time [81.19349325749037]
本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。
ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。
提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
論文 参考訳（メタデータ） (2020-09-01T09:07:25Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。