論文の概要: Invariance before structure: two modes of emergent compression in representation learning

• arxiv url: http://arxiv.org/abs/2611.07952v1
• Date: Thu, 05 Nov 2026 12:49:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.688964
• Title: Invariance before structure: two modes of emergent compression in representation learning
• Title（参考訳）: 構造前の不変性:表現学習における創発的圧縮の2つのモード
• Abstract要約: 本稿では,状態空間圧縮とパラメータ空間圧縮という,学習表現における2つのモードの出現を区別するフレームワークを提案する。 一方,ネットワークがタスクの時間構造を学習し始めると,状態空間圧縮は約30時間後に上昇する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learned representations show striking invariance across biological and artificial neural networks, with different substrates and variations driven by drift, heterogeneity and initialisation. To understand this invariance, we propose Emergent Adaptive Representation Learning (EARL), a framework that distinguishes two modes of emergence in learned representations: state-space compression, where a learned representation gains predictive power over its own future beyond what the network's units can predict individually, and parameter-space compression, where networks with different micro-level parameters converge to the same representation. We formalise both as Fisher sensitivities and introduce ensemble-level information-theoretic measures for each. In a recurrent reservoir with a trained bottleneck, parameter-space compression rises within the first few epochs of training and partly independently of the task, whereas state-space compression rises about 30 epochs later and only when the network begins to learn the temporal structure of the task. These results suggest that invariance to the substrate and task-specific emergent structure are acquired in distinct phases of learning.
• Abstract（参考訳）: 学習された表現は、異なる基質と、ドリフト、不均一性、初期化によって駆動される変異を持つ、生物学的および人工ニューラルネットワーク間で顕著な不変性を示す。 この不変性を理解するために、我々は、学習表現における2つのモードの出現を区別するフレームワークであるEmergent Adaptive Representation Learning (EARL)を提案する。 我々はフィッシャーの感性として定式化するとともに,それぞれにアンサンブルレベルの情報理論的尺度を導入する。 訓練されたボトルネックを持つリカレント貯水池では、パラメータ空間圧縮はトレーニングの最初の数回で増加し、一部はタスクとは独立に増加するが、状態空間圧縮は約30回後に増加し、ネットワークがタスクの時間構造を学習し始めたときのみである。 これらの結果は, 学習の異なる段階において, 基板とタスク固有の創発的構造との相違が得られたことを示唆している。

関連論文リスト

• Neural Networks Provably Learn Spectral Representations for Group Composition [51.637084292404616]
  ニューラルネットワークトレーニング中に内部構造がどのように現れるかを検討する。 トレーニング力学は表現理論エネルギー汎関数上の勾配上昇によって支配されていることを証明する。 このフレームワークは特徴学習の表現論的記述を提供し、新しい低ランク圧縮現象を特徴付ける。
  論文  参考訳（メタデータ） (2026-06-02T01:04:21Z)
• VIKING: Deep variational inference with stochastic projections [48.946143517489496]
  変分平均場近似は、現代の過度にパラメータ化されたディープニューラルネットワークと競合する傾向がある。 パラメータ空間の2つの独立線型部分空間を考える単純な変分族を提案する。 これにより、オーバーパラメトリゼーションを反映した、完全に相関した近似後部を構築することができる。
  論文  参考訳（メタデータ） (2025-10-27T15:38:35Z)
• The Butterfly Effect: Neural Network Training Trajectories Are Highly Sensitive to Initial Conditions [51.68215326304272]
  たとえ小さな摂動であっても、同じ訓練軌跡を確実に引き起こすことで、トレーニング時間とともに急速に減少する効果が発散することを示します。 この結果から,ニューラルネットワークのトレーニング安定性,微調整,モデルマージ,モデルアンサンブルの多様性の実践的意味が示唆された。
  論文  参考訳（メタデータ） (2025-06-16T08:35:16Z)
• Bridging Critical Gaps in Convergent Learning: How Representational Alignment Evolves Across Layers, Training, and Distribution Shifts [1.9458156037869137]
  収束学習は、神経システムが同様の内部表現に到達する度合いである。 数十の視覚モデルと数千の層対比較にまたがる収束学習の大規模監査を行う。 発見は、表現の収束に対する理解において重要なギャップを埋め、神経科学とAIに影響を及ぼす。
  論文  参考訳（メタデータ） (2025-02-26T00:04:24Z)
• Network Dynamics-Based Framework for Understanding Deep Neural Networks [8.376259475051974]
  本稿では,動的システム理論のレンズを通して学習力学を解析するための理論的枠組みを提案する。 ニューラルネットワークの線形性と非線形性の概念をニューロンレベルで2つの基本変換単位を導入することにより再定義する。 異なる変換モードは、重みベクトルの組織、異なる情報抽出のモード、質的に異なる学習フェーズの出現において、異なる集団的挙動をもたらす。
  論文  参考訳（メタデータ） (2025-01-05T04:23:21Z)
• A simple connection from loss flatness to compressed neural representations [3.5502600490147196]
  損失ランドスケープの平坦さを反映したパラメータ空間の幾何学的測度であるシャープネスは、ニューラルネットワークの挙動と潜在的な関係について長い間研究されてきた。 本稿では,特徴空間におけるニューラル表現の局所的幾何学的特徴がシャープさがどのように影響するかを考察する。
  論文  参考訳（メタデータ） (2023-10-03T03:36:29Z)
• Self-Similarity Priors: Neural Collages as Differentiable Fractal Representations [73.14227103400964]
  本稿では,自己相似性の自動発見における学習の役割と下流タスクの活用について検討する。 我々は、自己参照型構造化変換のパラメータとしてデータを表す暗黙演算子の新しいクラスであるニューラルコラージュを設計する。 本稿では,ニューラルコラージュが生成する表現を,データ圧縮や生成など様々なタスクで活用する方法を検討する。
  論文  参考訳（メタデータ） (2022-04-15T22:54:23Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。