論文の概要: Feature Learning beyond the Lazy-Rich Dichotomy: Insights from Representational Geometry

• arxiv url: http://arxiv.org/abs/2503.18114v2
• Date: Fri, 11 Jul 2025 15:03:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-14 14:01:05.283392
• Title: Feature Learning beyond the Lazy-Rich Dichotomy: Insights from Representational Geometry
• Title（参考訳）: Lazy-Rich二分法を超えた特徴学習:表現幾何学からの考察
• Authors: Chi-Ning Chou, Hang Le, Yichen Wang, SueYeon Chung,
• Abstract要約: タスク関連情報を神経表現に統合することは、生物学的および人工知能システムの基本的な能力である。 最近の理論では、ニューラルネットワークがタスク関連の特徴を積極的に学習するリッチなレジームと、ネットワークがランダムな特徴モデルのように振る舞う遅延レジームという2つのレジームに分類されている。 ニューラル表現の幾何学を通して特徴学習を研究するための分析フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 7.517013801971377
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Integrating task-relevant information into neural representations is a fundamental ability of both biological and artificial intelligence systems. Recent theories have categorized learning into two regimes: the rich regime, where neural networks actively learn task-relevant features, and the lazy regime, where networks behave like random feature models. Yet this simple lazy-rich dichotomy overlooks a diverse underlying taxonomy of feature learning, shaped by differences in learning algorithms, network architectures, and data properties. To address this gap, we introduce an analysis framework to study feature learning via the geometry of neural representations. Rather than inspecting individual learned features, we characterize how task-relevant representational manifolds evolve throughout the learning process. We show, in both theoretical and empirical settings, that as networks learn features, task-relevant manifolds untangle, with changes in manifold geometry revealing distinct learning stages and strategies beyond the lazy-rich dichotomy. This framework provides novel insights into feature learning across neuroscience and machine learning, shedding light on structural inductive biases in neural circuits and the mechanisms underlying out-of-distribution generalization.
• Abstract（参考訳）: タスク関連情報を神経表現に統合することは、生物学的および人工知能システムの基本的な能力である。 最近の理論では、ニューラルネットワークがタスク関連の特徴を積極的に学習するリッチなレジームと、ネットワークがランダムな特徴モデルのように振る舞う遅延レジームという2つのレジームに分類されている。 しかし、この単純な遅延リッチ二分法は、学習アルゴリズム、ネットワークアーキテクチャ、データプロパティの違いによって形成された、機能学習のさまざまな基礎的な分類を見落としている。 このギャップに対処するため,我々はニューラル表現の幾何学を通して特徴学習を研究するための分析フレームワークを導入した。 個々の学習特徴を検査する代わりに、学習過程を通してタスク関連表現多様体がどのように進化するかを特徴付ける。 ネットワークが特徴を学習するにつれて、タスク関連多様体が乱れ、多様体の幾何学が変化し、遅延リッチ二分法以外の学習段階と戦略が明らかになることを示す。 このフレームワークは、神経科学と機械学習にまたがる機能学習に関する新しい洞察を提供し、神経回路の構造的帰納バイアスと、アウト・オブ・ディストリビューションの一般化の基礎となるメカニズムに光を当てる。

関連論文リスト

• Network Dynamics-Based Framework for Understanding Deep Neural Networks [11.44947569206928]
  本稿では,動的システム理論のレンズを通して学習力学を解析するための理論的枠組みを提案する。 ニューラルネットワークの線形性と非線形性の概念をニューロンレベルで2つの基本変換単位を導入することにより再定義する。 異なる変換モードは、重みベクトルの組織、異なる情報抽出のモード、質的に異なる学習フェーズの出現において、異なる集団的挙動をもたらす。
  論文  参考訳（メタデータ） (2025-01-05T04:23:21Z)
• SoK: On Finding Common Ground in Loss Landscapes Using Deep Model Merging Techniques [4.013324399289249]
  本稿では,モデルマージ手法の新たな分類法を提案する。 これらの分野における文献からの反復的な経験的観察を,ロスランドスケープ幾何学の4つの主要な側面のキャラクタリゼーションに用いた。
  論文  参考訳（メタデータ） (2024-10-16T18:14:05Z)
• From Lazy to Rich: Exact Learning Dynamics in Deep Linear Networks [47.13391046553908]
  人工ネットワークでは、これらのモデルの有効性はタスク固有の表現を構築する能力に依存している。 以前の研究では、異なる初期化によって、表現が静的な遅延状態にあるネットワークや、表現が動的に進化するリッチ/フィーチャーな学習体制のいずれかにネットワークを配置できることが強調されていた。 これらの解は、豊かな状態から遅延状態までのスペクトルにわたる表現とニューラルカーネルの進化を捉えている。
  論文  参考訳（メタデータ） (2024-09-22T23:19:04Z)
• Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
  人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。 提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。 提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
  論文  参考訳（メタデータ） (2024-07-05T14:11:28Z)
• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Brain-Inspired Machine Intelligence: A Survey of Neurobiologically-Plausible Credit Assignment [65.268245109828]
  本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。 我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。 本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
  論文  参考訳（メタデータ） (2023-12-01T05:20:57Z)
• Randomly Weighted Neuromodulation in Neural Networks Facilitates Learning of Manifolds Common Across Tasks [1.9580473532948401]
  幾何知覚ハッシュ関数(Geometric Sensitive Hashing function)は、教師あり学習においてクラス固有の多様体幾何を学ぶニューラルネットワークモデルである。 神経変調システムを用いたランダムに重み付けされたニューラルネットワークは,この機能を実現することができることを示す。
  論文  参考訳（メタデータ） (2023-11-17T15:22:59Z)
• Feature emergence via margin maximization: case studies in algebraic tasks [4.401622714202886]
  訓練されたニューラルネットワークは、一般群における合成を行うために、既約群理論表現に対応する特徴を用いることを示す。 より一般的に、私たちの技術が、ニューラルネットワークが特定の計算戦略を採用する理由のより深い理解を促進するのに役立つことを願っています。
  論文  参考訳（メタデータ） (2023-11-13T18:56:33Z)
• Understanding Activation Patterns in Artificial Neural Networks by Exploring Stochastic Processes [0.0]
  我々はこれまで未利用であったプロセスの枠組みを活用することを提案する。 我々は、実際のニューロンスパイク列車に使用される神経科学技術を活用した、アクティベーション周波数のみに焦点をあてる。 各ネットワークにおけるアクティベーションパターンを記述するパラメータを導出し、アーキテクチャとトレーニングセット間で一貫した差異を明らかにする。
  論文  参考訳（メタデータ） (2023-08-01T22:12:30Z)
• Synergistic information supports modality integration and flexible learning in neural networks solving multiple tasks [107.8565143456161]
  本稿では,様々な認知タスクを行う単純な人工ニューラルネットワークが採用する情報処理戦略について検討する。 結果は、ニューラルネットワークが複数の多様なタスクを学習するにつれて、シナジーが増加することを示している。 トレーニング中に無作為にニューロンを停止させると、ネットワークの冗長性が増加し、ロバスト性の増加に対応する。
  論文  参考訳（メタデータ） (2022-10-06T15:36:27Z)
• The Neural Race Reduction: Dynamics of Abstraction in Gated Networks [12.130628846129973]
  本稿では,情報フローの経路が学習力学に与える影響をスキーマ化するGated Deep Linear Networkフレームワークを紹介する。 正確な還元と、特定の場合において、学習のダイナミクスに対する正確な解が導出されます。 我々の研究は、ニューラルネットワークと学習に関する一般的な仮説を生み出し、より複雑なアーキテクチャの設計を理解するための数学的アプローチを提供する。
  論文  参考訳（メタデータ） (2022-07-21T12:01:03Z)
• Topology and geometry of data manifold in deep learning [0.0]
  本稿では,ニューラルネットワークの学習過程の幾何学的および位相的視点について述べる。 我々は、さまざまなデータセットと畳み込みニューラルネットワークアーキテクチャの異なる構成に関する幅広い実験を提示する。 我々の研究は、コンピュータビジョンの例を通して、説明可能な、解釈可能なAIの重要な分野の発展に寄与している。
  論文  参考訳（メタデータ） (2022-04-19T02:57:47Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Neural population geometry: An approach for understanding biological and artificial neural networks [3.4809730725241605]
  生体および人工ニューラルネットワークの機能に関する洞察を提供する幾何学的アプローチの例を概観する。 神経集団幾何学は、生体と人工のニューラルネットワークにおける構造と機能の理解を統一する可能性がある。
  論文  参考訳（メタデータ） (2021-04-14T18:10:34Z)
• A multi-agent model for growing spiking neural networks [0.0]
  このプロジェクトでは、学習メカニズムとして、スパイキングニューラルネットワークのニューロン間の接続を拡大するためのルールについて検討している。 シミュレーション環境での結果は、与えられたパラメータセットに対して、テストされた関数を再現するトポロジに到達可能であることを示した。 このプロジェクトはまた、モデルパラメーターに最適な値を得るために、遺伝的アルゴリズムのようなテクニックを使用するための扉を開く。
  論文  参考訳（メタデータ） (2020-09-21T15:11:29Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。