論文の概要: Feature Learning beyond the Lazy-Rich Dichotomy: Insights from Representational Geometry
- arxiv url: http://arxiv.org/abs/2503.18114v1
- Date: Sun, 23 Mar 2025 15:39:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-25 14:39:27.038726
- Title: Feature Learning beyond the Lazy-Rich Dichotomy: Insights from Representational Geometry
- Title（参考訳）: Lazy-Rich二分法を超えた特徴学習:表現幾何学からの考察
- Authors: Chi-Ning Chou, Hang Le, Yichen Wang, SueYeon Chung,
- Abstract要約: 本稿では,特徴学習のための表現幾何学に基づく分析フレームワークを提案する。
ネットワークがタスクを解くのに有用な特徴を学習すると、タスク関連多様体は次第に無秩序になる。
基礎となる多様体幾何の変化を追跡することにより、トレーニングを通して異なる学習段階を明らかにする。
- 参考スコア（独自算出の注目度）: 7.517013801971377
- License:
- Abstract: The ability to integrate task-relevant information into neural representations is a fundamental aspect of both biological and artificial intelligence. To enable theoretical analysis, recent work has examined whether a network learns task-relevant features (rich learning) or resembles a random feature model (or a kernel machine, i.e., lazy learning). However, this simple lazy-versus-rich dichotomy overlooks the possibility of various subtypes of feature learning that emerge from different architectures, learning rules, and data properties. Furthermore, most existing approaches emphasize weight matrices or neural tangent kernels, limiting their applicability to neuroscience because they do not explicitly characterize representations. In this work, we introduce an analysis framework based on representational geometry to study feature learning. Instead of analyzing what are the learned features, we focus on characterizing how task-relevant representational manifolds evolve during the learning process. In both theory and experiment, we find that when a network learns features useful for solving a task, the task-relevant manifolds become increasingly untangled. Moreover, by tracking changes in the underlying manifold geometry, we uncover distinct learning stages throughout training, as well as different learning strategies associated with training hyperparameters, uncovering subtypes of feature learning beyond the lazy-versus-rich dichotomy. Applying our method to neuroscience and machine learning, we gain geometric insights into the structural inductive biases of neural circuits solving cognitive tasks and the mechanisms underlying out-of-distribution generalization in image classification. Our framework provides a novel geometric perspective for understanding and quantifying feature learning in both artificial and biological neural networks.
- Abstract（参考訳）: タスク関連情報を神経表現に統合する能力は、生物学的および人工知能の両方の基本的な側面である。
理論的解析を可能にするため、近年の研究では、ネットワークがタスク関連特徴(リッチラーニング)を学習するか、ランダムな特徴モデル(カーネルマシン、すなわち遅延ラーニング)に類似しているかを検討した。
しかし、この単純な遅延対数リッチ二分法は、異なるアーキテクチャ、学習ルール、データプロパティから生まれる様々な機能学習のサブタイプの可能性を見落としている。
さらに、既存のほとんどのアプローチでは、重み行列やニューラル・タンジェント・カーネルが強調されており、表現を明示的に特徴づけないため、神経科学への適用性が制限されている。
本研究では,特徴学習のための表現幾何学に基づく分析フレームワークを提案する。
学習した特徴を解析する代わりに、学習過程においてタスク関連表現多様体がどのように進化するかを特徴付けることに重点を置いている。
理論と実験の両方において、ネットワークがタスクを解くのに有用な特徴を学習すると、タスク関連多様体はますます無秩序になる。
さらに、基礎となる多様体の幾何学的変化を追跡することにより、トレーニング全体を通して異なる学習段階と、トレーニングハイパーパラメータに関連する異なる学習戦略を明らかにし、遅延逆二分法を超えて特徴学習のサブタイプを明らかにする。
本手法を神経科学や機械学習に適用することにより,認知課題を解くニューラルネットワークの構造的帰納バイアスと,画像分類における分布外一般化のメカニズムに関する幾何学的洞察を得る。
我々のフレームワークは、人工ニューラルネットワークと生物学的ニューラルネットワークの両方における特徴学習の理解と定量化のための新しい幾何学的視点を提供する。
関連論文リスト
- Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。
提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。
提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
論文 参考訳（メタデータ） (2024-07-05T14:11:28Z) - Coding schemes in neural networks learning classification tasks [52.22978725954347]
完全接続型広義ニューラルネットワーク学習タスクについて検討する。
ネットワークが強力なデータ依存機能を取得することを示す。
驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
論文 参考訳（メタデータ） (2024-06-24T14:50:05Z) - Brain-Inspired Machine Intelligence: A Survey of
Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。
我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。
本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文 参考訳（メタデータ） (2023-12-01T05:20:57Z) - Randomly Weighted Neuromodulation in Neural Networks Facilitates
Learning of Manifolds Common Across Tasks [1.9580473532948401]
幾何知覚ハッシュ関数(Geometric Sensitive Hashing function)は、教師あり学習においてクラス固有の多様体幾何を学ぶニューラルネットワークモデルである。
神経変調システムを用いたランダムに重み付けされたニューラルネットワークは,この機能を実現することができることを示す。
論文 参考訳（メタデータ） (2023-11-17T15:22:59Z) - Feature emergence via margin maximization: case studies in algebraic
tasks [4.401622714202886]
訓練されたニューラルネットワークは、一般群における合成を行うために、既約群理論表現に対応する特徴を用いることを示す。
より一般的に、私たちの技術が、ニューラルネットワークが特定の計算戦略を採用する理由のより深い理解を促進するのに役立つことを願っています。
論文 参考訳（メタデータ） (2023-11-13T18:56:33Z) - Synergistic information supports modality integration and flexible
learning in neural networks solving multiple tasks [107.8565143456161]
本稿では,様々な認知タスクを行う単純な人工ニューラルネットワークが採用する情報処理戦略について検討する。
結果は、ニューラルネットワークが複数の多様なタスクを学習するにつれて、シナジーが増加することを示している。
トレーニング中に無作為にニューロンを停止させると、ネットワークの冗長性が増加し、ロバスト性の増加に対応する。
論文 参考訳（メタデータ） (2022-10-06T15:36:27Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳（メタデータ） (2021-04-29T14:31:09Z) - Neural population geometry: An approach for understanding biological and
artificial neural networks [3.4809730725241605]
生体および人工ニューラルネットワークの機能に関する洞察を提供する幾何学的アプローチの例を概観する。
神経集団幾何学は、生体と人工のニューラルネットワークにおける構造と機能の理解を統一する可能性がある。
論文 参考訳（メタデータ） (2021-04-14T18:10:34Z) - A multi-agent model for growing spiking neural networks [0.0]
このプロジェクトでは、学習メカニズムとして、スパイキングニューラルネットワークのニューロン間の接続を拡大するためのルールについて検討している。
シミュレーション環境での結果は、与えられたパラメータセットに対して、テストされた関数を再現するトポロジに到達可能であることを示した。
このプロジェクトはまた、モデルパラメーターに最適な値を得るために、遺伝的アルゴリズムのようなテクニックを使用するための扉を開く。
論文 参考訳（メタデータ） (2020-09-21T15:11:29Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。