論文の概要: Scaling of learning time for high dimensional inputs

• arxiv url: http://arxiv.org/abs/2603.01184v1
• Date: Sun, 01 Mar 2026 16:51:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-03 19:50:56.555393
• Title: Scaling of learning time for high dimensional inputs
• Title（参考訳）: 高次元入力のための学習時間のスケーリング
• Authors: Carlos Stein Brito,
• Abstract要約: ニューラルネットワークモデルでは、各ニューロンへの入力数によって、モデルの複雑さが増大する。 このトレードオフの正確な特徴は、人工ネットワークや生物学的ネットワークで観測される接続性と学習時間を説明するのに役立つだろう。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Representation learning from complex data typically involves models with a large number of parameters, which in turn require large amounts of data samples. In neural network models, model complexity grows with the number of inputs to each neuron, with a trade-off between model expressivity and learning time. A precise characterization of this trade-off would help explain the connectivity and learning times observed in artificial and biological networks. We present a theoretical analysis of how learning time depends on input dimensionality for a Hebbian learning model performing independent component analysis. Based on the geometry of high-dimensional spaces, we show that the learning dynamics reduce to a unidimensional problem, with learning times dependent only on initial conditions. For higher input dimensions, initial parameters have smaller learning gradients and larger learning times. We find that learning times have supralinear scaling, becoming quickly prohibitive for high input dimensions. These results reveal a fundamental limitation for learning in high dimensions and help elucidate how the optimal design of neural networks depends on data complexity. Our approach outlines a new framework for analyzing learning dynamics and model complexity in neural network models.
• Abstract（参考訳）: 複雑なデータからの表現学習は、典型的には大量のパラメータを持つモデルを含み、大量のデータサンプルを必要とする。 ニューラルネットワークモデルでは、モデル表現性と学習時間のトレードオフにより、各ニューロンへの入力数によってモデル複雑性が増大する。 このトレードオフの正確な特徴は、人工ネットワークや生物学的ネットワークで観測される接続性と学習時間を説明するのに役立つだろう。 独立成分分析を行うヘビアン学習モデルにおいて,学習時間が入力次元にどのように依存するかを理論的に分析する。 高次元空間の幾何学に基づいて、学習時間は初期条件のみに依存するため、学習ダイナミクスが一次元問題に還元されることを示す。 高い入力次元では、初期パラメータは学習勾配が小さく、学習時間が長い。 学習時間は超線形スケーリングを持ち、高い入力次元では急速に禁止される。 これらの結果は、高次元での学習の基本的な制限を明らかにし、ニューラルネットワークの最適設計がデータの複雑さにどのように依存するかを明らかにするのに役立つ。 ニューラルネットワークモデルにおける学習力学とモデル複雑性を解析するための新しいフレームワークについて概説する。

関連論文リスト

• Statistical mechanics of extensive-width Bayesian neural networks near interpolation [4.976898227858662]
  総重量分布と活性化関数を持つ2層完全連結ネットワークの教師あり学習について検討した。 我々は、同じアーキテクチャを持つ別のネットワークによって生成されたデータセットを用いて、教師学生のシナリオにおけるベイズ最適学習に焦点を当てる。 分析の結果,データ数の増加に伴い,多様な学習遷移を伴う豊富な現象が明らかになった。
  論文  参考訳（メタデータ） (2025-05-30T17:46:59Z)
• Exploring Deep Learning Models for EEG Neural Decoding [2.0099933815960256]
  THINGSイニシアチブは46人の被験者による大規模な脳波データセットを提供する。 近年のディープラーニングモデルを用いて,高レベルのオブジェクト特徴を復号化するための本手法の有効性を検証した。 線形モデルでは復号処理が解けず,ディープラーニングモデルはほぼすべて成功していることを示す。
  論文  参考訳（メタデータ） (2025-03-20T08:02:09Z)
• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• An exactly solvable model for emergence and scaling laws in the multitask sparse parity problem [2.598133279943607]
  本稿では,新たな能力(スキル)を基礎関数として表現するフレームワークを提案する。 新たなスキルの出現と、トレーニング時間、データサイズ、モデルサイズ、最適計算による損失の法則のスケーリングに関する分析式を見つける。 私たちの単純なモデルでは、単一の適合パラメータを使用して、トレーニング時間、データサイズ、モデルサイズが増大するにつれて、複数の新しいスキルのシグモダルな出現を捉えます。
  論文  参考訳（メタデータ） (2024-04-26T17:45:32Z)
• A Dynamical Model of Neural Scaling Laws [79.59705237659547]
  ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。 我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
  論文  参考訳（メタデータ） (2024-02-02T01:41:38Z)
• Learning of networked spreading models from noisy and incomplete data [7.669018800404791]
  スケーラブルな動的メッセージパッシング技術に基づく普遍的な学習手法を提案する。 このアルゴリズムは、モデルとデータに関する利用可能な事前知識を活用し、拡散モデルのネットワーク構造とパラメータの両方を再構成する。 キーモデルパラメータを持つ手法の線形計算複雑性は,アルゴリズムを大規模ネットワークインスタンスにスケーラブルにすることを示す。
  論文  参考訳（メタデータ） (2023-12-20T13:12:47Z)
• Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
  本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。 私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
  論文  参考訳（メタデータ） (2023-07-13T16:39:08Z)
• On Inductive Biases for Machine Learning in Data Constrained Settings [0.0]
  この論文は、データ制約された設定で表現力のあるモデルを学ぶという問題に対する異なる答えを探求する。 ニューラルネットワークを学ぶために、大きなデータセットに頼るのではなく、データ構造を反映した既知の関数によって、いくつかのモジュールを置き換えるつもりです。 我々のアプローチは「帰納的バイアス」のフードの下に置かれており、これは探索するモデルの空間を制限する手元にあるデータの仮説として定義することができる。
  論文  参考訳（メタデータ） (2023-02-21T14:22:01Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
  トレーニングセットとその構造が長期予測の品質に与える影響を考察する。 トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-12-15T20:09:20Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
  問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。 現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。 我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
  論文  参考訳（メタデータ） (2020-03-04T17:52:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。