論文の概要: Credit Assignment via Neural Manifold Noise Correlation

• arxiv url: http://arxiv.org/abs/2601.02636v1
• Date: Tue, 06 Jan 2026 01:17:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-07 17:02:12.762328
• Title: Credit Assignment via Neural Manifold Noise Correlation
• Title（参考訳）: ニューラルマニフォールドノイズ相関によるクレジットアサインメント
• Authors: Byungwoo Kang, Maceo Richards, Bernardo Sabatini,
• Abstract要約: クレジットの割り当ては、脳や機械での学習の中心である。 騒音相関による活動の摂動と出力変化の相関による勾配推定 本稿では,ニューラル多様体に限定した摂動を用いた信頼割当を行うニューラル多様体雑音相関法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Credit assignment--how changes in individual neurons and synapses affect a network's output--is central to learning in brains and machines. Noise correlation, which estimates gradients by correlating perturbations of activity with changes in output, provides a biologically plausible solution to credit assignment but scales poorly as accurately estimating the Jacobian requires that the number of perturbations scale with network size. Moreover, isotropic noise conflicts with neurobiological observations that neural activity lies on a low-dimensional manifold. To address these drawbacks, we propose neural manifold noise correlation (NMNC), which performs credit assignment using perturbations restricted to the neural manifold. We show theoretically and empirically that the Jacobian row space aligns with the neural manifold in trained networks, and that manifold dimensionality scales slowly with network size. NMNC substantially improves performance and sample efficiency over vanilla noise correlation in convolutional networks trained on CIFAR-10, ImageNet-scale models, and recurrent networks. NMNC also yields representations more similar to the primate visual system than vanilla noise correlation. These findings offer a mechanistic hypothesis for how biological circuits could support credit assignment, and suggest that biologically inspired constraints may enable, rather than limit, effective learning at scale.
• Abstract（参考訳）: クレジットの割り当て - 個々のニューロンやシナプスの変化が、ネットワークの出力に影響を与えるか - 脳や機械での学習の中心である。 ノイズ相関は、活動の摂動と出力の変化を関連付けることで勾配を推定するが、生物学的に妥当な信用代入の解を提供するが、ジャコビアンを正確に推定するにはネットワークサイズで摂動の数がスケールする必要がある。 さらに、等方性雑音は、神経活動が低次元多様体上にあるという神経生物学的観察と矛盾する。 これらの欠点に対処するため、ニューラル多様体に制限された摂動を用いたクレジット割り当てを行うニューラル多様体ノイズ相関(NMNC)を提案する。 ヤコビアン列空間は、訓練されたネットワークにおけるニューラル多様体と整合し、多様体の次元性はネットワークサイズとともにゆっくりとスケールすることを示す。 NMNCは、CIFAR-10、ImageNetスケールモデル、およびリカレントネットワークで訓練された畳み込みネットワークにおいて、バニラノイズ相関よりも性能とサンプル効率を大幅に改善する。 NMNCはまた、バニラノイズ相関よりも霊長類視覚系に類似した表現を与える。 これらの発見は、生物学的回路がクレジットの割り当てをどのようにサポートするかの機械論的仮説を示し、生物学的にインスピレーションを受けた制約が、大規模に効果的に学習することよりも、有効である可能性を示唆している。

関連論文リスト

• Neuronal Group Communication for Efficient Neural representation [85.36421257648294]
  本稿では, 効率的な, モジュラー, 解釈可能な表現を学習する, 大規模ニューラルシステムの構築方法に関する問題に対処する。 本稿では、ニューラルネットワークを相互作用する神経群の動的システムとして再認識する理論駆動型フレームワークである神経グループ通信(NGC)を提案する。 NGCは、重みを埋め込みのようなニューロン状態間の過渡的な相互作用として扱い、神経計算はニューロン群間の反復的なコミュニケーションを通じて展開する。
  論文  参考訳（メタデータ） (2025-10-19T14:23:35Z)
• Beyond Scaling Curves: Internal Dynamics of Neural Networks Through the NTK Lens [0.5745241788717261]
  我々は、ニューラルネットワークがデータの下でどのように振る舞うかを経験的に分析し、ニューラル・タンジェント・カーネル(NTK)のレンズを通してモデルをスケーリングする。 我々の標準的な視覚タスクの発見は、内部モデル力学が逆の挙動を示すにもかかわらず、同様のパフォーマンススケーリング指数が生じることを示している。 また、無限幅制限への収束が有限幅モデルにおけるスケーリングの挙動にどのように影響するかという未解決のニューラルスケーリング問題にも対処する。
  論文  参考訳（メタデータ） (2025-07-07T14:17:44Z)
• Weight transport through spike timing for robust local gradients [0.5236468296934584]
  機能的ニューラルネットワークの可塑性は、しばしばコストの勾配降下として表される。 これにより、局所的な計算との整合が難しい対称性の制約が課される。 本稿では、スパイクタイミング統計を用いて、効果的な相互接続間の非対称性を抽出し、補正するスパイクベースのアライメント学習を提案する。
  論文  参考訳（メタデータ） (2025-03-04T14:05:39Z)
• Discovering Chunks in Neural Embeddings for Interpretability [53.80157905839065]
  本稿では, チャンキングの原理を応用して, 人工神経集団活動の解釈を提案する。 まず、この概念を正則性を持つ人工シーケンスを訓練したリカレントニューラルネットワーク(RNN)で実証する。 我々は、これらの状態に対する摂動が関連する概念を活性化または阻害すると共に、入力における概念に対応する同様の繰り返し埋め込み状態を特定する。
  論文  参考訳（メタデータ） (2025-02-03T20:30:46Z)
• Exploring neural oscillations during speech perception via surrogate gradient spiking neural networks [59.38765771221084]
  本稿では、ディープラーニングフレームワークと互換性があり、スケーラブルな、生理学的にインスパイアされた音声認識アーキテクチャを提案する。 本研究では, 終末から終末までの勾配降下訓練が, 中枢スパイク神経ネットワークにおける神経振動の出現に繋がることを示す。 本研究は, スパイク周波数適応やリカレント接続などのフィードバック機構が, 認識性能を向上させるために, 神経活動の調節と同期に重要な役割を担っていることを明らかにする。
  論文  参考訳（メタデータ） (2024-04-22T09:40:07Z)
• Hopfield-Enhanced Deep Neural Networks for Artifact-Resilient Brain State Decoding [0.0]
  そこで本研究では, ホップフィールド・ネットワークとコナール・ニューラル・ネットワーク(CNN)を併用した2段階の計算手法を提案する。 様々なレベルのデータ圧縮とノイズ強度のパフォーマンスは、我々のフレームワークがアーティファクトを効果的に軽減し、より低いノイズレベルにおいてクリーンなデータCNNと同等の精度でモデルに到達できることを示しました。
  論文  参考訳（メタデータ） (2023-11-06T15:08:13Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Information contraction in noisy binary neural networks and its implications [11.742803725197506]
  我々は、各ニューロンが不正な出力を発生させる確率がゼロでない、ノイズの多いバイナリニューラルネットワークを考察する。 私たちの重要な発見は、ノイズの多いニューラルネットワークで必要なニューロンの数が少ないことです。 本稿では,情報理論のレンズを通して,ノイズの多い情報処理システムに対する新たな理解を提供する。
  論文  参考訳（メタデータ） (2021-01-28T00:01:45Z)
• Neural Networks with Recurrent Generative Feedback [61.90658210112138]
  畳み込みニューラルネットワーク(CNN)でこの設計をインスタンス化する 実験では、標準ベンチマーク上の従来のフィードフォワードCNNに対して、CNN-Fは敵のロバスト性を大幅に改善した。
  論文  参考訳（メタデータ） (2020-07-17T19:32:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。