論文の概要: Understanding Sample Efficiency in Predictive Coding

• arxiv url: http://arxiv.org/abs/2605.11911v1
• Date: Tue, 12 May 2026 10:24:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.795829
• Title: Understanding Sample Efficiency in Predictive Coding
• Title（参考訳）: 予測符号化におけるサンプル効率の理解
• Authors: Gaspard Oliviers, Elene Lominadze, Rafal Bogacz,
• Abstract要約: 小規模な実験により、予測符号化(PC)は、多くの文脈においてよりサンプル効率が高く効果的な学習を可能にすることが示された。 BPとPCの学習効率をターゲットアライメントと呼ばれる指標を用いて定量化する」 我々は,特に深層,狭部,事前学習ネットワークにおいて,PCでの学習がBPよりも効率的であることを示す。
• 参考スコア（独自算出の注目度）: 5.299779650604401
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Predictive Coding (PC) is an influential account of cortical learning. Much of recent work has focused on comparing PC to Backpropagation (BP) to find whether PC offers any advantages. Small scale experiments show that PC enables learning that is more sample efficient and effective in many contexts, though a thorough theoretical understanding of the phenomena remains elusive. To address this, we quantify the efficiency of learning in BP and PC through a metric called ``target alignment'', which measures how closely the change in the output of the network is aligned to the output prediction error. We then derive and empirically validate analytical expressions for target alignment in Deep Linear Networks. We show that learning in PC is more efficient than BP, which is especially pronounced in deep, narrow and pre-trained networks. We also derive exact conditions for guaranteed optimal target alignment in PC and validate our findings through experiments. We study full training trajectories of linear and non-linear models, and find the predicted benefits of PC persist in practice even when some assumptions are violated. Overall, this work provides a mechanistic understanding of the higher learning efficiency observed for PC over BP in previous works, and can guide how PC should be parametrised to learn most effectively.
• Abstract（参考訳）: 予測符号化(PC)は皮質学習に影響を及ぼす。 最近の研究の多くはPCとバックプロパゲーション(BP)を比較して、PCに利点があるかどうかを調べることに重点を置いている。 小規模実験では、PCは多くの文脈においてより効率的な学習を可能にするが、その現象の詳細な理論的理解はいまだ解明されていない。 これを解決するために,ネットワークの出力変化が出力予測誤差にどの程度近いかを測定する指標である 'ターゲットアライメント' を用いて,BP と PC の学習効率を定量化する。 次に、Deep Linear Networksにおけるターゲットアライメントのための解析式を導出し、実証的に検証する。 我々は,PCにおける学習がBPよりも効率的であることを示し,特に深く,狭く,事前訓練されたネットワークにおいて顕著であることを示した。 また,PCにおける最適目標アライメントの正確な条件を導出し,実験による検証を行った。 線形モデルと非線形モデルの完全な学習軌跡について検討し,いくつかの仮定が破られた場合でも,PCの利点が実際に持続していることを見出した。 全体として、この研究は、以前の研究におけるBPよりもPCの方が高い学習効率を機械的に理解し、最も効果的に学習するためにPCをどのようにパラメトリズするかを導くことができる。

関連論文リスト

• On the Infinite Width and Depth Limits of Predictive Coding Networks [8.779034498638826]
  予測符号化(PC)は、標準バックプロパゲーション(BP)の生物学的に妥当な代替品である 最近の研究は深層PCネットワークのトレーニング安定性を改善している。 我々はPCNの無限の幅と深さの限界について検討する。
  論文  参考訳（メタデータ） (2026-02-07T20:47:32Z)
• Towards Scaling Deep Neural Networks with Predictive Coding: Theory and Practice [1.2691047660244335]
  バックプロパゲーション(BP)は、現代の人工知能を支えるディープニューラルネットワークをトレーニングするための標準アルゴリズムである。 この論文は、予測符号化(PC)という、より効率的な脳誘発アルゴリズムの研究である。
  論文  参考訳（メタデータ） (2025-10-24T14:47:49Z)
• Tight Stability, Convergence, and Robustness Bounds for Predictive Coding Networks [60.3634789164648]
  予測符号化(PC)のようなエネルギーベースの学習アルゴリズムは、機械学習コミュニティにおいて大きな注目を集めている。 動的システム理論のレンズを用いて,PCの安定性,堅牢性,収束性を厳密に解析する。
  論文  参考訳（メタデータ） (2024-10-07T02:57:26Z)
• Understanding Predictive Coding as an Adaptive Trust-Region Method [0.0]
  我々は,2次情報を用いた適応信頼領域(TR)アルゴリズムとしてPCの理論を開発する。 我々は,PCの学習力学を,BPの損失勾配方向とPC推論のTR方向との補間と解釈できることを示した。
  論文  参考訳（メタデータ） (2023-05-29T16:25:55Z)
• A Theoretical Framework for Inference and Learning in Predictive Coding Networks [41.58529335439799]
  予測符号化(PC)は、計算神経科学において重要な理論である。 予測構成で訓練されたPCNの特性に関する包括的理論的解析を行う。
  論文  参考訳（メタデータ） (2022-07-21T04:17:55Z)
• Towards Scaling Difference Target Propagation by Learning Backprop Targets [64.90165892557776]
  Different Target Propagationは,Gauss-Newton(GN)最適化と密接な関係を持つ生物学的に証明可能な学習アルゴリズムである。 本稿では、DTPがBPを近似し、階層的なフィードバックウェイトトレーニングを復元できる新しいフィードバックウェイトトレーニング手法を提案する。 CIFAR-10 と ImageNet 上で DTP が達成した最高の性能について報告する。
  論文  参考訳（メタデータ） (2022-01-31T18:20:43Z)
• A Theoretical View of Linear Backpropagation and Its Convergence [55.69505060636719]
  バックプロパゲーション(BP)はディープニューラルネットワーク(DNN)の勾配を計算するために広く用いられている 最近では、NinBPと呼ばれるBPの線形変種が導入され、ブラックボックス攻撃を行うためのより伝達可能な逆の例が生み出された。 本稿では,LinBPのニューラルネットワーク関連学習課題における理論的解析について述べる。
  論文  参考訳（メタデータ） (2021-12-21T07:18:00Z)
• Efficient Estimation of Influence of a Training Instance [56.29080605123304]
  本稿では,ニューラルネットワークモデルに対するトレーニングインスタンスの影響を効率的に推定する手法を提案する。 このメソッドは、サブネットワークをゼロマスクし、サブネットワークが各トレーニングインスタンスを学習するのを防ぎます。 提案手法は, 学習の影響を捉え, 誤り予測の解釈性を高め, 一般化改善のための訓練データセットをクリーン化できることを実証する。
  論文  参考訳（メタデータ） (2020-12-08T04:31:38Z)
• Provably Efficient Causal Reinforcement Learning with Confounded Observational Data [135.64775986546505]
  オフラインで収集されたデータセット(観測データ)を組み込んで、オンライン環境でのサンプル効率を改善する方法について検討する。 提案手法は,観測データを効率よく組み込んだ,分解された楽観的値反復 (DOVI) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-22T14:49:33Z)
• Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
  原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。 PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。 PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
  論文  参考訳（メタデータ） (2020-05-11T09:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。