論文の概要: A Study of Hidden-State Optimization Order in Predictive Coding Networks

• arxiv url: http://arxiv.org/abs/2609.00686v1
• Date: Tue, 01 Sep 2026 04:07:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:36.278884
• Title: A Study of Hidden-State Optimization Order in Predictive Coding Networks
• Title（参考訳）: 予測符号化ネットワークにおける隠れ状態最適化順序の検討
• Authors: Xueyuan Li, Danilo Vasconcellos Vargas,
• Abstract要約: ローカル学習は、エンドツーエンドのバックプロパゲーションに代わる手段を提供するが、その非構造化されたローカルな目的は、ディープネットワークにおける弱い特徴学習を生み出すことができる。 本稿では,モデルをチャンクに分割し,まずチャンク境界に隠れた状態をコーディネートし,各チャンク内の表現を洗練する境界ファースト推論スケジュールを提案する。 我々は、このスケジュールを、推論中に隠れたアクティビティや予測エラーを明示的に露呈するローカルラーニングフレームワークである予測符号化ネットワーク(PCN)でインスタンス化する。
• 参考スコア（独自算出の注目度）: 5.721855749950785
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Local learning methods offer an alternative to end-to-end backpropagation, but their unstructured local objectives can produce weak feature learning in deep networks. We study whether the order of hidden-state optimization can address this limitation. We propose a boundary-first inference schedule that partitions a model into chunks, first coordinates hidden states at chunk boundaries, and then refines representations within each chunk. We instantiate this schedule in predictive coding networks (PCNs), a local-learning framework in which hidden activities and prediction errors are explicitly exposed during inference. On CIFAR-10, the resulting boundary-first predictive-coding instantiation improves accuracy over standard predictive coding by $9.77\%$ under a standard parametrization and by $5.51\%$ under a $μ$-parametrization. Diagnostic analyses further show more non-trivial early-layer updates, lower initial-to-final CKA, and more diverse layerwise gradients, consistent with stronger feature learning. These results support boundary-first, chunk-based inference as a practical design principle for predictive-coding training and motivate its study in broader local-learning systems.
• Abstract（参考訳）: ローカル学習は、エンドツーエンドのバックプロパゲーションに代わる手段を提供するが、その非構造化されたローカルな目的は、ディープネットワークにおける弱い特徴学習を生み出すことができる。 隠れ状態最適化の順序がこの制限に対処できるかどうかを検討する。 本稿では,モデルをチャンクに分割し,まずチャンク境界に隠れた状態をコーディネートし,各チャンク内の表現を洗練する境界ファースト推論スケジュールを提案する。 我々は、このスケジュールを、推論中に隠れたアクティビティや予測エラーを明示的に露呈するローカルラーニングフレームワークである予測符号化ネットワーク(PCN)でインスタンス化する。 CIFAR-10では、標準パラメトリゼーションでは9.77 %、標準パラメトリゼーションでは5.51 %、標準予測符号化では$μ$-パラメトリゼーションでは5.51 %の精度が向上する。 診断解析により、より非自明な早期層更新、より低い初期から最終までのCKA、より多様な階層的な勾配が、より強力な特徴学習と一致している。 これらの結果は、予測符号化トレーニングの実践的設計原則として境界優先のチャンクベース推論をサポートし、より広い地域学習システムでの学習を動機づける。

関連論文リスト

• From Regression to Inference: Meta-Learning Predictors for Neural Architecture Search [9.003566823725441]
  予測に基づくアプローチはニューラルアーキテクチャサーチ(NAS)において広く使われており、予測器は候補アーキテクチャのパフォーマンスを推定して選択を導く。 既存の予測器は、典型的には限られたサンプルに対する教師付き回帰によって訓練され、過度に適合し、目に見えないアーキテクチャへの一般化が不十分になる。 本稿では,メタ学習機能を備えた畳み込みニューラルプロセス(ConvNP)を用いて,条件付き関数推論問題としての性能予測をモデル化する基礎的な定式化を提案する。
  論文  参考訳（メタデータ） (2026-05-10T03:34:39Z)
• BinConv: A Neural Architecture for Ordinal Encoding in Time-Series Forecasting [5.827431686047649]
  確率予測のために設計された完全畳み込みニューラルネットワークアーキテクチャである textbfBinConv を提案する。 BinConvは、ポイントと確率予測の両方で広く使用されているベースラインデータセットと比較して、優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-05-30T13:41:39Z)
• Online Decision-Focused Learning [74.3205104323777]
  意思決定中心学習(DFL)は、意思決定タスクで予測出力が使用されるモデルのトレーニングパラダイムとして、ますます人気が高まっている。 本稿では,目的関数を規則化し,その相違を解消し,非最適関数を克服する方法を検討する。 また、クナップサック実験におけるアルゴリズムの有効性を示し、2つの標準ベンチマークを上回りました。
  論文  参考訳（メタデータ） (2025-05-19T10:40:30Z)
• Improving Continual Learning Performance and Efficiency with Auxiliary Classifiers [12.561018201238152]
  ニューラルネットワーク層における中間表現は忘れがちであり、計算を高速化する可能性を強調している。 また,ACを用いて推定平均コストを10～60%削減する。
  論文  参考訳（メタデータ） (2024-03-12T08:33:26Z)
• Adaptive Training Distributions with Scalable Online Bilevel Optimization [26.029033134519604]
  Webスケールコーパスで事前訓練された大規模なニューラルネットワークは、現代の機械学習の中心である。 本研究は,対象とする試験条件を反映したデータのサンプルが少なければ,事前学習分布を変更することを検討する。 本稿では、この設定をオンライン二段階最適化問題として最近定式化したアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-20T18:01:29Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Learning Large-scale Neural Fields via Context Pruned Meta-Learning [60.93679437452872]
  本稿では,大規模ニューラルネットワーク学習のための最適化に基づくメタラーニング手法を提案する。 メタテスト時間における勾配再スケーリングは、非常に高品質なニューラルネットワークの学習を可能にすることを示す。 我々のフレームワークは、モデルに依存しない、直感的で、実装が容易であり、幅広い信号に対する大幅な再構成改善を示す。
  論文  参考訳（メタデータ） (2023-02-01T17:32:16Z)
• Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient for Out-of-Distribution Generalization [52.7137956951533]
  既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。 本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。 自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
  論文  参考訳（メタデータ） (2022-02-14T16:42:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。