論文の概要: Predictive Coding with Bayesian Priors via Proximal Gradients

• arxiv url: http://arxiv.org/abs/2606.08374v1
• Date: Sat, 06 Jun 2026 23:41:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:06.069482
• Title: Predictive Coding with Bayesian Priors via Proximal Gradients
• Title（参考訳）: 近位勾配によるベイズ先行値の予測符号化
• Abstract要約: 我々は, 予測符号化を, 正規化最大姿勢(MAP)目標に適用した連続時間近位勾配勾配として再放送する。 階層構造では,局所解と分散解の相互接続として,古典的変数分割緩和が階層的予測符号化をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 4.3064955060429115
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We recast predictive coding as continuous-time proximal gradient descent applied to a regularized maximum-a-posteriori (MAP) objective. We study first a single-level problem and then a multi-level hierarchy. For the single-level problem, we show that proximal gradient descent is precisely a leaky firing-rate network: the membrane leak, the effective recurrent matrix, the local synaptic drive, and the static nonlinearity all follow from one optimization principle, and the resulting circuit is the one proposed by Rao and Ballard. The prior selects the nonlinearity through its proximal operator, and the likelihood precision sets the gain on the observation. For the hierarchy, we show that a classical variable-splitting relaxation of the deep MAP problem yields hierarchical predictive coding as the interconnection of local and distributed solvers. In probabilistic modeling terms, this relaxation replaces the directed generative chain by an undirected Markov random field whose node potentials are the level-wise priors. Each level then applies its own activation function, namely the proximal operator of its prior.
• Abstract（参考訳）: 我々は, 予測符号化を, 正規化最大姿勢(MAP)目標に適用した連続時間近位勾配勾配として再放送する。 最初はシングルレベル問題,次にマルチレベル階層について検討する。 単一レベル問題に対して, 近位勾配降下は, 膜リーク, 有効リカレント行列, 局所シナプス駆動, 静的非線形性といった, 正確には漏れやすい発火速度ネットワークであることが示され, 結果の回路はRaoとBallardによって提案されたものである。 前者は、その近位演算子を介して非線形性を選択し、その確率精度は観測に利得を与える。 階層構造では,局所解と分散解の相互接続として,古典的変数分割緩和が階層的予測符号化をもたらすことを示す。 確率的モデリングの用語では、この緩和は、ノードポテンシャルがレベルワイド先行である無向マルコフランダム場によって有向生成鎖を置き換える。 各レベルはそれ自身のアクティベーション関数、すなわち前者の近位作用素を適用する。

関連論文リスト

• Training Dynamics of Softmax Self-Attention: Fast Global Convergence via Preconditioning [17.65459083031186]
  線形回帰を訓練したソフトマックス自己アテンション層における勾配降下のダイナミクスを訓練する。 簡単な一階勾配勾配勾配は、大域的に最適な自己注意パラメータに収束できることを示す。
  論文  参考訳（メタデータ） (2026-03-02T06:44:54Z)
• Closed-Form Last Layer Optimization [72.49151473937319]
  正方形損失の下では、線形最終層重みに対する最適解は閉形式で知られている。 これは、バックボーン上の勾配降下ステップと最終層上のクローズドフォーム更新の交互に行われることを示す。
  論文  参考訳（メタデータ） (2025-10-06T09:14:39Z)
• GLinSAT: The General Linear Satisfiability Neural Network Layer By Accelerated Gradient Descent [12.409030267572243]
  まず、エントロピー規則化線形計画問題として、ニューラルネットワーク出力予測問題を再構成する。 数値的性能向上を伴う高速化勾配降下アルゴリズムに基づいて,その問題を解決するため,アーキテクチャGLinSATを提案する。 これは、すべての操作が微分可能で行列分解自由な、最初の一般線形満足層である。
  論文  参考訳（メタデータ） (2024-09-26T03:12:53Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Towards Training Without Depth Limits: Batch Normalization Without Gradient Explosion [83.90492831583997]
  バッチ正規化ネットワークは,信号伝搬特性を最適に保ちつつ,爆発的な勾配を回避することができることを示す。 線形アクティベーションとバッチ正規化を備えた多層パーセプトロン(MLP)を用いて,有界深度を実証する。 また、ある非線形活性化に対して同じ特性を経験的に達成する活性化整形法を設計する。
  論文  参考訳（メタデータ） (2023-10-03T12:35:02Z)
• Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
  本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。 勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。 勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
  論文  参考訳（メタデータ） (2022-10-13T15:09:54Z)
• Improved Overparametrization Bounds for Global Convergence of Stochastic Gradient Descent for Shallow Neural Networks [1.14219428942199]
  本研究では,1つの隠れ層フィードフォワードニューラルネットワークのクラスに対して,勾配降下アルゴリズムのグローバル収束に必要な過パラメトリゼーション境界について検討する。
  論文  参考訳（メタデータ） (2022-01-28T11:30:06Z)
• Optimal Sample Complexity of Subgradient Descent for Amplitude Flow via Non-Lipschitz Matrix Concentration [12.989855325491163]
  我々は、実数値の$n$次元信号を、位相のない線形測定値から復元する問題を考察する。 ランダムな不連続行列値演算子の均一な濃度に基づいて, 最適なサンプル複雑性を持つ下降勾配の局所収束を確立する。
  論文  参考訳（メタデータ） (2020-10-31T15:03:30Z)
• On the Convergence Rate of Projected Gradient Descent for a Back-Projection based Objective [58.33065918353532]
  我々は、最小二乗(LS)の代替として、バックプロジェクションに基づく忠実度項を考える。 LS項ではなくBP項を用いることで最適化アルゴリズムの繰り返しを少なくすることを示す。
  論文  参考訳（メタデータ） (2020-05-03T00:58:23Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。