論文の概要: PredProp: Bidirectional Stochastic Optimization with Precision Weighted Predictive Coding

• arxiv url: http://arxiv.org/abs/2111.08792v2
• Date: Fri, 5 May 2023 15:05:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-08 18:11:24.044354
• Title: PredProp: Bidirectional Stochastic Optimization with Precision Weighted Predictive Coding
• Title（参考訳）: PredProp: 精度重み付き予測符号化による双方向確率最適化
• Authors: Andr\'e Ofner and Sebastian Stober
• Abstract要約: 予測符号化ネットワーク(PCN)における重みと状態の最適化手法であるPredPropを提案する。 PredPropは勾配降下による推論と学習に対処し、近似曲率でパラメータを適応的に更新する。 我々は、高密度デコーダネットワークと単純な画像ベンチマークデータセットのコンテキストにおいて、PredPropの有効性を実証する。
• 参考スコア（独自算出の注目度）: 1.5229257192293197
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present PredProp, a method for optimization of weights and states in predictive coding networks (PCNs) based on the precision of propagated errors and neural activity. PredProp jointly addresses inference and learning via stochastic gradient descent and adaptively weights parameter updates by approximate curvature. Due to the relation between propagated error covariance and the Fisher information matrix, PredProp implements approximate Natural Gradient Descent. We demonstrate PredProp's effectiveness in the context of dense decoder networks and simple image benchmark datasets. We found that PredProp performs favorably over Adam, a widely used adaptive learning rate optimizer in the tested configurations. Furthermore, available optimization methods for weight parameters benefit from using PredProp's error precision during inference. Since hierarchical predictive coding layers are optimised individually using local errors, the required precisions factorize over hierarchical layers. Extending beyond classical PCNs with a single set of decoder layers per hierarchical layer, we also generalize PredProp to deep neural networks in each PCN layer by additionally factorizing over the weights in each PCN layer.
• Abstract（参考訳）: 予測符号化ネットワーク(PCN)における重みと状態の最適化手法であるPredPropについて,伝搬誤差と神経活動の精度に基づいて述べる。 predpropは確率的勾配降下と近似曲率による適応的重み付けパラメータ更新による推論と学習を共同で扱う。 伝播誤差共分散とフィッシャー情報行列の関係から、predpropは近似的な自然勾配降下を行う。 我々は、高密度デコーダネットワークと単純な画像ベンチマークデータセットのコンテキストにおいて、PredPropの有効性を示す。 PredPropはテスト構成で広く使われている適応型学習率最適化器であるAdamよりも好適に動作することがわかった。 さらに、重みパラメータの最適化方法は、推論中にPredPropの誤差精度を使用することで得られる。 階層的予測符号化層は局所的誤差を用いて個別に最適化されるため、必要な精度は階層的層に分解される。 階層層ごとに1組のデコーダ層で古典的PCNを超えて拡張し,各PCN層の重みを加味して,各PCN層のディープニューラルネットワークにPredPropを一般化する。

関連論文リスト

• PropNEAT -- Efficient GPU-Compatible Backpropagation over NeuroEvolutionary Augmenting Topology Networks [1.9424018922013226]
  PropNEAT は NEAT の高速なバックプロパゲーション実装であり、ゲノムグラフから層ベースのアーキテクチャへの双方向マッピングを利用する。 我々はPenn Machine Learning Benchmarksデータベースから58のバイナリ分類データセット上でPropNEATをテストする。
  論文  参考訳（メタデータ） (2024-11-06T07:44:14Z)
• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• PPI++: Efficient Prediction-Powered Inference [31.403415618169433]
  PPI++: 小さなラベル付きデータセットと、通常より大きな機械学習予測データセットに基づく推定と推測の方法論を提案する。 これらの手法は、利用可能な予測の品質に自動的に適応し、容易に計算可能な信頼セットを得る。 PPI++は予測駆動推論(PPI)に基づいており、同じ問題設定をターゲットとし、計算効率と統計効率を改善している。
  論文  参考訳（メタデータ） (2023-11-02T17:59:04Z)
• Neural Gradient Learning and Optimization for Oriented Point Normal Estimation [53.611206368815125]
  本研究では,3次元点雲から勾配ベクトルを一貫した向きで学習し,正規推定を行うためのディープラーニング手法を提案する。 局所平面幾何に基づいて角距離場を学習し、粗勾配ベクトルを洗練する。 本手法は,局所特徴記述の精度と能力の一般化を図りながら,グローバル勾配近似を効率的に行う。
  論文  参考訳（メタデータ） (2023-09-17T08:35:11Z)
• Efficient and Differentiable Conformal Prediction with General Function Classes [96.74055810115456]
  本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。 本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。 実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
  論文  参考訳（メタデータ） (2022-02-22T18:37:23Z)
• Curvature Injected Adaptive Momentum Optimizer for Convolutional Neural Networks [21.205976369691765]
  本稿では、降下勾配に対するAdaInjectと呼ばれる新しいアプローチを提案する。 曲率情報は、更新ルールの2次モーメントを注入するウェイトとして使用される。 AdaInjectアプローチは、曲率情報を活用することにより、パラメータの更新を促進する。
  論文  参考訳（メタデータ） (2021-09-26T06:24:14Z)
• Why Approximate Matrix Square Root Outperforms Accurate SVD in Global Covariance Pooling? [59.820507600960745]
  本稿では,前方通過のSVDと後方伝播のPad'e近似を用いて勾配を計算する新しいGCPメタ層を提案する。 提案するメタレイヤは,さまざまなCNNモデルに統合され,大規模および微細なデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-05-06T08:03:45Z)
• A Bop and Beyond: A Second Order Optimizer for Binarized Neural Networks [0.0]
  Binary Neural Networks (BNNs) の最適化は、実数値の重みをバイナライズ表現で近似することに依存している。 本稿では,第2の生モーメント推定を用いて第1の生モーメントを正規化し,しきい値との比較を行うアダム法と並行する手法を提案する。 提案した2つのバージョン – バイアス付きバージョンとバイアス修正バージョン – をそれぞれ独自のアプリケーションで提示する。
  論文  参考訳（メタデータ） (2021-04-11T22:20:09Z)
• Exploiting Adam-like Optimization Algorithms to Improve the Performance of Convolutional Neural Networks [82.61182037130405]
  勾配降下(SGD)は深いネットワークを訓練するための主要なアプローチです。 本研究では,現在と過去の勾配の違いに基づいて,Adamに基づく変分を比較する。 resnet50を勾配降下訓練したネットワークのアンサンブルと融合実験を行った。
  論文  参考訳（メタデータ） (2021-03-26T18:55:08Z)
• PEP: Parameter Ensembling by Perturbation [13.221295194854642]
  摂動(PEP)は、トレーニングから設定された最適パラメータのランダム摂動としてパラメータ値のアンサンブルを構成する。 PEPは性能を少し改善し、場合によっては経験的キャリブレーションを大幅に改善する。 PEPは、トレーニング中に発生したオーバーフィッティングのレベルを調査するために使用することができる。
  論文  参考訳（メタデータ） (2020-10-24T00:16:03Z)
• Predictive Coding Approximates Backprop along Arbitrary Computation Graphs [68.8204255655161]
  我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。 私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-07T15:35:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。