論文の概要: PredProp: Bidirectional Stochastic Optimization with Precision Weighted
Predictive Coding
- arxiv url: http://arxiv.org/abs/2111.08792v1
- Date: Tue, 16 Nov 2021 21:43:15 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-19 01:21:46.247345
- Title: PredProp: Bidirectional Stochastic Optimization with Precision Weighted
Predictive Coding
- Title（参考訳）: PredProp: 精度重み付き予測符号化による双方向確率最適化
- Authors: Andr\'e Ofner and Sebastian Stober
- Abstract要約: DNNネットワークにおける重み、活動、精度を最適化するPredPropを提案する。
PredPropでトレーニングされたネットワークは、近隣のアクティビティ変数間の重みの数が1である場合、勾配に基づく予測符号化に類似していることが示される。
また、PredPropは低量のデータから不整合埋め込みを学習できる変分推論形式を実装していることも示している。
- 参考スコア（独自算出の注目度）: 2.868176771215219
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present PredProp, a method for bidirectional, parallel and local
optimisation of weights, activities and precision in neural networks. PredProp
jointly addresses inference and learning, scales learning rates dynamically and
weights gradients by the curvature of the loss function by optimizing
prediction error precision. PredProp optimizes network parameters with
Stochastic Gradient Descent and error forward propagation based strictly on
prediction errors and variables locally available to each layer. Neighboring
layers optimise shared activity variables so that prediction errors can
propagate forward in the network, while predictions propagate backwards. This
process minimises the negative Free Energy, or evidence lower bound of the
entire network. We show that networks trained with PredProp resemble gradient
based predictive coding when the number of weights between neighboring activity
variables is one. In contrast to related work, PredProp generalizes towards
backward connections of arbitrary depth and optimizes precision for any deep
network architecture. Due to the analogy between prediction error precision and
the Fisher information for each layer, PredProp implements a form of Natural
Gradient Descent. When optimizing DNN models, layer-wise PredProp renders the
model a bidirectional predictive coding network. Alternatively DNNs can
parameterize the weights between two activity variables. We evaluate PredProp
for dense DNNs on simple inference, learning and combined tasks. We show that,
without an explicit sampling step in the network, PredProp implements a form of
variational inference that allows to learn disentangled embeddings from low
amounts of data and leave evaluation on more complex tasks and datasets to
future work.
- Abstract（参考訳）: ニューラルネットワークにおける重み・活動・精度の双方向・並列・局所最適化手法であるPredPropを提案する。
PredPropは推論と学習を共同で処理し、学習率を動的にスケールし、予測誤差の精度を最適化することで損失関数の曲率による勾配を重み付けする。
PredPropは、Stochastic Gradient Descentによるネットワークパラメータの最適化と、各レイヤでローカルに利用可能な予測エラーと変数に基づいたエラーフォワードの伝播を行う。
隣接層は共有アクティビティ変数を最適化し、予測エラーがネットワーク内で進行し、予測が後方に伝播できるようにします。
このプロセスは負のフリーエネルギーを最小化し、ネットワーク全体の限界を低くする。
predpropでトレーニングされたネットワークは、隣接するアクティビティ変数間の重み数が1である場合の勾配に基づく予測符号化に似ている。
関連する作業とは対照的に、PredPropは任意の深さの後方接続を一般化し、ディープネットワークアーキテクチャの精度を最適化する。
予測誤差の精度と各層のフィッシャー情報との類似性から、PredPropは自然なグラディエントDescentの形式を実装している。
dnnモデルを最適化する場合、レイヤワイズプレドプロップはモデルを双方向予測符号化ネットワークとしてレンダリングする。
あるいは、DNNは2つのアクティビティ変数間の重みをパラメータ化できる。
単純な推論,学習,複合タスクに基づく高密度DNNに対するPredPropの評価を行った。
ネットワーク内の明示的なサンプリングステップなしに、predpropは、低量のデータから絡み合った埋め込みを学習し、より複雑なタスクやデータセットの評価を将来の作業に残すための、変分推論の形式を実装している。
関連論文リスト
- PropNEAT -- Efficient GPU-Compatible Backpropagation over NeuroEvolutionary Augmenting Topology Networks [1.9424018922013226]
PropNEAT は NEAT の高速なバックプロパゲーション実装であり、ゲノムグラフから層ベースのアーキテクチャへの双方向マッピングを利用する。
我々はPenn Machine Learning Benchmarksデータベースから58のバイナリ分類データセット上でPropNEATをテストする。
論文 参考訳（メタデータ） (2024-11-06T07:44:14Z) - Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。
本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。
提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
論文 参考訳（メタデータ） (2024-06-04T20:33:22Z) - PPI++: Efficient Prediction-Powered Inference [31.403415618169433]
PPI++: 小さなラベル付きデータセットと、通常より大きな機械学習予測データセットに基づく推定と推測の方法論を提案する。
これらの手法は、利用可能な予測の品質に自動的に適応し、容易に計算可能な信頼セットを得る。
PPI++は予測駆動推論(PPI)に基づいており、同じ問題設定をターゲットとし、計算効率と統計効率を改善している。
論文 参考訳（メタデータ） (2023-11-02T17:59:04Z) - Neural Gradient Learning and Optimization for Oriented Point Normal
Estimation [53.611206368815125]
本研究では,3次元点雲から勾配ベクトルを一貫した向きで学習し,正規推定を行うためのディープラーニング手法を提案する。
局所平面幾何に基づいて角距離場を学習し、粗勾配ベクトルを洗練する。
本手法は,局所特徴記述の精度と能力の一般化を図りながら,グローバル勾配近似を効率的に行う。
論文 参考訳（メタデータ） (2023-09-17T08:35:11Z) - Efficient and Differentiable Conformal Prediction with General Function
Classes [96.74055810115456]
本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。
本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。
実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
論文 参考訳（メタデータ） (2022-02-22T18:37:23Z) - Curvature Injected Adaptive Momentum Optimizer for Convolutional Neural
Networks [21.205976369691765]
本稿では、降下勾配に対するAdaInjectと呼ばれる新しいアプローチを提案する。
曲率情報は、更新ルールの2次モーメントを注入するウェイトとして使用される。
AdaInjectアプローチは、曲率情報を活用することにより、パラメータの更新を促進する。
論文 参考訳（メタデータ） (2021-09-26T06:24:14Z) - Why Approximate Matrix Square Root Outperforms Accurate SVD in Global
Covariance Pooling? [59.820507600960745]
本稿では,前方通過のSVDと後方伝播のPad'e近似を用いて勾配を計算する新しいGCPメタ層を提案する。
提案するメタレイヤは,さまざまなCNNモデルに統合され,大規模および微細なデータセット上で最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2021-05-06T08:03:45Z) - A Bop and Beyond: A Second Order Optimizer for Binarized Neural Networks [0.0]
Binary Neural Networks (BNNs) の最適化は、実数値の重みをバイナライズ表現で近似することに依存している。
本稿では,第2の生モーメント推定を用いて第1の生モーメントを正規化し,しきい値との比較を行うアダム法と並行する手法を提案する。
提案した2つのバージョン – バイアス付きバージョンとバイアス修正バージョン – をそれぞれ独自のアプリケーションで提示する。
論文 参考訳（メタデータ） (2021-04-11T22:20:09Z) - Exploiting Adam-like Optimization Algorithms to Improve the Performance
of Convolutional Neural Networks [82.61182037130405]
勾配降下(SGD)は深いネットワークを訓練するための主要なアプローチです。
本研究では,現在と過去の勾配の違いに基づいて,Adamに基づく変分を比較する。
resnet50を勾配降下訓練したネットワークのアンサンブルと融合実験を行った。
論文 参考訳（メタデータ） (2021-03-26T18:55:08Z) - PEP: Parameter Ensembling by Perturbation [13.221295194854642]
摂動(PEP)は、トレーニングから設定された最適パラメータのランダム摂動としてパラメータ値のアンサンブルを構成する。
PEPは性能を少し改善し、場合によっては経験的キャリブレーションを大幅に改善する。
PEPは、トレーニング中に発生したオーバーフィッティングのレベルを調査するために使用することができる。
論文 参考訳（メタデータ） (2020-10-24T00:16:03Z) - Predictive Coding Approximates Backprop along Arbitrary Computation
Graphs [68.8204255655161]
我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。
私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。
本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
論文 参考訳（メタデータ） (2020-06-07T15:35:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。