論文の概要: Incremental Predictive Coding: A Parallel and Fully Automatic Learning Algorithm

• arxiv url: http://arxiv.org/abs/2212.00720v1
• Date: Wed, 16 Nov 2022 00:11:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-04 14:27:12.594572
• Title: Incremental Predictive Coding: A Parallel and Fully Automatic Learning Algorithm
• Title（参考訳）: 漸進的予測符号化:並列かつ完全自動学習アルゴリズム
• Authors: Tommaso Salvatori, Yuhang Song, Beren Millidge, Zhenghua Xu, Lei Sha, Cornelius Emde, Rafal Bogacz, Thomas Lukasiewicz
• Abstract要約: 予測符号化のような神経科学にインスパイアされたモデルは、マシンインテリジェンスの将来において重要な役割を果たす可能性がある。 効率性の欠如などいくつかの制限があるため、産業用途ではまだ使われていない。 インクリメンタル予測符号化(iPC)を提案する。これはインクリメンタル予測アルゴリズムから派生したオリジナルのフレームワークのバリエーションである。
• 参考スコア（独自算出の注目度）: 48.48618620845519
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neuroscience-inspired models, such as predictive coding, have the potential to play an important role in the future of machine intelligence. However, they are not yet used in industrial applications due to some limitations, such as the lack of efficiency. In this work, we address this by proposing incremental predictive coding (iPC), a variation of the original framework derived from the incremental expectation maximization algorithm, where every operation can be performed in parallel without external control. We show both theoretically and empirically that iPC is much faster than the original algorithm originally developed by Rao and Ballard, while maintaining performance comparable to backpropagation in image classification tasks. This work impacts several areas, has general applications in computational neuroscience and machine learning, and specific applications in scenarios where automatization and parallelization are important, such as distributed computing and implementations of deep learning models on analog and neuromorphic chips.
• Abstract（参考訳）: 予測コーディングのような神経科学に触発されたモデルは、機械知能の将来において重要な役割を果たす可能性がある。 しかし、効率性の欠如などいくつかの制限があるため、産業用途ではまだ使われていない。 本稿では,インクリメンタル予測符号化(ipc)を提案する。これは,インクリメンタル期待最大化アルゴリズムから派生したフレームワークの変種であり,すべての操作を外部制御なしで並列に行うことができる。 画像分類タスクにおけるバックプロパゲーションに匹敵する性能を維持しつつ,元々raoとballardが開発したアルゴリズムよりもはるかに高速であることを示す。 この研究はいくつかの分野に影響を与え、計算神経科学や機械学習に一般的な応用があり、分散コンピューティングやアナログおよびニューロモルフィックチップ上のディープラーニングモデルの実装など、自動化と並列化が重要であるシナリオにおける特定の応用がある。

関連論文リスト

• Regularized Adaptive Momentum Dual Averaging with an Efficient Inexact Subproblem Solver for Training Structured Neural Network [9.48424754175943]
  本稿では、構造化ニューラルネットワークのトレーニングのための正規化適応モーメントデュアル平均化(RAMDA)を提案する。 定常収束点における正則化器によって誘導される理想構造が得られることを示す。 大規模コンピュータビジョン、言語モデリング、音声タスクの実験では、提案されたRAMDAは効率的であり、構造化ニューラルネットワークのトレーニングのための技術よりも一貫して優れていることが示されている。
  論文  参考訳（メタデータ） (2024-03-21T13:43:49Z)
• qecGPT: decoding Quantum Error-correcting Codes with Generative Pre-trained Transformers [5.392298820599664]
  生成モデルを用いて量子誤り訂正符号を復号するフレームワークを提案する。 自動回帰ニューラルネットワーク、特にトランスフォーマーを用いて、論理演算子とシンドロームの結合確率を学習する。 我々のフレームワークは汎用的であり、様々なトポロジを持つ任意のエラーモデルや量子コードに適用できる。
  論文  参考訳（メタデータ） (2023-07-18T07:34:02Z)
• Towards Theoretically Inspired Neural Initialization Optimization [66.04735385415427]
  我々は,ニューラルネットワークの初期状態を評価するための理論的知見を備えた,GradCosineという微分可能な量を提案する。 標準制約下でGradCosineを最大化することにより、ネットワークのトレーニングとテストの両方の性能を向上させることができることを示す。 サンプル分析から実際のバッチ設定に一般化されたNIOは、無視可能なコストで、より優れた初期化を自動で探すことができる。
  論文  参考訳（メタデータ） (2022-10-12T06:49:16Z)
• Robust Learning of Parsimonious Deep Neural Networks [0.0]
  本稿では,ニューラルネットワークにおける無関係構造を識別・排除できる同時学習および刈り取りアルゴリズムを提案する。 最適選択に欠かせないパラメータに対して,新しい超優先度分布を導出する。 我々は,提案アルゴリズムをMNISTデータセット上で評価し,完全連結型および畳み込み型LeNetアーキテクチャを用いた。
  論文  参考訳（メタデータ） (2022-05-10T03:38:55Z)
• Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
  Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。 計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。 また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-23T06:24:31Z)
• LCS: Learning Compressible Subspaces for Adaptive Network Compression at Inference Time [57.52251547365967]
  本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。 構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。 我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
  論文  参考訳（メタデータ） (2021-10-08T17:03:34Z)
• Convolutional Sparse Coding Fast Approximation with Application to Seismic Reflectivity Estimation [9.005280130480308]
  2～5回の反復で畳み込みスパース符号の良好な近似を生成する古典的反復しきい値アルゴリズムの高速化版を提案する。 提案手法の性能は, 合成シナリオと実データシナリオの両方において, 地震インバージョン問題によって実証される。
  論文  参考訳（メタデータ） (2021-06-29T12:19:07Z)
• Predictive Coding Approximates Backprop along Arbitrary Computation Graphs [68.8204255655161]
  我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。 私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-07T15:35:47Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。