論文の概要: Predictive Coding beyond Gaussian Distributions

• arxiv url: http://arxiv.org/abs/2211.03481v1
• Date: Mon, 7 Nov 2022 12:02:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-08 15:17:05.271953
• Title: Predictive Coding beyond Gaussian Distributions
• Title（参考訳）: ガウス分布を超えた予測符号化
• Authors: Luca Pinchetti, Tommaso Salvatori, Yordan Yordanov, Beren Millidge, Yuhang Song, Thomas Lukasiewicz
• Abstract要約: 予測符号化(英: Predictive coding, PC)は、階層型ガウス生成モデルに基づく推論を行う神経科学に着想を得た手法である。 これらの手法は、複雑な層やアクティベーション関数のダイナミクスを複製できないため、現代のニューラルネットワークに従わない。 提案手法は,条件付き言語モデルにおいて,トランスフォーマネットワークをトレーニングし,BPに匹敵する性能を実現する。
• 参考スコア（独自算出の注目度）: 38.51699576854394
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A large amount of recent research has the far-reaching goal of finding training methods for deep neural networks that can serve as alternatives to backpropagation (BP). A prominent example is predictive coding (PC), which is a neuroscience-inspired method that performs inference on hierarchical Gaussian generative models. These methods, however, fail to keep up with modern neural networks, as they are unable to replicate the dynamics of complex layers and activation functions. In this work, we solve this problem by generalizing PC to arbitrary probability distributions, enabling the training of architectures, such as transformers, that are hard to approximate with only Gaussian assumptions. We perform three experimental analyses. First, we study the gap between our method and the standard formulation of PC on multiple toy examples. Second, we test the reconstruction quality on variational autoencoders, where our method reaches the same reconstruction quality as BP. Third, we show that our method allows us to train transformer networks and achieve a performance comparable with BP on conditional language models. More broadly, this method allows neuroscience-inspired learning to be applied to multiple domains, since the internal distributions can be flexibly adapted to the data, tasks, and architectures used.
• Abstract（参考訳）: 最近の多くの研究は、バックプロパゲーション(BP)の代替として機能するディープニューラルネットワークのトレーニング方法を見つけるという、はるかに大きな目標を持っている。 有名な例は予測符号化 (pc) であり、階層的ガウス生成モデル上で推論を行う神経科学に触発された手法である。 しかしこれらの手法は、複雑な層やアクティベーション関数のダイナミクスを再現できないため、現代のニューラルネットワークに追いつこうとしない。 本研究では,PCを任意の確率分布に一般化し,ガウス的仮定にのみ近似し難いトランスフォーマーなどのアーキテクチャのトレーニングを可能にすることで,この問題を解決する。 我々は3つの実験分析を行う。 まず,本手法とPCの標準定式化のギャップを,複数の玩具の例で検討する。 第2に,提案手法がBPと同じ再現品質に達するような変分オートエンコーダの再構成品質をテストする。 第3に, 条件付き言語モデルにおいて, トランスフォーマネットワークをトレーニングし, BPに匹敵する性能を実現できることを示す。 より広範に、この方法は、内部分布が使用されるデータ、タスク、アーキテクチャに柔軟に適応できるため、神経科学にインスパイアされた学習を複数の領域に適用することができる。

関連論文リスト

• Predictive Coding Networks and Inference Learning: Tutorial and Survey [0.7510165488300368]
  予測符号化ネットワーク(PCN)は、予測符号化の神経科学的な枠組みに基づいている。 バックプロパゲーション(BP)で訓練された従来のニューラルネットワークとは異なり、PCNは推論学習(IL)を利用する。 本質的に確率的(グラフィック的)潜在変数モデルとして、PCNは教師付き学習と教師なし(生成的)モデリングの両方に汎用的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-07-04T18:39:20Z)
• Transformers as Statisticians: Provable In-Context Learning with In-Context Algorithm Selection [88.23337313766353]
  この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。 コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。 エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
  論文  参考訳（メタデータ） (2023-06-07T17:59:31Z)
• Quantum-Aided Meta-Learning for Bayesian Binary Neural Networks via Born Machines [38.467834562966594]
  本稿では,バイナリベイズニューラルネットワークの学習におけるBornマシンの利用について検討する。 ボルンマシンは、ニューラルネットワークの2重みの変動分布をモデル化するために使用される。 本手法は,ボルンマシンによる勾配に基づくメタラーニングと変分推論を組み合わせ,従来の共同学習戦略より優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-31T15:09:04Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Analytically Tractable Bayesian Deep Q-Learning [0.0]
  我々は時間差Q-ラーニングフレームワークを適応させ、抽出可能な近似ガウス推論(TAGI)と互換性を持たせる。 我々は,TAGIがバックプロパゲーション学習ネットワークに匹敵する性能に到達できることを実証した。
  論文  参考訳（メタデータ） (2021-06-21T13:11:52Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• The Gaussian equivalence of generative models for learning with shallow neural networks [30.47878306277163]
  本研究では,事前学習した生成モデルから得られたデータに基づいて学習したニューラルネットワークの性能について検討する。 この等価性を裏付ける厳密で解析的で数値的な証拠を3本提供します。 これらの結果は、現実的なデータを持つ機械学習モデルの理論研究への有効な道を開く。
  論文  参考訳（メタデータ） (2020-06-25T21:20:09Z)
• Predictive Coding Approximates Backprop along Arbitrary Computation Graphs [68.8204255655161]
  我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。 私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-07T15:35:47Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。