論文の概要: Meta-Representational Predictive Coding: Biomimetic Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2503.21796v1
• Date: Sat, 22 Mar 2025 22:13:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-31 19:09:59.380262
• Title: Meta-Representational Predictive Coding: Biomimetic Self-Supervised Learning
• Title（参考訳）: メタ表現予測符号化:バイオミメティック・セルフスーパーバイザラーニング
• Authors: Alexander Ororbia, Karl Friston, Rajesh P. N. Rao,
• Abstract要約: メタ表現予測符号化(MPC)と呼ばれる新しい予測符号化方式を提案する。 MPCは、並列ストリームにまたがる感覚入力の表現を予測することを学ぶことによって、感覚入力の生成モデルを学ぶ必要性を助長する。
• 参考スコア（独自算出の注目度）: 51.22185316175418
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised learning has become an increasingly important paradigm in the domain of machine intelligence. Furthermore, evidence for self-supervised adaptation, such as contrastive formulations, has emerged in recent computational neuroscience and brain-inspired research. Nevertheless, current work on self-supervised learning relies on biologically implausible credit assignment -- in the form of backpropagation of errors -- and feedforward inference, typically a forward-locked pass. Predictive coding, in its mechanistic form, offers a biologically plausible means to sidestep these backprop-specific limitations. However, unsupervised predictive coding rests on learning a generative model of raw pixel input (akin to ``generative AI'' approaches), which entails predicting a potentially high dimensional input; on the other hand, supervised predictive coding, which learns a mapping between inputs to target labels, requires human annotation, and thus incurs the drawbacks of supervised learning. In this work, we present a scheme for self-supervised learning within a neurobiologically plausible framework that appeals to the free energy principle, constructing a new form of predictive coding that we call meta-representational predictive coding (MPC). MPC sidesteps the need for learning a generative model of sensory input (e.g., pixel-level features) by learning to predict representations of sensory input across parallel streams, resulting in an encoder-only learning and inference scheme. This formulation rests on active inference (in the form of sensory glimpsing) to drive the learning of representations, i.e., the representational dynamics are driven by sequences of decisions made by the model to sample informative portions of its sensorium.
• Abstract（参考訳）: 自己教師型学習は、マシンインテリジェンス分野において、ますます重要なパラダイムになりつつある。 さらに、対照的な定式化のような自己監督的適応の証拠は、近年の計算神経科学や脳に触発された研究に現れている。 それにもかかわらず、現在の自己教師型学習の研究は、生物学的に証明不可能な信用代入(エラーのバックプロパゲーションの形で)とフィードフォワード推論(通常フォワードロックされたパス)に依存している。 予測的符号化は、その機械的形態で、これらのバックプロップ固有の制限をサイドステップする生物学的に妥当な手段を提供する。 しかし、教師なし予測符号化は、潜在的に高次元入力の予測を必要とする生画素入力の生成モデル( ``generative AI' のアプローチによる)の学習に依存し、一方で、ターゲットラベルへの入力間のマッピングを学習する教師付き予測符号化は、人間のアノテーションを必要とするため、教師付き学習の欠点を生じさせる。 本研究では,メタ表現型予測符号化(MPC)と呼ばれる新しい予測符号化形式を構築し,自由エネルギーの原理に訴える神経生物学的に妥当な枠組み内での自己教師型学習手法を提案する。 MPCは、並列ストリームにまたがる感覚入力の表現を学習することで、知覚入力の生成モデル(例えばピクセルレベルの特徴)を学ぶ必要性を助長し、エンコーダのみの学習と推論スキームをもたらす。 この定式化は、表現の学習を促進するために(感覚グリンプシングの形で)活発な推論(つまり、表現力学は、モデルによって決定された一連の決定によって駆動され、感覚の情報的部分をサンプリングする。

関連論文リスト

• Predictive Attractor Models [9.947717243638289]
  生成特性が望ましい新しいシーケンスメモリアーキテクチャであるtextitPredictive Attractor Models (PAM) を提案する。 PAMは、皮質小柱の側方抑制を通じて、過去の文脈を一意に表現することで破滅的な忘れを避ける。 PAMは, 生物学的に妥当な枠組みで, ヘビアン可塑性規則による局所計算で訓練されていることを示す。
  論文  参考訳（メタデータ） (2024-10-03T12:25:01Z)
• Developing hierarchical anticipations via neural network-based event segmentation [14.059479351946386]
  我々は、自律的に学習された潜在イベントコードによる階層的予測の開発をモデル化する。 本稿では,学習バイアスが緩やかに変化する潜在状態の発達を促進する階層的再帰型ニューラルネットワークアーキテクチャを提案する。 より高いレベルのネットワークは、潜伏状態が変化しがちな状況を予測することを学ぶ。
  論文  参考訳（メタデータ） (2022-06-04T18:54:31Z)
• Learning Theory of Mind via Dynamic Traits Attribution [59.9781556714202]
  本稿では,過去のトラジェクトリからアクターの潜在特性ベクトルを生成するニューラルToMアーキテクチャを提案する。 この特性ベクトルは、予測ニューラルネットワークの高速重み付けスキームを介して予測機構を乗法的に変調する。 実験により,高速重量はエージェントの特性をモデル化し,マインドリーディング能力を向上させるために優れた誘導バイアスを与えることが示された。
  論文  参考訳（メタデータ） (2022-04-17T11:21:18Z)
• Hybrid Predictive Coding: Inferring, Fast and Slow [62.997667081978825]
  本稿では,反復型と償却型の両方を原則的に組み合わせたハイブリッド予測符号化ネットワークを提案する。 我々は,本モデルが本質的に不確実性に敏感であり,最小計算費用を用いて正確な信念を得るためにバランスを適応的にバランスさせることを実証した。
  論文  参考訳（メタデータ） (2022-04-05T12:52:45Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Backprop-Free Reinforcement Learning with Active Neural Generative Coding [84.11376568625353]
  動的環境におけるエラー(バックプロップ)のバックプロパゲーションを伴わない行動駆動型生成モデルの学習のための計算フレームワークを提案する。 我々は、まばらな報酬でも機能するインテリジェントエージェントを開発し、推論として計画の認知理論からインスピレーションを得ている。 我々のエージェントの堅牢な性能は、神経推論と学習のためのバックプロップフリーアプローチがゴール指向の行動を促進するという有望な証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-10T19:02:27Z)
• Relaxing the Constraints on Predictive Coding Models [62.997667081978825]
  予測符号化(英: Predictive coding)は、脳が行う主計算が予測誤差の最小化であるとする皮質機能の影響力のある理論である。 アルゴリズムの標準的な実装は、同じ前方と後方の重み、後方の非線形微分、1-1エラーユニット接続といった、潜在的に神経的に予測できない特徴を含んでいる。 本稿では,これらの特徴はアルゴリズムに不可欠なものではなく,Hebbianの更新ルールを用いてパラメータセットを直接あるいは学習することで,学習性能に悪影響を及ぼすことなく除去可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-02T15:21:37Z)
• Hierarchical Predictive Coding Models in a Deep-Learning Framework [1.370633147306388]
  予測符号化の最もよく知られたモデルをいくつかレビューする。 また、これらのモデルをディープラーニングフレームワークに組み込もうとする最近の試みについても調査する。
  論文  参考訳（メタデータ） (2020-05-07T03:39:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。