論文の概要: pyhgf: A neural network library for predictive coding

• arxiv url: http://arxiv.org/abs/2410.09206v1
• Date: Fri, 11 Oct 2024 19:21:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 15:43:17.631647
• Title: pyhgf: A neural network library for predictive coding
• Title（参考訳）: pyhgf:予測コーディングのためのニューラルネットワークライブラリ
• Authors: Nicolas Legrand, Lilian Weber, Peter Thestrup Waade, Anna Hedvig Møller Daugaard, Mojtaba Khodadadi, Nace Mikuš, Chris Mathys,
• Abstract要約: texttpyhgfは、予測コーディングのための動的ネットワークの作成、操作、サンプリングのためのPythonパッケージである。 ネットワークコンポーネントを透過的でモジュール的で、拡張可能な変数としてメッセージパッシングステップに囲み込むことで、他のフレームワークよりも改善します。 コア変数の透明性は、自己組織化の原則を活用する推論プロセスにも変換できる。
• 参考スコア（独自算出の注目度）: 0.2150989251218736
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian models of cognition have gained considerable traction in computational neuroscience and psychiatry. Their scopes are now expected to expand rapidly to artificial intelligence, providing general inference frameworks to support embodied, adaptable, and energy-efficient autonomous agents. A central theory in this domain is predictive coding, which posits that learning and behaviour are driven by hierarchical probabilistic inferences about the causes of sensory inputs. Biological realism constrains these networks to rely on simple local computations in the form of precision-weighted predictions and prediction errors. This can make this framework highly efficient, but its implementation comes with unique challenges on the software development side. Embedding such models in standard neural network libraries often becomes limiting, as these libraries' compilation and differentiation backends can force a conceptual separation between optimization algorithms and the systems being optimized. This critically departs from other biological principles such as self-monitoring, self-organisation, cellular growth and functional plasticity. In this paper, we introduce \texttt{pyhgf}: a Python package backed by JAX and Rust for creating, manipulating and sampling dynamic networks for predictive coding. We improve over other frameworks by enclosing the network components as transparent, modular and malleable variables in the message-passing steps. The resulting graphs can implement arbitrary computational complexities as beliefs propagation. But the transparency of core variables can also translate into inference processes that leverage self-organisation principles, and express structure learning, meta-learning or causal discovery as the consequence of network structural adaptation to surprising inputs. The code, tutorials and documentation are hosted at: https://github.com/ilabcode/pyhgf.
• Abstract（参考訳）: ベイズ的認知モデルは、計算神経科学と精神医学において大きな牽引力を得ている。 彼らのスコープは人工知能に急速に拡張され、具体化され、適応可能でエネルギー効率の良い自律エージェントをサポートする一般的な推論フレームワークが提供される。 この領域の中心的な理論は予測符号化(英語版)であり、学習と行動は感覚入力の原因に関する階層的確率論的推論によって駆動されることを示唆している。 生物学的リアリズムは、これらのネットワークが精度重み付き予測と予測誤差という形で単純な局所計算に依存することを制約している。 これはこのフレームワークを非常に効率的にしますが、その実装にはソフトウェア開発側でユニークな課題があります。 標準的なニューラルネットワークライブラリにそのようなモデルを組み込むことは、これらのライブラリのコンパイルと差別化バックエンドが最適化アルゴリズムと最適化されるシステムの概念的な分離を迫られるため、しばしば制限される。 これは、自己監視、自己組織化、細胞成長、機能的可塑性など、他の生物学的原理とは著しく離れている。 本稿では,JAX と Rust が支援する Python パッケージである \texttt{pyhgf} を紹介し,予測符号化のための動的ネットワークの作成,操作,サンプリングを行う。 ネットワークコンポーネントを透過的でモジュール的で、拡張可能な変数としてメッセージパッシングステップに囲み込むことで、他のフレームワークよりも改善します。 結果として得られるグラフは、信念の伝播として任意の計算複雑性を実装することができる。 しかし、コア変数の透明性は、自己組織化原則を活用する推論プロセスに変換することもでき、予期せぬ入力へのネットワーク構造適応の結果、構造学習、メタラーニング、因果発見を表現することができる。 コード、チュートリアル、ドキュメントは、https://github.com/ilabcode/pyhgf.comでホストされている。

関連論文リスト

• Predictive Coding Networks and Inference Learning: Tutorial and Survey [0.7510165488300368]
  予測符号化ネットワーク(PCN)は、予測符号化の神経科学的な枠組みに基づいている。 バックプロパゲーション(BP)で訓練された従来のニューラルネットワークとは異なり、PCNは推論学習(IL)を利用する。 本質的に確率的(グラフィック的)潜在変数モデルとして、PCNは教師付き学習と教師なし(生成的)モデリングの両方に汎用的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-07-04T18:39:20Z)
• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Semantic Loss Functions for Neuro-Symbolic Structured Prediction [74.18322585177832]
  このような構造に関する知識を象徴的に定義した意味的損失をトレーニングに注入する。 記号の配置に非依存であり、それによって表現される意味論にのみ依存する。 識別型ニューラルモデルと生成型ニューラルモデルの両方と組み合わせることができる。
  論文  参考訳（メタデータ） (2024-05-12T22:18:25Z)
• Nondeterministic Stacks in Neural Networks [0.456877715768796]
  我々は、非決定論的プッシュダウンオートマトンを効率的にシミュレートする微分可能なデータ構造を開発する。 これにより、任意の文脈自由言語に対する形式的認識能力が向上することを示す。 また,非決定論的スタックを付加したRNNでは,驚くほど強力な動作が可能であることを示す。
  論文  参考訳（メタデータ） (2023-04-25T16:00:40Z)
• PDSketch: Integrated Planning Domain Programming and Learning [86.07442931141637]
  我々は PDSketch という新しいドメイン定義言語を提案する。 これにより、ユーザーはトランジションモデルで柔軟にハイレベルな構造を定義できる。 移行モデルの詳細は、トレーニング可能なニューラルネットワークによって満たされる。
  論文  参考訳（メタデータ） (2023-03-09T18:54:12Z)
• Neuro-Symbolic Artificial Intelligence (AI) for Intent based Semantic Communication [85.06664206117088]
  6Gネットワークはデータ転送のセマンティクスと有効性(エンドユーザ)を考慮する必要がある。 観測データの背後にある因果構造を学習するための柱としてNeSy AIが提案されている。 GFlowNetは、無線システムにおいて初めて活用され、データを生成する確率構造を学ぶ。
  論文  参考訳（メタデータ） (2022-05-22T07:11:57Z)
• Inducing Gaussian Process Networks [80.40892394020797]
  本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
  論文  参考訳（メタデータ） (2022-04-21T05:27:09Z)
• Predictive Coding: Towards a Future of Deep Learning beyond Backpropagation? [41.58529335439799]
  ディープニューラルネットワークのトレーニングに使用されるエラーアルゴリズムのバックプロパゲーションは、ディープラーニングの成功に不可欠である。 最近の研究は、このアイデアを、局所的な計算だけでニューラルネットワークを訓練できる汎用アルゴリズムへと発展させた。 等価ディープニューラルネットワークに対する予測符号化ネットワークの柔軟性が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-02-18T22:57:03Z)
• AI without networks [0.0]
  我々は、生成モデリングを取り入れたAIのためのネットワークフリーフレームワークを開発する。 我々は、この枠組みを、民族学、制御理論、数学の3つの異なる分野の例で示す。 また、生成AIによる倫理的法的課題に対処するために、この枠組みに基づいて容易に計算された信用割当手法を提案する。
  論文  参考訳（メタデータ） (2021-06-07T05:50:02Z)
• Predictive Coding Approximates Backprop along Arbitrary Computation Graphs [68.8204255655161]
  我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。 私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-07T15:35:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。