論文の概要: JPC: Flexible Inference for Predictive Coding Networks in JAX

• arxiv url: http://arxiv.org/abs/2412.03676v1
• Date: Wed, 04 Dec 2024 19:15:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:43:03.836174
• Title: JPC: Flexible Inference for Predictive Coding Networks in JAX
• Title（参考訳）: JPC:JAXにおける予測型コーディングネットワークの柔軟な推論
• Authors: Francesco Innocenti, Paul Kinghorn, Will Yun-Farmbrough, Miguel De Llanza Varona, Ryan Singh, Christopher L. Buckley,
• Abstract要約: 予測符号化を用いてニューラルネットワークをトレーニングするためのJAXライブラリであるJPCを紹介する。 JPCは、識別、生成、ハイブリッドモデルを含む様々なPCネットワーク(PCN)をトレーニングするための、シンプルで高速で柔軟なインターフェースを提供する。
• 参考スコア（独自算出の注目度）: 0.769672852567215
• License:
• Abstract: We introduce JPC, a JAX library for training neural networks with Predictive Coding. JPC provides a simple, fast and flexible interface to train a variety of PC networks (PCNs) including discriminative, generative and hybrid models. Unlike existing libraries, JPC leverages ordinary differential equation solvers to integrate the gradient flow inference dynamics of PCNs. We find that a second-order solver achieves significantly faster runtimes compared to standard Euler integration, with comparable performance on a range of tasks and network depths. JPC also provides some theoretical tools that can be used to study PCNs. We hope that JPC will facilitate future research of PC. The code is available at https://github.com/thebuckleylab/jpc.
• Abstract（参考訳）: 予測符号化を用いてニューラルネットワークをトレーニングするためのJAXライブラリであるJPCを紹介する。 JPCは、識別、生成、ハイブリッドモデルを含む様々なPCネットワーク(PCN)をトレーニングするための、シンプルで高速で柔軟なインターフェースを提供する。 既存のライブラリとは異なり、JPCは通常の微分方程式解法を利用してPCNの勾配流推論ダイナミクスを統合する。 2階解決器は、標準的なEuler統合よりもはるかに高速な実行を実現し、タスクやネットワーク深度に匹敵するパフォーマンスを実現している。 JPCはまた、PCNの研究に使用できる理論的なツールを提供している。 JPCが今後のPC研究を促進することを願っている。 コードはhttps://github.com/thebuckleylab/jpc.comで公開されている。

関連論文リスト

• Benchmarking Predictive Coding Networks -- Made Simple [48.652114040426625]
  機械学習における予測符号化ネットワーク(PCN)の効率性とスケーラビリティの問題に取り組む。 そこで我々は,PCXと呼ばれる,パフォーマンスと簡易性を重視したライブラリを提案する。 我々は,PCNの既存アルゴリズムと,生物工学的な深層学習コミュニティで普及している他の手法を併用して,このようなベンチマークを広範囲に実施する。
  論文  参考訳（メタデータ） (2024-07-01T10:33:44Z)
• Scaling Tractable Probabilistic Circuits: A Systems Perspective [36.528534612003504]
  PyJuiceは、いくつかの点で先行技術を改善するPCの一般的な実装設計である。 大規模PCのトレーニングでは、既存のシステムよりも1～2桁高速である。 PyJuiceは2～5倍のメモリを消費するので、より大きなモデルをトレーニングすることができます。
  論文  参考訳（メタデータ） (2024-06-02T14:57:00Z)
• JaxMARL: Multi-Agent RL Environments and Algorithms in JAX [105.343918678781]
  我々は、GPU対応の効率と多くの一般的なMARL環境のサポートを組み合わせた、最初のオープンソースPythonベースのライブラリであるJaxMARLを紹介します。 我々の実験は、壁時計時間の観点から、JAXベースのトレーニングパイプラインが既存のアプローチの約14倍高速であることを示している。 また、人気の高いStarCraft Multi-Agent ChallengeのJAXベースの近似的な再実装であるSMAXを紹介し、ベンチマークする。
  論文  参考訳（メタデータ） (2023-11-16T18:58:43Z)
• Harnessing Deep Learning and HPC Kernels via High-Level Loop and Tensor Abstractions on CPU Architectures [67.47328776279204]
  この研究は、効率的でポータブルなDeep LearningとHigh Performance Computingカーネルを開発するためのフレームワークを導入している。 1)プロセッシングプリミティブ(TPP)を用いた計算コアの表現と,2)高レベルな宣言的手法でTPPのまわりの論理ループの表現の2つのステップでカーネルの開発を分解する。 我々は、スタンドアロンカーネルと、さまざまなCPUプラットフォームにおける最先端実装よりも優れたエンドツーエンドワークロードを使用して、このアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-04-25T05:04:44Z)
• Partitioning Distributed Compute Jobs with Reinforcement Learning and Graph Neural Networks [58.720142291102135]
  大規模な機械学習モデルは、幅広い分野に進歩をもたらしている。 これらのモデルの多くは、単一のマシンでトレーニングするには大きすぎるため、複数のデバイスに分散する必要がある。 スループットやブロッキングレートといったユーザクリティカルな指標に対して,並列化の最大化が準最適であることを示す。
  論文  参考訳（メタデータ） (2023-01-31T17:41:07Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Podracer architectures for scalable Reinforcement Learning [23.369001500657028]
  強化学習(RL)エージェントを大規模に訓練する方法はまだ活発な研究分野である。 このレポートでは、TPUはスケーラブルで効率的で再現性の高い方法でRLエージェントをトレーニングするのに特に適しています。
  論文  参考訳（メタデータ） (2021-04-13T15:05:35Z)
• Benchmarking network fabrics for data distributed training of deep neural networks [10.067102343753643]
  深層モデルの訓練のための大規模な計算要求は、より高速な訓練のための新しい方法の開発を必要としている。 このようなアプローチのひとつに、トレーニングデータを複数の計算ノードに分散する、データ並列アプローチがある。 本稿では,物理ハードウェアの相互接続とネットワーク関連ソフトウェアプリミティブを用いてデータ分散ディープラーニングを実現する効果について検討する。
  論文  参考訳（メタデータ） (2020-08-18T17:38:30Z)
• Einsum Networks: Fast and Scalable Learning of Tractable Probabilistic Circuits [99.59941892183454]
  我々は,PC用の新しい実装設計であるEinsum Networks (EiNets)を提案する。 中心となるのは、E EiNets は単一のモノリシックな einsum-operation に多数の算術演算を組み合わせている。 本稿では,PCにおける予測最大化(EM)の実装を,自動微分を利用した簡易化が可能であることを示す。
  論文  参考訳（メタデータ） (2020-04-13T23:09:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。