論文の概要: Benchmarking Predictive Coding Networks -- Made Simple

• arxiv url: http://arxiv.org/abs/2407.01163v2
• Date: Fri, 14 Feb 2025 08:38:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-17 14:46:21.191127
• Title: Benchmarking Predictive Coding Networks -- Made Simple
• Title（参考訳）: 予測的コーディングネットワークのベンチマーク - シンプルに
• Authors: Luca Pinchetti, Chang Qi, Oleh Lokshyn, Gaspard Olivers, Cornelius Emde, Mufeng Tang, Amine M'Charrak, Simon Frieder, Bayar Menzat, Rafal Bogacz, Thomas Lukasiewicz, Tommaso Salvatori,
• Abstract要約: 機械学習における予測符号化ネットワーク(PCN)の効率性とスケーラビリティの問題に取り組む。 そこで我々は,PCXと呼ばれる,パフォーマンスと簡易性を重視したライブラリを提案する。 我々は,PCNの既存アルゴリズムと,生物工学的な深層学習コミュニティで普及している他の手法を併用して,このようなベンチマークを広範囲に実施する。
• 参考スコア（独自算出の注目度）: 48.652114040426625
• License:
• Abstract: In this work, we tackle the problems of efficiency and scalability for predictive coding networks (PCNs) in machine learning. To do so, we propose a library, called PCX, that focuses on performance and simplicity, and use it to implement a large set of standard benchmarks for the community to use for their experiments. As most works in the field propose their own tasks and architectures, do not compare one against each other, and focus on small-scale tasks, a simple and fast open-source library and a comprehensive set of benchmarks would address all these concerns. Then, we perform extensive tests on such benchmarks using both existing algorithms for PCNs, as well as adaptations of other methods popular in the bio-plausible deep learning community. All this has allowed us to (i) test architectures much larger than commonly used in the literature, on more complex datasets; (ii)~reach new state-of-the-art results in all of the tasks and datasets provided; (iii)~clearly highlight what the current limitations of PCNs are, allowing us to state important future research directions. With the hope of galvanizing community efforts towards one of the main open problems in the field, scalability, we release code, tests, and benchmarks. Link to the library: https://github.com/liukidar/pcx
• Abstract（参考訳）: 本研究では,機械学習における予測符号化ネットワーク(PCN)の効率性とスケーラビリティの問題に取り組む。 そこで本研究では,PCXと呼ばれる,パフォーマンスと簡易性を重視したライブラリを提案する。 この分野のほとんどの作業が独自のタスクやアーキテクチャを提案しているため、相互に比較せず、小規模のタスク、シンプルで高速なオープンソースライブラリ、包括的なベンチマークがこれらすべての懸念に対処する。 そこで我々は,PCNの既存アルゴリズムと,生物工学的な深層学習コミュニティで普及している他の手法を併用して,このようなベンチマークを広範囲に実施する。 これらすべてが私たちを許しました i) より複雑なデータセット上で、文献で一般的に使用されるものよりもはるかに大きいテストアーキテクチャ。 (ii)~提供されるすべてのタスクとデータセットにおいて、新しい最先端結果を取得する。 (iii)―PCNの現在の限界を明確に強調し、今後の重要な研究方向性を述べることができる。 この分野における主要なオープンな問題のひとつ,スケーラビリティ,コードのリリース,テスト,ベンチマークに対するコミュニティの取り組みを拡大することを期待しています。 ライブラリへのリンク: https://github.com/liukidar/pcx

関連論文リスト

• LLaMA-NAS: Efficient Neural Architecture Search for Large Language Models [3.4070166891274263]
  大規模言語モデル(LLM)は、自然言語処理、複雑な推論、感情分析、その他のタスクを解決する。 これらの能力はメモリと計算コストが非常に高く、ほとんどのハードウェアプラットフォームでのLLMの使用を妨げている。 ワンショットNASを用いたLLaMA2-7Bに基づくパレート最適ネットワークアーキテクチャの探索手法を提案する。 特定の標準ベンチマークタスクに対して、事前訓練されたLLaMA2-7Bネットワークは不要に大きく、複雑であることを示す。
  論文  参考訳（メタデータ） (2024-05-28T17:20:44Z)
• AutoCoreset: An Automatic Practical Coreset Construction Framework [65.37876706107764]
  コアセットは入力セットの小さな重み付き部分集合であり、損失関数によく似ている。 本稿では,ユーザからの入力データと所望のコスト関数のみを必要とするコアセット構築のための自動フレームワークを提案する。 この集合は有限であるが、コア集合は極めて一般であることを示す。
  論文  参考訳（メタデータ） (2023-05-19T19:59:52Z)
• Harnessing Deep Learning and HPC Kernels via High-Level Loop and Tensor Abstractions on CPU Architectures [67.47328776279204]
  この研究は、効率的でポータブルなDeep LearningとHigh Performance Computingカーネルを開発するためのフレームワークを導入している。 1)プロセッシングプリミティブ(TPP)を用いた計算コアの表現と,2)高レベルな宣言的手法でTPPのまわりの論理ループの表現の2つのステップでカーネルの開発を分解する。 我々は、スタンドアロンカーネルと、さまざまなCPUプラットフォームにおける最先端実装よりも優れたエンドツーエンドワークロードを使用して、このアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-04-25T05:04:44Z)
• Improving Inference Performance of Machine Learning with the Divide-and-Conquer Principle [0.0]
  多くの一般的な機械学習モデルは、CPUにデプロイすると、スケールが悪くなります。 本稿では,この問題に対処するための分枝・分枝原理に基づく,単純かつ効果的なアプローチを提案する。 人気の高いOnnxRuntimeフレームワークでこのアイデアを実装し、いくつかのユースケースでその有効性を評価します。
  論文  参考訳（メタデータ） (2023-01-12T15:55:12Z)
• Towards making the most of NLP-based device mapping optimization for OpenCL kernels [5.6596607119831575]
  我々は、加速されたOpenCLカーネルのための最適なデバイス選択(CPUまたはGPU)の問題に取り組むCummins et al.、すなわちDeeptuneの開発を拡張した。 ソースコードの文脈情報を拡張した4つの異なるモデルを提案する。 実験の結果,提案手法はCumminsらの手法を上回り,予測精度を最大4%向上させることがわかった。
  論文  参考訳（メタデータ） (2022-08-30T10:20:55Z)
• Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
  本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。 提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。 2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
  論文  参考訳（メタデータ） (2020-12-23T09:33:11Z)
• CATCH: Context-based Meta Reinforcement Learning for Transferrable Architecture Search [102.67142711824748]
  CATCHは、転送可能なarChitecture searcHのための、Context-bAsed meTa強化学習アルゴリズムである。 メタラーニングとRLの組み合わせにより、CATCHは検索空間に依存しないまま、新しいタスクに効率的に適応できる。 また、ImageNet、COCO、Cityscapesの競合ネットワークとしてクロスドメインアーキテクチャサーチを扱うこともできる。
  論文  参考訳（メタデータ） (2020-07-18T09:35:53Z)
• Einsum Networks: Fast and Scalable Learning of Tractable Probabilistic Circuits [99.59941892183454]
  我々は,PC用の新しい実装設計であるEinsum Networks (EiNets)を提案する。 中心となるのは、E EiNets は単一のモノリシックな einsum-operation に多数の算術演算を組み合わせている。 本稿では,PCにおける予測最大化(EM)の実装を,自動微分を利用した簡易化が可能であることを示す。
  論文  参考訳（メタデータ） (2020-04-13T23:09:15Z)
• Optimizing Streaming Parallelism on Heterogeneous Many-Core Architectures: A Machine Learning Based Approach [16.702537371391053]
  本稿では、異種多コアアーキテクチャ上のタスクベース並列アプリケーションにおいて、ハードウェアリソース分割とタスク粒度に関する優れたソリューションを導出する自動手法を提案する。 提案手法では,与えられたリソース分割とタスクの粒度設定に基づいて,対象アプリケーションの結果のパフォーマンスを推定するために,性能モデルを用いる。 シングルストリームバージョンと比較すると,XeonPhiとGPUプラットフォームでそれぞれ1.6倍,1.1倍の高速化を実現している。
  論文  参考訳（メタデータ） (2020-03-05T21:18:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。