論文の概要: Benchmarking Predictive Coding Networks -- Made Simple

• arxiv url: http://arxiv.org/abs/2407.01163v1
• Date: Mon, 1 Jul 2024 10:33:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-03 21:59:43.054395
• Title: Benchmarking Predictive Coding Networks -- Made Simple
• Title（参考訳）: 予測的コーディングネットワークのベンチマーク - シンプルに
• Authors: Luca Pinchetti, Chang Qi, Oleh Lokshyn, Gaspard Olivers, Cornelius Emde, Mufeng Tang, Amine M'Charrak, Simon Frieder, Bayar Menzat, Rafal Bogacz, Thomas Lukasiewicz, Tommaso Salvatori,
• Abstract要約: まず,性能と簡易性を重視したPCXというライブラリを提案する。 私たちはPCXを使って、コミュニティが実験に使用する大規模なベンチマークを実装しています。
• 参考スコア（独自算出の注目度）: 48.652114040426625
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we tackle the problems of efficiency and scalability for predictive coding networks in machine learning. To do so, we first propose a library called PCX, whose focus lies on performance and simplicity, and provides a user-friendly, deep-learning oriented interface. Second, we use PCX to implement a large set of benchmarks for the community to use for their experiments. As most works propose their own tasks and architectures, do not compare one against each other, and focus on small-scale tasks, a simple and fast open-source library adopted by the whole community would address all of these concerns. Third, we perform extensive benchmarks using multiple algorithms, setting new state-of-the-art results in multiple tasks and datasets, as well as highlighting limitations inherent to PC that should be addressed. Thanks to the efficiency of PCX, we are able to analyze larger architectures than commonly used, providing baselines to galvanize community efforts towards one of the main open problems in the field: scalability. The code for PCX is available at \textit{https://github.com/liukidar/pcax}.
• Abstract（参考訳）: 本研究では,機械学習における予測符号化ネットワークの効率性とスケーラビリティの問題に取り組む。 そこで我々はまず,パフォーマンスと簡易性を重視したPCXというライブラリを提案し,ユーザフレンドリでディープラーニング指向のインターフェースを提供する。 第2に、PCXを使って、コミュニティが実験に使用する大規模なベンチマークを実装しています。 ほとんどの研究が独自のタスクとアーキテクチャを提案しているため、相互比較はせず、小規模タスクに重点を置いているため、コミュニティ全体で採用されているシンプルで高速なオープンソースライブラリは、これらの懸念に対処するでしょう。 第三に、複数のアルゴリズムを用いて広範なベンチマークを行い、複数のタスクやデータセットに新しい最先端結果を設定し、対処すべきPC固有の制限を強調します。 PCXの効率のおかげで、一般的に使われるものよりも大きなアーキテクチャを分析でき、この分野で主要なオープンな問題であるスケーラビリティに対するコミュニティの取り組みを活性化するためのベースラインを提供します。 PCX のコードは \textit{https://github.com/liukidar/pcax} で公開されている。

関連論文リスト

• LLaMA-NAS: Efficient Neural Architecture Search for Large Language Models [3.4070166891274263]
  大規模言語モデル(LLM)は、自然言語処理、複雑な推論、感情分析、その他のタスクを解決する。 これらの能力はメモリと計算コストが非常に高く、ほとんどのハードウェアプラットフォームでのLLMの使用を妨げている。 ワンショットNASを用いたLLaMA2-7Bに基づくパレート最適ネットワークアーキテクチャの探索手法を提案する。 特定の標準ベンチマークタスクに対して、事前訓練されたLLaMA2-7Bネットワークは不要に大きく、複雑であることを示す。
  論文  参考訳（メタデータ） (2024-05-28T17:20:44Z)
• AutoCoreset: An Automatic Practical Coreset Construction Framework [65.37876706107764]
  コアセットは入力セットの小さな重み付き部分集合であり、損失関数によく似ている。 本稿では,ユーザからの入力データと所望のコスト関数のみを必要とするコアセット構築のための自動フレームワークを提案する。 この集合は有限であるが、コア集合は極めて一般であることを示す。
  論文  参考訳（メタデータ） (2023-05-19T19:59:52Z)
• Harnessing Deep Learning and HPC Kernels via High-Level Loop and Tensor Abstractions on CPU Architectures [67.47328776279204]
  この研究は、効率的でポータブルなDeep LearningとHigh Performance Computingカーネルを開発するためのフレームワークを導入している。 1)プロセッシングプリミティブ(TPP)を用いた計算コアの表現と,2)高レベルな宣言的手法でTPPのまわりの論理ループの表現の2つのステップでカーネルの開発を分解する。 我々は、スタンドアロンカーネルと、さまざまなCPUプラットフォームにおける最先端実装よりも優れたエンドツーエンドワークロードを使用して、このアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-04-25T05:04:44Z)
• Improving Inference Performance of Machine Learning with the Divide-and-Conquer Principle [0.0]
  多くの一般的な機械学習モデルは、CPUにデプロイすると、スケールが悪くなります。 本稿では,この問題に対処するための分枝・分枝原理に基づく,単純かつ効果的なアプローチを提案する。 人気の高いOnnxRuntimeフレームワークでこのアイデアを実装し、いくつかのユースケースでその有効性を評価します。
  論文  参考訳（メタデータ） (2023-01-12T15:55:12Z)
• Towards making the most of NLP-based device mapping optimization for OpenCL kernels [5.6596607119831575]
  我々は、加速されたOpenCLカーネルのための最適なデバイス選択(CPUまたはGPU)の問題に取り組むCummins et al.、すなわちDeeptuneの開発を拡張した。 ソースコードの文脈情報を拡張した4つの異なるモデルを提案する。 実験の結果,提案手法はCumminsらの手法を上回り,予測精度を最大4%向上させることがわかった。
  論文  参考訳（メタデータ） (2022-08-30T10:20:55Z)
• Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
  本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。 提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。 2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
  論文  参考訳（メタデータ） (2020-12-23T09:33:11Z)
• CATCH: Context-based Meta Reinforcement Learning for Transferrable Architecture Search [102.67142711824748]
  CATCHは、転送可能なarChitecture searcHのための、Context-bAsed meTa強化学習アルゴリズムである。 メタラーニングとRLの組み合わせにより、CATCHは検索空間に依存しないまま、新しいタスクに効率的に適応できる。 また、ImageNet、COCO、Cityscapesの競合ネットワークとしてクロスドメインアーキテクチャサーチを扱うこともできる。
  論文  参考訳（メタデータ） (2020-07-18T09:35:53Z)
• Einsum Networks: Fast and Scalable Learning of Tractable Probabilistic Circuits [99.59941892183454]
  我々は,PC用の新しい実装設計であるEinsum Networks (EiNets)を提案する。 中心となるのは、E EiNets は単一のモノリシックな einsum-operation に多数の算術演算を組み合わせている。 本稿では,PCにおける予測最大化(EM)の実装を,自動微分を利用した簡易化が可能であることを示す。
  論文  参考訳（メタデータ） (2020-04-13T23:09:15Z)
• Optimizing Streaming Parallelism on Heterogeneous Many-Core Architectures: A Machine Learning Based Approach [16.702537371391053]
  本稿では、異種多コアアーキテクチャ上のタスクベース並列アプリケーションにおいて、ハードウェアリソース分割とタスク粒度に関する優れたソリューションを導出する自動手法を提案する。 提案手法では,与えられたリソース分割とタスクの粒度設定に基づいて,対象アプリケーションの結果のパフォーマンスを推定するために,性能モデルを用いる。 シングルストリームバージョンと比較すると,XeonPhiとGPUプラットフォームでそれぞれ1.6倍,1.1倍の高速化を実現している。
  論文  参考訳（メタデータ） (2020-03-05T21:18:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。