Fugu-MT 論文翻訳(概要): Learning representations by forward-propagating errors

論文の概要: Learning representations by forward-propagating errors

arxiv url: http://arxiv.org/abs/2308.09728v1
Date: Thu, 17 Aug 2023 13:56:26 GMT
ステータス: 処理完了
システム内更新日: 2023-08-22 20:08:02.414950
Title: Learning representations by forward-propagating errors
Title（参考訳）: 前方伝播誤差による学習表現
Authors: Ryoungwoo Jang
Abstract要約: バックプロパゲーション(BP)はニューラルネットワーク最適化のための学習アルゴリズムとして広く使われている。現在のニューラルネットワークオプティミザイトンは、計算統一デバイスアーキテクチャ(CUDA)プログラミングによるグラフィカル処理ユニット(GPU)で実行される。本稿では,GPU上でのアクセラレーションと同じくらい高速な高速学習アルゴリズムをCPU上で提案する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Back-propagation (BP) is widely used learning algorithm for neural network optimization. However, BP requires enormous computation cost and is too slow to train in central processing unit (CPU). Therefore current neural network optimizaiton is performed in graphical processing unit (GPU) with compute unified device architecture (CUDA) programming. In this paper, we propose a light, fast learning algorithm on CPU that is fast as CUDA acceleration on GPU. This algorithm is based on forward-propagating method, using concept of dual number in algebraic geometry.
Abstract（参考訳）: バックプロパゲーション(BP)はニューラルネットワーク最適化のための学習アルゴリズムとして広く使われている。しかし、BPは膨大な計算コストを必要とし、中央処理ユニット(CPU)で訓練するには遅すぎる。したがって、現在のニューラルネットワークオプティミミザイトンは、計算統一デバイスアーキテクチャ(cuda)プログラミングでグラフィカル処理ユニット(gpu)で実行される。本稿では,GPU上でのCUDAアクセラレーションと同程度の高速で高速なCPU上での高速学習アルゴリズムを提案する。このアルゴリズムは代数幾何学における双対数の概念を用いた前方伝播法に基づいている。

関連論文リスト

Benchmarking Edge AI Platforms for High-Performance ML Inference [0.0]
エッジコンピューティングは、通信遅延を減らし、リアルタイム処理を可能にする能力から、高性能で異質なSystem-on-Chipソリューションの興隆を促進している。現在のアプローチでは、現代的なハードウェアをスケールダウンすることが多いが、ニューラルネットワークワークロードのパフォーマンス特性は、大きく異なる場合がある。我々は、CPUのみ、CPU/GPU、CPU/NPU統合ソリューション間で、様々な線形代数およびニューラルネットワーク推論タスクのレイテンシとスループットを比較した。
論文参考訳（メタデータ） (2024-09-23T08:27:27Z)
INR-Arch: A Dataflow Architecture and Compiler for Arbitrary-Order Gradient Computations in Implicit Neural Representation Processing [66.00729477511219]
計算グラフとして表される関数を考えると、従来のアーキテクチャはn階勾配を効率的に計算する上で困難に直面している。 InR-Archは,n階勾配の計算グラフをハードウェア最適化データフローアーキテクチャに変換するフレームワークである。 1.8-4.8x と 1.5-3.6x の高速化を CPU と GPU のベースラインと比較した結果を示す。
論文参考訳（メタデータ） (2023-08-11T04:24:39Z)
Batch-efficient EigenDecomposition for Small and Medium Matrices [65.67315418971688]
EigenDecomposition (ED)は多くのコンピュータビジョンアルゴリズムとアプリケーションの中心にある。本稿では,コンピュータビジョンの応用シナリオに特化したQRベースのED手法を提案する。
論文参考訳（メタデータ） (2022-07-09T09:14:12Z)
A modular software framework for the design and implementation of ptychography algorithms [55.41644538483948]
我々は,Pychographyデータセットをシミュレートし,最先端の再構築アルゴリズムをテストすることを目的とした,新しいptychographyソフトウェアフレームワークであるSciComを紹介する。その単純さにもかかわらず、ソフトウェアはPyTorchインターフェースによる高速化処理を利用する。結果は合成データと実データの両方で示される。
論文参考訳（メタデータ） (2022-05-06T16:32:37Z)
Instant Neural Graphics Primitives with a Multiresolution Hash Encoding [67.33850633281803]
品質を犠牲にすることなく、より小さなネットワークを使用できる汎用的な新しい入力符号化を提案する。小さなニューラルネットワークは、勾配降下によって値が最適化された訓練可能な特徴ベクトルの多分解能ハッシュテーブルによって拡張される。数桁の高速化を実現し、高品質なニューラルネットワークプリミティブを数秒でトレーニングすることができる。
論文参考訳（メタデータ） (2022-01-16T07:22:47Z)
GPU-accelerated Faster Mean Shift with euclidean distance metrics [1.3507758562554621]
平均シフトアルゴリズムはクラスタリング問題の解法として広く用いられている。従来の研究では,GPUを高速化する高速平均シフトアルゴリズムが提案されている。本研究では,ユークリッド距離測定値を扱うために,従来のアルゴリズムを拡張し改良する。
論文参考訳（メタデータ） (2021-12-27T20:18:24Z)
Scheduling Optimization Techniques for Neural Network Training [3.1617796705744547]
本稿では,ニューラルネットワークトレーニングに有効なスケジューリング手法であるアウト・オブ・オーダー(oo)バックプロップを提案する。単一GPU、データ並列、パイプライン並列トレーニングにおけるGPU利用は、ooobackpropを適用することで、一般的に改善できることを示す。
論文参考訳（メタデータ） (2021-10-03T05:45:06Z)
Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning [56.83172249278467]
大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
論文参考訳（メタデータ） (2020-07-14T18:50:12Z)
Heterogeneous CPU+GPU Stochastic Gradient Descent Algorithms [1.3249453757295084]
ヘテロジニアスCPU+GPUアーキテクチャの深層学習のためのトレーニングアルゴリズムについて検討する。私たちの2倍の目標 -- 収束率と資源利用を同時に最大化する -- は、この問題を難しくします。これらのアルゴリズムの実装は,複数の実データセットよりも高速な収束と資源利用の両立を実現していることを示す。
論文参考訳（メタデータ） (2020-04-19T05:21:20Z)
Computational optimization of convolutional neural networks using separated filters architecture [69.73393478582027]
我々は、計算複雑性を低減し、ニューラルネットワーク処理を高速化する畳み込みニューラルネットワーク変換を考える。畳み込みニューラルネットワーク(CNN)の使用は、計算的に要求が多すぎるにもかかわらず、画像認識の標準的なアプローチである。
論文参考訳（メタデータ） (2020-02-18T17:42:13Z)
An optimal scheduling architecture for accelerating batch algorithms on Neural Network processor architectures [0.0]
ニューラルネットワークトポロジでは、アルゴリズムはデータテンソルのバッチ上で動作する。データバッチ上で動作するアルゴリズムには、最適なバッチスケジューリングアーキテクチャが必要です。
論文参考訳（メタデータ） (2020-02-14T17:13:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。