Fugu-MT 論文翻訳(概要): A Framework to Enable Algorithmic Design Choice Exploration in DNNs

論文の概要: A Framework to Enable Algorithmic Design Choice Exploration in DNNs

arxiv url: http://arxiv.org/abs/2410.08300v1
Date: Thu, 10 Oct 2024 18:41:56 GMT
ステータス: 処理完了
システム内更新日: 2024-10-31 04:16:13.222207
Title: A Framework to Enable Algorithmic Design Choice Exploration in DNNs
Title（参考訳）: DNNにおけるアルゴリズム設計選択のためのフレームワーク
Authors: Timothy L. Cronin IV, Sanmukh Kuppannagari,
Abstract要約: 深層学習ネットワーク(DNN)のための粒度アルゴリズム制御を容易に利用できるオープンソースフレームワークを提案する。このフレームワークは、DNNが利用する独自のアルゴリズムの実装と選択を可能にする。フレームワークは追加のパフォーマンスオーバーヘッドを発生させません。つまり、パフォーマンスはユーザが選択したアルゴリズムにのみ依存します。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deep learning technologies, particularly deep neural networks (DNNs), have demonstrated significant success across many domains. This success has been accompanied by substantial advancements and innovations in the algorithms behind the operations required by DNNs. These enhanced algorithms hold the potential to greatly increase the performance of DNNs. However, discovering the best performing algorithm for a DNN and altering the DNN to use such algorithm is a difficult and time consuming task. To address this, we introduce an open source framework which provides easy to use fine grain algorithmic control for DNNs, enabling algorithmic exploration and selection. Along with built-in high performance implementations of common deep learning operations, the framework enables users to implement and select their own algorithms to be utilized by the DNN. The framework's built-in accelerated implementations are shown to yield outputs equivalent to and exhibit similar performance as implementations in PyTorch, a popular DNN framework. Moreover, the framework incurs no additional performance overhead, meaning that performance depends solely on the algorithms chosen by the user.
Abstract（参考訳）: ディープラーニング技術、特にディープニューラルネットワーク(DNN)は多くのドメインで大きな成功を収めている。この成功には、DNNが要求する操作の背後にあるアルゴリズムの大幅な進歩と革新が伴っている。これらの拡張アルゴリズムは、DNNの性能を大幅に向上させる可能性を秘めている。しかし、DNNにとって最高の性能のアルゴリズムを発見し、そのようなアルゴリズムを使用するようにDNNを変更することは困難かつ時間を要する作業である。この問題に対処するため,我々は,DNNの微粒化アルゴリズム制御を容易に利用できるオープンソースフレームワークを導入し,アルゴリズムの探索と選択を可能にした。このフレームワークは、一般的なディープラーニング操作の高性能実装と合わせて、ユーザがDNNが利用する独自のアルゴリズムの実装と選択を可能にする。フレームワークのビルトインアクセラレーション実装は、一般的なDNNフレームワークであるPyTorchの実装と同様に、出力を出力し、同様のパフォーマンスを示す。さらに、このフレームワークは追加のパフォーマンスオーバーヘッドを発生しないため、パフォーマンスはユーザーが選択したアルゴリズムにのみ依存する。

関連論文リスト

Training-free Conversion of Pretrained ANNs to SNNs for Low-Power and High-Performance Applications [23.502136316777058]
人工ニューラルネットワーク(ANN)の代替としてスパイキングニューラルネットワーク(SNN)が登場した SNNの既存の教師付き学習アルゴリズムは、ANNのアルゴリズムよりもはるかに多くのメモリと時間を必要とする。提案手法は,事前学習したANNモデルを,追加訓練を伴わずに,高性能なSNNに変換する。
論文参考訳（メタデータ） (2024-09-05T09:14:44Z)
DNN Partitioning, Task Offloading, and Resource Allocation in Dynamic Vehicular Networks: A Lyapunov-Guided Diffusion-Based Reinforcement Learning Approach [49.56404236394601]
本稿では,Vehicular Edge Computingにおける共同DNNパーティショニング,タスクオフロード,リソース割り当ての問題を定式化する。我々の目標は、時間とともにシステムの安定性を保証しながら、DNNベースのタスク完了時間を最小化することである。拡散モデルの革新的利用を取り入れたマルチエージェント拡散に基づく深層強化学習(MAD2RL)アルゴリズムを提案する。
論文参考訳（メタデータ） (2024-06-11T06:31:03Z)
Open the box of digital neuromorphic processor: Towards effective algorithm-hardware co-design [0.08431877864777441]
本稿では,アルゴリズム設計者がSNNアルゴリズムを正確にベンチマークするための実践的なアプローチを提案する。ビデオ処理とオンライン学習におけるSNNアルゴリズムのエネルギー効率について述べる。
論文参考訳（メタデータ） (2023-03-27T14:03:11Z)
Sparsity May Cry: Let Us Fail (Current) Sparse Neural Networks Together! [100.19080749267316]
Sparsity May Cry"ベンチマーク(SMC-Bench)は、慎重に計算された4つのタスクと10のデータセットのコレクションである。 SMC-Benchは、よりスケーラブルで一般化可能なスパースアルゴリズムの開発を奨励するように設計されている。
論文参考訳（メタデータ） (2023-03-03T18:47:21Z)
Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文参考訳（メタデータ） (2022-10-02T05:03:38Z)
Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
論文参考訳（メタデータ） (2022-09-04T06:45:33Z)
CoSA: Scheduling by Constrained Optimization for Spatial Accelerators [1.9149970150912705]
我々は、Deep Neural Networks(DNN)アクセラレーターをスケジューリングするための制約最適化に基づくアプローチであるCoSAを提案する。探索空間をナビゲートするデザイナの手法や反復的な手法に依存する既存のアプローチとは対照的に、CoSAはスケジューリング決定を制約最適化問題として表現している。 CoSA生成スケジュールは、最大2.5xの幾何学平均で最先端のアプローチを大幅に上回ることを実証します。
論文参考訳（メタデータ） (2021-05-05T07:17:25Z)
Designing Interpretable Approximations to Deep Reinforcement Learning [14.007731268271902]
ディープニューラルネットワーク(DNN)は、アルゴリズムのパフォーマンスのバーを設定する。実際にそのようなハイパフォーマンスなDNNを使うことは不可能かもしれない。この研究は、所望のパフォーマンスレベルを保持するだけでなく、例えば、DNNで表される潜伏した知識を簡潔に説明できるような縮小モデルを特定することを目指している。
論文参考訳（メタデータ） (2020-10-28T06:33:09Z)
Learning to Execute Programs with Instruction Pointer Attention Graph Neural Networks [55.98291376393561]
グラフニューラルネットワーク(GNN)は、ソフトウェアエンジニアリングタスクを学習するための強力なツールとして登場した。リカレントニューラルネットワーク(RNN)は、長いシーケンシャルな推論の連鎖に適しているが、プログラム構造を自然に組み込んでいるわけではない。本稿では,新しいGNNアーキテクチャ,IPA-GNN(Instruction Pointer Attention Graph Neural Networks)を導入する。
論文参考訳（メタデータ） (2020-10-23T19:12:30Z)
Towards an Efficient and General Framework of Robust Training for Graph Neural Networks [96.93500886136532]
グラフニューラルネットワーク(GNN)は、いくつかの基本的な推論タスクに大きく進歩している。 GNNの目覚ましい性能にもかかわらず、グラフ構造上の摂動を慎重に作り、誤った予測を下すことが観察されている。我々は,強靭なGNNを得るために,欲求探索アルゴリズムとゼロ階法を利用する汎用フレームワークを提案する。
論文参考訳（メタデータ） (2020-02-25T15:17:58Z)
A Supervised Learning Algorithm for Multilayer Spiking Neural Networks Based on Temporal Coding Toward Energy-Efficient VLSI Processor Design [2.6872737601772956]
スパイキングニューラルネットワーク(スパイキングニューラルネット、英: Spiking Neural Network、SNN)は、スパイクの形で情報を処理できる脳にインスパイアされた数学的モデルである。時間符号化に基づくSNNのための新しい教師付き学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-01-08T03:37:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。