論文の概要: Third ArchEdge Workshop: Exploring the Design Space of Efficient Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2011.10912v1
• Date: Sun, 22 Nov 2020 01:56:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-22 12:19:27.724070
• Title: Third ArchEdge Workshop: Exploring the Design Space of Efficient Deep Neural Networks
• Title（参考訳）: 第3回ArchEdgeワークショップ:効率的なディープニューラルネットワークの設計空間を探る
• Authors: Fuxun Yu, Dimitrios Stamoulis, Di Wang, Dimitrios Lymberopoulos, Xiang Chen
• Abstract要約: 本稿では,効率的な深層ニューラルネットワーク(DNN)の設計空間探索に関する最近の研究の概要を紹介する。 1)静的アーキテクチャ設計の効率と(2)動的モデル実行の効率の2つの側面を網羅する。 今後数年で研究の注目を集めるであろうオープンな質問をいくつか取り上げる。
• 参考スコア（独自算出の注目度）: 14.195694804273801
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper gives an overview of our ongoing work on the design space exploration of efficient deep neural networks (DNNs). Specifically, we cover two aspects: (1) static architecture design efficiency and (2) dynamic model execution efficiency. For static architecture design, different from existing end-to-end hardware modeling assumptions, we conduct full-stack profiling at the GPU core level to identify better accuracy-latency trade-offs for DNN designs. For dynamic model execution, different from prior work that tackles model redundancy at the DNN-channels level, we explore a new dimension of DNN feature map redundancy to be dynamically traversed at runtime. Last, we highlight several open questions that are poised to draw research attention in the next few years.
• Abstract（参考訳）: 本稿では,効率的な深層ニューラルネットワーク(dnn)の設計空間探索に関する現在進行中の研究の概要について述べる。 具体的には,(1)静的アーキテクチャ設計効率と(2)動的モデル実行効率の2つの側面について述べる。 静的アーキテクチャ設計では、既存のエンドツーエンドハードウェアモデリングの前提とは違って、GPUコアレベルでフルスタックプロファイリングを行い、DNN設計の精度とレイテンシのトレードオフを改善する。 DNNチャネルレベルでモデル冗長性に取り組む以前の作業とは異なり、動的モデル実行では、実行時に動的にトラバースされるDNN特徴写像の新たな次元を探索する。 最後に、今後数年で研究が注目されるであろういくつかのオープン質問を取り上げる。

関連論文リスト

• Improvement of Spiking Neural Network with Bit Planes and Color Models [0.0]
  スパイキングニューラルネットワーク(SNN)は、計算神経科学と人工知能において有望なパラダイムとして登場した。 本稿では,ビット平面表現を利用した新しい符号化手法により,画像のSNN性能を向上させる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-09-28T15:52:49Z)
• From Alexnet to Transformers: Measuring the Non-linearity of Deep Neural Networks with Affine Optimal Transport [32.39176908225668]
  本稿では,DNNの非線形性シグネチャの概念を紹介する。これはディープニューラルネットワークの非線形性を測定するための,理論上初めての音響解である。 提案した非線形署名の実用性を明らかにするための実験結果について述べる。
  論文  参考訳（メタデータ） (2023-10-17T17:50:22Z)
• Flexible Channel Dimensions for Differentiable Architecture Search [50.33956216274694]
  本稿では,効率的な動的チャネル割当アルゴリズムを用いた新しい微分可能なニューラルアーキテクチャ探索法を提案する。 提案するフレームワークは,タスク精度と推論遅延において,従来の手法と等価なDNNアーキテクチャを見つけることができることを示す。
  論文  参考訳（メタデータ） (2023-06-13T15:21:38Z)
• Towards a General Purpose CNN for Long Range Dependencies in $\mathrm{N}$D [49.57261544331683]
  構造変化のない任意の解像度,次元,長さのタスクに対して,連続的な畳み込みカーネルを備えた単一CNNアーキテクチャを提案する。 1$mathrmD$)とビジュアルデータ(2$mathrmD$)の幅広いタスクに同じCCNNを適用することで、我々のアプローチの汎用性を示す。 私たちのCCNNは競争力があり、検討されたすべてのタスクで現在の最先端を上回ります。
  論文  参考訳（メタデータ） (2022-06-07T15:48:02Z)
• Comparison Analysis of Traditional Machine Learning and Deep Learning Techniques for Data and Image Classification [62.997667081978825]
  本研究の目的は、コンピュータビジョン2次元オブジェクト分類タスクに使用される最も一般的な機械学習およびディープラーニング技術を分析し比較することである。 まず、視覚語モデルと深部畳み込みニューラルネットワーク(DCNN)の理論的背景を示す。 次に、Bag of Visual Wordsモデル、VGG16 CNN Architectureを実装します。
  論文  参考訳（メタデータ） (2022-04-11T11:34:43Z)
• QuadraLib: A Performant Quadratic Neural Network Library for Architecture Optimization and Design Exploration [31.488940932186246]
  Quadratic Deep Neuron Networks (QDNN) は1次DNNよりも非線形性や学習能力が優れている。 複数の学習課題における予測精度と計算量に関する性能が良好である。
  論文  参考訳（メタデータ） (2022-04-01T18:06:54Z)
• PaSca: a Graph Neural Architecture Search System under the Scalable Paradigm [24.294196319217907]
  グラフニューラルネットワーク(GNN)は、さまざまなグラフベースのタスクで最先端のパフォーマンスを実現している。 しかし、GNNはデータサイズやメッセージパッシングステップに適していない。 本稿では,スケーラブルなGNNの設計空間を体系的に構築し,探索するための原則的アプローチを提供するPasCaを提案する。
  論文  参考訳（メタデータ） (2022-03-01T17:26:50Z)
• Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
  生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。 また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
  論文  参考訳（メタデータ） (2021-06-24T01:40:17Z)
• A Design Space Study for LISTA and Beyond [79.76740811464597]
  近年では、反復アルゴリズムの展開による問題固有のディープネットワーク構築に大きな成功を収めている。 本稿では,深層ネットワークにおける設計アプローチとしてのアンローリングの役割について再考する。 スパースリカバリのためのlistaを代表例として,未ロールモデルに対する設計空間調査を初めて実施した。
  論文  参考訳（メタデータ） (2021-04-08T23:01:52Z)
• Design Space for Graph Neural Networks [81.88707703106232]
  グラフニューラルネットワーク(GNN)のアーキテクチャ設計空間は,32種類の予測タスクに対して315,000の異なる設計で構成されている。 本研究の主な成果は,(1) 優れたGNNを設計するための包括的ガイドライン,(2) 異なるタスクに対する最高のGNN設計は著しく異なるが,GNNタスク空間は,異なるタスク間で最高の設計を転送することができる,(3) デザイン空間を用いて発見されたモデルが最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-11-17T18:59:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。