論文の概要: Modeling Data Reuse in Deep Neural Networks by Taking Data-Types into Cognizance

• arxiv url: http://arxiv.org/abs/2008.02565v1
• Date: Thu, 6 Aug 2020 10:38:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-02 07:46:26.505255
• Title: Modeling Data Reuse in Deep Neural Networks by Taking Data-Types into Cognizance
• Title（参考訳）: 深層ニューラルネットワークにおけるデータ型認識によるデータ再利用のモデル化
• Authors: Nandan Kumar Jha and Sparsh Mittal
• Abstract要約: 我々は「データ型認識重み付き算術強度」と呼ばれる新しいモデルを提案する(DI$)。 我々のモデルは、さまざまなタイプの畳み込みと異なるタイプの層に対して、可能なすべてのデータ再利用パターンに対して、正確にデータ再利用をモデル化することを示します。
• 参考スコア（独自算出の注目度）: 3.1153758106426603
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, researchers have focused on reducing the model size and number of computations (measured as "multiply-accumulate" or MAC operations) of DNNs. The energy consumption of a DNN depends on both the number of MAC operations and the energy efficiency of each MAC operation. The former can be estimated at design time; however, the latter depends on the intricate data reuse patterns and underlying hardware architecture. Hence, estimating it at design time is challenging. This work shows that the conventional approach to estimate the data reuse, viz. arithmetic intensity, does not always correctly estimate the degree of data reuse in DNNs since it gives equal importance to all the data types. We propose a novel model, termed "data type aware weighted arithmetic intensity" ($DI$), which accounts for the unequal importance of different data types in DNNs. We evaluate our model on 25 state-of-the-art DNNs on two GPUs. We show that our model accurately models data-reuse for all possible data reuse patterns for different types of convolution and different types of layers. We show that our model is a better indicator of the energy efficiency of DNNs. We also show its generality using the central limit theorem.
• Abstract（参考訳）: 近年、研究者はDNNのモデルサイズと計算量("multiply-accumulate" または MAC 操作として測定される)の削減に注力している。 DNNのエネルギー消費はMAC演算数とMAC演算のエネルギー効率の両方に依存する。 前者は設計時に見積もることができるが、後者は複雑なデータ再利用パターンと基盤となるハードウェアアーキテクチャに依存している。 したがって、それを設計時に見積もることは難しい。 本研究は,データ再利用量を推定する従来の手法であるviz. arithmetic intensityは,dnnにおけるデータ再利用の程度を必ずしも正確に推定するものではないことを示す。 本稿では,DNNにおける異なるデータ型の重要性を考慮に入れた「データ型認識重み付き算術強度」(DI$)と呼ばれる新しいモデルを提案する。 2つのGPU上で25の最先端DNNでモデルを評価する。 本モデルでは,様々な種類の畳み込みと異なる層のデータ再利用パターンに対して,データ再利用を正確にモデル化することを示す。 我々のモデルは、dnnのエネルギー効率のより良い指標であることを示す。 また、中心極限定理を用いてその一般性を示す。

関連論文リスト

• Generalization of Graph Neural Networks is Robust to Model Mismatch [84.01980526069075]
  グラフニューラルネットワーク(GNN)は、その一般化能力によってサポートされている様々なタスクにおいて、その効果を実証している。 本稿では,多様体モデルから生成される幾何グラフで動作するGNNについて検討する。 本稿では,そのようなモデルミスマッチの存在下でのGNN一般化の堅牢性を明らかにする。
  論文  参考訳（メタデータ） (2024-08-25T16:00:44Z)
• GraphFM: A Comprehensive Benchmark for Graph Foundation Model [33.157367455390144]
  ファンデーション・モデル(FM)は、人工知能システムの開発のための一般的なクラスである。 FMの基礎として自己教師型学習の研究が盛んに行われたが、いくつかの顕著な問題が続いている。 下流タスクにおける一般化能力の程度は未だ不明である。 これらのモデルが大規模なデータセットにどの程度効果的にスケールできるかは不明だ。
  論文  参考訳（メタデータ） (2024-06-12T15:10:44Z)
• Inferring Data Preconditions from Deep Learning Models for Trustworthy Prediction in Deployment [25.527665632625627]
  デプロイ中に見つからないデータを使って、モデルの予測の信頼性を判断することが重要です。 従来のソフトウェアを特定し検証する既存の方法は、このタスクには不十分である。 本稿では、ニューラルネットワーク計算から導出されるルールを用いて、データ前提条件を推論する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-26T03:47:18Z)
• Convolutional Neural Networks on Manifolds: From Graphs and Back [122.06927400759021]
  本稿では,多様体畳み込みフィルタと点次非線形性からなる多様体ニューラルネットワーク(MNN)を提案する。 要約すると、我々は大きなグラフの極限として多様体モデルに焦点を合わせ、MNNを構築するが、それでもMNNの離散化によってグラフニューラルネットワークを復活させることができる。
  論文  参考訳（メタデータ） (2022-10-01T21:17:39Z)
• Data-Free Adversarial Knowledge Distillation for Graph Neural Networks [62.71646916191515]
  グラフ構造化データ(DFAD-GNN)を用いたデータフリー逆知識蒸留のための第1のエンドツーエンドフレームワークを提案する。 具体的には、DFAD-GNNは、教師モデルと学生モデルとを2つの識別器とみなし、教師モデルから学生モデルに知識を抽出するために学習グラフを導出するジェネレータという、主に3つの成分からなる生成的対向ネットワークを採用している。 我々のDFAD-GNNは、グラフ分類タスクにおける最先端のデータフリーベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2022-05-08T08:19:40Z)
• A data filling methodology for time series based on CNN and (Bi)LSTM neural networks [0.0]
  イタリア・ボルツァーノの監視アパートから得られた時系列データギャップを埋めるための2つのDeep Learningモデルを開発した。 提案手法は, 変動するデータの性質を把握し, 対象時系列の再構成に優れた精度を示す。
  論文  参考訳（メタデータ） (2022-04-21T09:40:30Z)
• EIGNN: Efficient Infinite-Depth Graph Neural Networks [51.97361378423152]
  グラフニューラルネットワーク(GNN)は多くのアプリケーションでグラフ構造化データのモデリングに広く利用されている。 この制限により、無限深度GNNモデルを提案し、これをEIGNN(Efficient Infinite-Depth Graph Neural Networks)と呼ぶ。 EIGNNは、最近のベースラインよりも長距離依存関係をキャプチャする能力が優れており、常に最先端のパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2022-02-22T08:16:58Z)
• Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
  Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。 まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2021-04-11T16:37:32Z)
• Streaming Graph Neural Networks via Continual Learning [31.810308087441445]
  グラフニューラルネットワーク(GNN)は様々なアプリケーションで高いパフォーマンスを実現している。 本稿では,連続学習に基づくストリーミングGNNモデルを提案する。 モデルパラメータを効率的に更新し、モデル再トレーニングに匹敵する性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-09-23T06:52:30Z)
• Data from Model: Extracting Data from Non-robust and Robust Models [83.60161052867534]
  この研究は、データとモデルの関係を明らかにするために、モデルからデータを生成する逆プロセスについて検討する。 本稿では,データ・トゥ・モデル(DtM)とデータ・トゥ・モデル(DfM)を連続的に処理し,特徴マッピング情報の喪失について検討する。 以上の結果から,DtMとDfMの複数シーケンスの後にも,特にロバストモデルにおいて精度低下が制限されることが示唆された。
  論文  参考訳（メタデータ） (2020-07-13T05:27:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。