論文の概要: ItNet: iterative neural networks with small graphs for accurate and efficient anytime prediction

• arxiv url: http://arxiv.org/abs/2101.08685v2
• Date: Fri, 12 Mar 2021 14:25:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-21 08:07:37.553460
• Title: ItNet: iterative neural networks with small graphs for accurate and efficient anytime prediction
• Title（参考訳）: ItNet: 正確なリアルタイム予測のための小さなグラフ付き反復ニューラルネットワーク
• Authors: Thomas Pfeil
• Abstract要約: 本研究では,計算グラフの観点から,メモリフットプリントが小さいネットワークモデルについて紹介する。 CamVidおよびCityscapesデータセットでセマンティックセグメンテーションの最新の結果を示します。
• 参考スコア（独自算出の注目度）: 1.52292571922932
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks have usually to be compressed and accelerated for their usage in low-power, e.g. mobile, devices. Recently, massively-parallel hardware accelerators were developed that offer high throughput and low latency at low power by utilizing in-memory computation. However, to exploit these benefits the computational graph of a neural network has to fit into the in-computation memory of these hardware systems that is usually rather limited in size. In this study, we introduce a class of network models that have a small memory footprint in terms of their computational graphs. To this end, the graph is designed to contain loops by iteratively executing a single network building block. Furthermore, the trade-off between accuracy and latency of these so-called iterative neural networks is improved by adding multiple intermediate outputs both during training and inference. We show state-of-the-art results for semantic segmentation on the CamVid and Cityscapes datasets that are especially demanding in terms of computational resources. In ablation studies, the improvement of network training by intermediate network outputs as well as the trade-off between weight sharing over iterations and the network size are investigated.
• Abstract（参考訳）: ディープニューラルネットワークは通常、低消費電力での使用のために圧縮され、加速される。 モバイル、デバイス。 近年,メモリ内計算を利用して低消費電力で高スループット,低レイテンシを実現するハードウェアアクセラレータが開発されている。 しかし、これらの利点を利用するには、ニューラルネットワークの計算グラフは、通常サイズがかなり限られているこれらのハードウェアシステムの計算メモリに収まる必要がある。 本研究では,計算グラフの観点から,メモリフットプリントが小さいネットワークモデルについて紹介する。 この目的のために、グラフは単一のネットワークビルディングブロックを反復実行することでループを含むように設計されている。 さらに、トレーニングと推論の間に複数の中間出力を追加することにより、いわゆる反復ニューラルネットワークの精度とレイテンシのトレードオフが改善される。 計算資源の面で特に要求されるcamvidおよびcityscapesデータセットにおける意味セグメンテーションに関する最新の結果を示す。 アブレーション研究では,中間的ネットワーク出力によるネットワークトレーニングの改善と,反復による重み共有とネットワークサイズとのトレードオフについて検討した。

関連論文リスト

• Algebraic Representations for Faster Predictions in Convolutional Neural Networks [0.0]
  畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンにおけるタスクのモデルとして一般的な選択肢である。 より簡単な勾配最適化問題を作成するために、スキップ接続を追加することもできる。 スキップ接続を持つ任意の複雑で訓練された線形CNNは単層モデルに単純化可能であることを示す。
  論文  参考訳（メタデータ） (2024-08-14T21:10:05Z)
• A Generalization of Continuous Relaxation in Structured Pruning [0.3277163122167434]
  トレンドは、パラメータが増加するより深い、より大きなニューラルネットワークが、より小さなニューラルネットワークよりも高い精度を達成することを示している。 ネットワーク拡張, プルーニング, サブネットワーク崩壊, 削除のためのアルゴリズムを用いて, 構造化プルーニングを一般化する。 結果のCNNは計算コストのかかるスパース行列演算を使わずにGPUハードウェア上で効率的に実行される。
  論文  参考訳（メタデータ） (2023-08-28T14:19:13Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• Robust error bounds for quantised and pruned neural networks [1.8083503268672914]
  機械学習のアルゴリズムは、データとアルゴリズムを保存し、訓練し、デバイス上でローカルに分散化しようとしている。 デバイスハードウェアは、このセットアップにおけるモデル機能の主要なボトルネックとなり、スリム化され、より効率的なニューラルネットワークの必要性を生み出します。 半確定プログラムを導入して、ニューラルネットワークのプルーニングや定量化による最悪のケースエラーをバインドする。 計算されたバウンダリは、安全クリティカルなシステムにデプロイした場合に、これらのアルゴリズムの性能に確実性をもたらすことが期待されている。
  論文  参考訳（メタデータ） (2020-11-30T22:19:44Z)
• Not Half Bad: Exploring Half-Precision in Graph Convolutional Neural Networks [8.460826851547294]
  現代の機械学習を用いた効率的なグラフ解析は、ますます注目を集めている。 ディープラーニングアプローチは、隣接行列全体にわたって運用されることが多い。 実行時間とメモリ要求の両方を削減するための効率的な対策を特定することが望ましい。
  論文  参考訳（メタデータ） (2020-10-23T19:47:42Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。