論文の概要: XnODR and XnIDR: Two Accurate and Fast Fully Connected Layers For Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2111.10854v1
• Date: Sun, 21 Nov 2021 16:42:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-23 14:53:41.141454
• Title: XnODR and XnIDR: Two Accurate and Fast Fully Connected Layers For Convolutional Neural Networks
• Title（参考訳）: xnodrとxnidr:畳み込みニューラルネットワークのための2つの精度と高速の完全連結層
• Authors: Jian Sun, Ali Pourramezan Fard, and Mohammad H. Mahoor
• Abstract要約: 本稿では,CapsFC層内における動的ルーティングの外部あるいは内部の線形プロジェクタをxnorizingすることで,全連結層の新しいクラスを提案する。 XnODRとXnIDRは、低いFLOPと少ないパラメータで高精度なネットワークを実現する。
• 参考スコア（独自算出の注目度）: 12.16670932666531
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Although Capsule Networks show great abilities in defining the position relationship between features in deep neural networks for visual recognition tasks, they are computationally expensive and not suitable for running on mobile devices. The bottleneck is in the computational complexity of the Dynamic Routing mechanism used between capsules. On the other hand, neural networks such as XNOR-Net are fast and computationally efficient but have relatively low accuracy because of their information loss in the binarization process. This paper proposes a new class of Fully Connected (FC) Layers by xnorizing the linear projector outside or inside the Dynamic Routing within the CapsFC layer. Specifically, our proposed FC layers have two versions, XnODR (Xnorizing Linear Projector Outside Dynamic Routing) and XnIDR (Xnorizing Linear Projector Inside Dynamic Routing). To test their generalization, we insert them into MobileNet V2 and ResNet-50 separately. Experiments on three datasets, MNIST, CIFAR-10, MultiMNIST validate their effectiveness. Our experimental results demonstrate that both XnODR and XnIDR help networks to have high accuracy with lower FLOPs and fewer parameters (e.g., 95.32\% accuracy with 2.99M parameters and 311.22M FLOPs on CIFAR-10).
• Abstract（参考訳）: カプセルネットワークは、視覚認識タスクのためのディープニューラルネットワークの特徴間の位置関係を定義するのに優れた能力を示すが、計算コストは高く、モバイルデバイス上での実行には適さない。 ボトルネックはカプセル間で使用される動的ルーティング機構の計算複雑性にある。 一方、XNOR-Netのようなニューラルネットワークは高速かつ計算効率が高いが、二項化過程における情報損失のため、比較的精度が低い。 本稿では,CapsFC層内における動的ルーティングの外部あるいは内部に線形プロジェクタをxnorizingすることで,フル接続層(FC)の新たなクラスを提案する。 特に,提案するfc層には,xnodr (xnorizing linear projector outside dynamic routing) とxnidr (xnorizing linear projector inside dynamic routing) の2つのバージョンがある。 それらの一般化をテストするために、MobileNet V2とResNet-50を別々に挿入する。 MNIST、CIFAR-10、MultiMNISTの3つのデータセットの実験は、その有効性を検証する。 実験の結果,xnodr と xnidr はネットワークの精度が低く,パラメータも少ない(例えば,2.99mパラメータの95.32\%精度と cifar-10 の311.22mフラップ)。

関連論文リスト

• Neuromorphic Wireless Split Computing with Multi-Level Spikes [69.73249913506042]
  ニューロモルフィックコンピューティングでは、スパイクニューラルネットワーク(SNN)が推論タスクを実行し、シーケンシャルデータを含むワークロードの大幅な効率向上を提供する。 ハードウェアとソフトウェアの最近の進歩は、スパイクニューロン間で交換された各スパイクに数ビットのペイロードを埋め込むことにより、推論精度をさらに高めることを示した。 本稿では,マルチレベルSNNを用いた無線ニューロモルフィック分割計算アーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2024-11-07T14:08:35Z)
• LipKernel: Lipschitz-Bounded Convolutional Neural Networks via Dissipative Layers [0.0468732641979009]
  本稿では,畳み込みニューラルネットワーク(CNN)の階層的パラメータ化を提案する。 提案手法は,2次元ロエサー型状態空間モデルを用いて,散逸型畳み込みカーネルを直接パラメータ化する。 提案手法を用いた実行時間は,最先端のリプシッツ有界ネットワークよりも桁違いに高速であることを示す。
  論文  参考訳（メタデータ） (2024-10-29T17:20:14Z)
• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• NeuraLUT: Hiding Neural Network Density in Boolean Synthesizable Functions [2.7086888205833968]
  Field-Programmable Gate Array (FPGA)アクセラレータは、レイテンシとリソースクリティカルなDeep Neural Network (DNN)推論タスクの処理に成功している。 本稿では、ニューロンの境界を緩和し、サブネットワーク全体を単一のLUTにマッピングすることを提案する。 提案手法は,既知の遅延クリティカルタスク,ジェットサブストラクチャタグ,古典的コンピュータビジョンタスク,MNISTを用いた桁分類で検証する。
  論文  参考訳（メタデータ） (2024-02-29T16:10:21Z)
• TransXNet: Learning Both Global and Local Dynamics with a Dual Dynamic Token Mixer for Visual Recognition [71.6546914957701]
  本稿では,グローバルな情報と局所的な詳細を入力依存の方法で集約する軽量なDual Dynamic Token Mixer (D-Mixer)を提案する。 我々は、新しいハイブリッドCNN-TransformerビジョンバックボーンネットワークであるTransXNetを設計するために、基本的なビルディングブロックとしてD-Mixerを使用している。 ImageNet-1Kの画像分類タスクでは、TransXNet-TはSwing-Tを0.3%上回り、計算コストの半分以下である。
  論文  参考訳（メタデータ） (2023-10-30T09:35:56Z)
• DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers [105.74546828182834]
  本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。 我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
  論文  参考訳（メタデータ） (2021-09-21T09:57:21Z)
• Learning Sparse & Ternary Neural Networks with Entropy-Constrained Trained Ternarization (EC2T) [17.13246260883765]
  ディープニューラルネットワーク(DNN)は、さまざまな機械学習アプリケーションで顕著な成功を収めている。 近年,資源に制約のあるデバイスにDNNを配置することへの関心が高まっている。 本稿では,スパースニューラルネットワークと3次ニューラルネットワークの汎用フレームワークであるEntropy-Constrained Trained Ternarization (EC2T)を提案する。
  論文  参考訳（メタデータ） (2020-04-02T15:38:00Z)
• DHP: Differentiable Meta Pruning via HyperNetworks [158.69345612783198]
  本稿では,ネットワークの自動プルーニングのためのハイパーネットによる識別可能なプルーニング手法を提案する。 遅延ベクトルは、バックボーンネットワーク内の畳み込み層の出力チャネルを制御し、レイヤのプルーニングのハンドルとして機能する。 画像分類、単一画像超解像、復調のための様々なネットワークで実験が行われた。
  論文  参考訳（メタデータ） (2020-03-30T17:59:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。