論文の概要: QuadraNet: Improving High-Order Neural Interaction Efficiency with
Hardware-Aware Quadratic Neural Networks
- arxiv url: http://arxiv.org/abs/2311.17956v1
- Date: Wed, 29 Nov 2023 08:45:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 19:23:50.992661
- Title: QuadraNet: Improving High-Order Neural Interaction Efficiency with
Hardware-Aware Quadratic Neural Networks
- Title（参考訳）: QuadraNet:ハードウェア対応の2次ニューラルネットワークによる高次ニューラルインタラクション効率の改善
- Authors: Chenhui Xu, Fuxun Yu, Zirui Xu, Chenchen Liu, Jinjun Xiong, Xiang Chen
- Abstract要約: コンピュータビジョン指向のニューラルネットワーク設計の最近の進歩は、主に高次のニューラルネットワークの相互作用を捉えている。
ニューロン再構成から構造ブロックへの包括的モデル設計手法である QuadraNet を提案する。
現状の高次手法と比較して、最大1.5$times$スループット、メモリフットプリントの30%削減、認識性能の類似が示されている。
- 参考スコア（独自算出の注目度）: 28.130386036553144
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent progress in computer vision-oriented neural network designs is mostly
driven by capturing high-order neural interactions among inputs and features.
And there emerged a variety of approaches to accomplish this, such as
Transformers and its variants. However, these interactions generate a large
amount of intermediate state and/or strong data dependency, leading to
considerable memory consumption and computing cost, and therefore compromising
the overall runtime performance. To address this challenge, we rethink the
high-order interactive neural network design with a quadratic computing
approach. Specifically, we propose QuadraNet -- a comprehensive model design
methodology from neuron reconstruction to structural block and eventually to
the overall neural network implementation. Leveraging quadratic neurons'
intrinsic high-order advantages and dedicated computation optimization schemes,
QuadraNet could effectively achieve optimal cognition and computation
performance. Incorporating state-of-the-art hardware-aware neural architecture
search and system integration techniques, QuadraNet could also be well
generalized in different hardware constraint settings and deployment scenarios.
The experiment shows thatQuadraNet achieves up to 1.5$\times$ throughput, 30%
less memory footprint, and similar cognition performance, compared with the
state-of-the-art high-order approaches.
- Abstract（参考訳）: コンピュータビジョン指向ニューラルネットワークの設計の最近の進歩は、主に入力と特徴間の高次神経相互作用を捉えることによる。
そして、Transformersやその変種など、これを実現するためのさまざまなアプローチが登場した。
しかし、これらの相互作用は大量の中間状態および/または強いデータ依存を生み出し、かなりのメモリ消費と計算コストをもたらし、結果としてランタイム全体のパフォーマンスを損なう。
この課題に対処するために、我々は2次コンピューティングアプローチで高階の対話型ニューラルネットワーク設計を再考する。
具体的には、ニューロン再構成から構造ブロックへの包括的モデル設計方法論であるQuadraNetを、最終的にはニューラルネットワーク全体の実装に提案する。
二次ニューロンの固有の高次アドバンテージと専用計算最適化スキームを活用することで、QuadraNetは最適な認識と計算性能を効果的に達成できる。
最先端のハードウェア対応ニューラルアーキテクチャサーチとシステム統合技術を組み込んだQuadraNetは、さまざまなハードウェア制約設定とデプロイメントシナリオで十分に一般化される。
この実験でquadranetは最大1.5$\times$のスループットを達成し、メモリフットプリントを30%削減し、同様の認識性能を実現している。
関連論文リスト
- Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Convergence and scaling of Boolean-weight optimization for hardware
reservoirs [0.0]
我々は、ランダムにリカレント接続されたニューラルネットワークの読み出し層を最適化するために、高効率なコーディネートDescentのスケーリング法則を解析的に導出した。
本結果は,概念実証実験で実施した大規模フォトニック貯水池の収束とスケーリングを完璧に再現するものである。
論文 参考訳（メタデータ） (2023-05-13T12:15:25Z) - Biologically Plausible Learning on Neuromorphic Hardware Architectures [27.138481022472]
ニューロモルフィックコンピューティング(Neuromorphic Computing)は、アナログメモリの計算によってこの不均衡に直面している新興パラダイムである。
この研究は、異なる学習アルゴリズムがCompute-In-Memoryベースのハードウェアに与える影響を初めて比較し、その逆も行った。
論文 参考訳（メタデータ） (2022-12-29T15:10:59Z) - Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for
Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。
イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。
本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-12-06T23:45:58Z) - Efficient Neural Architecture Search with Performance Prediction [0.0]
ニューラルアーキテクチャ検索を使用して、目前にあるタスクに最適なネットワークアーキテクチャを見つけます。
既存のNASアルゴリズムは、スクラッチから完全にトレーニングすることで、新しいアーキテクチャの適合性を評価する。
サンプルアーキテクチャの評価を高速化するために,エンドツーエンドのオフライン性能予測器を提案する。
論文 参考訳（メタデータ） (2021-08-04T05:44:16Z) - Bottom-up and top-down approaches for the design of neuromorphic
processing systems: Tradeoffs and synergies between natural and artificial
intelligence [3.874729481138221]
ムーアの法則は指数計算能力の期待を加速させており、システム全体の性能を改善するための新たな方法を求める最終段階に近づいている。
これらの方法の1つは、生物学的ニューラルネットワークシステムの柔軟性と計算効率を達成することを目的とした、脳にインスパイアされた代替コンピューティングアーキテクチャの探索である。
我々は、このパラダイムシフトが実現される際の粒度の異なるレベルについて、その分野の包括的概要を提供する。
論文 参考訳（メタデータ） (2021-06-02T16:51:45Z) - Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。
ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
論文 参考訳（メタデータ） (2020-10-02T16:50:26Z) - Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。
ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。
我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
論文 参考訳（メタデータ） (2020-05-13T13:25:51Z) - Spiking Neural Networks Hardware Implementations and Challenges: a
Survey [53.429871539789445]
スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。
スパイキングニューラルネットワークのハードウェア実装の現状について述べる。
本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
論文 参考訳（メタデータ） (2020-05-04T13:24:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。