論文の概要: Feature Products Yield Efficient Networks

• arxiv url: http://arxiv.org/abs/2008.07930v1
• Date: Tue, 18 Aug 2020 13:47:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 21:39:07.288886
• Title: Feature Products Yield Efficient Networks
• Title（参考訳）: 機能製品は効率的なネットワークを生み出す
• Authors: Philipp Gr\"uning, Thomas Martinetz, Erhardt Barth
• Abstract要約: 本稿では,生物ビジョンの原理に基づく新しいディープネットワークアーキテクチャとして,FP-netを紹介した。 各入力特徴写像について、いわゆるFPブロックは2つの異なるフィルタを学習し、その出力を乗算する。 本稿では,FPブロックを用いることで,一般化能力を低下させることなくパラメータ数を著しく削減できることを示す。
• 参考スコア（独自算出の注目度）: 0.08984782902166921
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce Feature-Product networks (FP-nets) as a novel deep-network architecture based on a new building block inspired by principles of biological vision. For each input feature map, a so-called FP-block learns two different filters, the outputs of which are then multiplied. Such FP-blocks are inspired by models of end-stopped neurons, which are common in cortical areas V1 and especially in V2. Convolutional neural networks can be transformed into parameter-efficient FP-nets by substituting conventional blocks of regular convolutions with FP-blocks. In this way, we create several novel FP-nets based on state-of-the-art networks and evaluate them on the Cifar-10 and ImageNet challenges. We show that the use of FP-blocks reduces the number of parameters significantly without decreasing generalization capability. Since so far heuristics and search algorithms have been used to find more efficient networks, it seems remarkable that we can obtain even more efficient networks based on a novel bio-inspired design principle.
• Abstract（参考訳）: 生体視覚の原理に触発された新しいビルディングブロックに基づく新しいディープネットワークアーキテクチャとして、FP-netを紹介した。 各入力特徴マップに対して、いわゆるfpブロックは2つの異なるフィルタを学習し、その出力は乗算される。 このようなFPブロックは、皮質領域V1、特にV2でよく見られるエンドストップニューロンのモデルにインスパイアされている。 畳み込みニューラルネットワークは、通常の畳み込みブロックをFPブロックに置換することにより、パラメータ効率の良いFPネットに変換することができる。 このようにして、最先端ネットワークに基づく新しいFP-netを作成し、Cifar-10とImageNetの課題に基づいて評価する。 FPブロックを用いることで、一般化能力を低下させることなくパラメータ数を著しく削減できることを示す。 これまでのところ、より効率的なネットワークを見つけるためにヒューリスティックスや検索アルゴリズムが使われてきたが、新しいバイオインスパイアされた設計原理に基づいて、より効率的なネットワークを得ることができることは注目すべきである。

関連論文リスト

• NeuraLUT: Hiding Neural Network Density in Boolean Synthesizable Functions [2.7086888205833968]
  Field-Programmable Gate Array (FPGA)アクセラレータは、レイテンシとリソースクリティカルなDeep Neural Network (DNN)推論タスクの処理に成功している。 本稿では、ニューロンの境界を緩和し、サブネットワーク全体を単一のLUTにマッピングすることを提案する。 提案手法は,既知の遅延クリティカルタスク,ジェットサブストラクチャタグ,古典的コンピュータビジョンタスク,MNISTを用いた桁分類で検証する。
  論文  参考訳（メタデータ） (2024-02-29T16:10:21Z)
• Properties and Potential Applications of Random Functional-Linked Types of Neural Networks [81.56822938033119]
  ランダム関数リンクニューラルネットワーク(RFLNN)は、深い構造を学習する別の方法を提供する。 本稿では周波数領域の観点からRFLNNの特性について考察する。 本稿では,より優れた性能でBLSネットワークを生成する手法を提案し,ポゾン方程式を解くための効率的なアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-04-03T13:25:22Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Map-and-Conquer: Energy-Efficient Mapping of Dynamic Neural Nets onto Heterogeneous MPSoCs [8.29394286023338]
  NNをヘテロジニアスMPSoCに効果的にマッピングする新しいフレームワークを提案する。 標準MPSoCプラットフォーム上での実験では,GPUのみのマッピングよりも2.1倍エネルギー効率の高い動的マッピング構成が得られた。
  論文  参考訳（メタデータ） (2023-02-24T22:52:17Z)
• RDRN: Recursively Defined Residual Network for Image Super-Resolution [58.64907136562178]
  深部畳み込みニューラルネットワーク(CNN)は、単一画像超解像において顕著な性能を得た。 本稿では,注目ブロックを効率的に活用する新しいネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-11-17T11:06:29Z)
• PECAN: A Product-Quantized Content Addressable Memory Network [6.530758154165138]
  フィルタリングと線形変換は製品量子化(PQ)によってのみ実現される これにより、コンテンツアドレス可能なメモリ(CAM)による自然な実装が実現される。 PECAN(Product-Quantized Content Addressable Memory Network)の実現可能性を確認する実験
  論文  参考訳（メタデータ） (2022-08-13T08:33:56Z)
• Ultra-low latency recurrent neural network inference on FPGAs for physics applications with hls4ml [8.085746138965975]
  本稿では,hls4mlフレームワーク内に2種類のリカレントニューラルネットワーク層 – 長期記憶とゲート再カレントユニット – を実装する。 CERN大型ハドロン衝突型加速器におけるジェット識別タスクに特化して訓練された複数のニューラルネットワークの性能と合成設計について述べる。
  論文  参考訳（メタデータ） (2022-07-01T17:19:24Z)
• i-SpaSP: Structured Neural Pruning via Sparse Signal Recovery [11.119895959906085]
  ニューラルネットワークのための新しい構造化プルーニングアルゴリズム - i-SpaSPと呼ばれる反復型スパース構造化プルーニングを提案する。 i-SpaSPはネットワーク内の重要なパラメータ群を識別することで動作し、プルーニングされたネットワーク出力と高密度なネットワーク出力の残差に最も寄与する。 高い性能のサブネットワークを発見し, 証明可能なベースライン手法のプルーニング効率を, 数桁の精度で向上させることが示されている。
  論文  参考訳（メタデータ） (2021-12-07T05:26:45Z)
• CPFN: Cascaded Primitive Fitting Networks for High-Resolution Point Clouds [51.47100091540298]
  本稿では,グローバルおよびローカルなプリミティブ検出ネットワークの検出結果をアダプティブパッチサンプリングネットワークに依存したCPFN(Cascaded Primitive Fitting Networks)を提案する。 CPFNは、高解像度のポイントクラウドデータセット上で、最先端のSPFNのパフォーマンスを13-14%改善し、特に20-22%の微細プリミティブの検出を改善している。
  論文  参考訳（メタデータ） (2021-08-31T23:27:33Z)
• When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks [57.0502745301132]
  我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。 我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
  論文  参考訳（メタデータ） (2020-04-19T08:34:52Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。