Fugu-MT 論文翻訳(概要): Bio-inspired Min-Nets Improve the Performance and Robustness of Deep Networks

論文の概要: Bio-inspired Min-Nets Improve the Performance and Robustness of Deep Networks

arxiv url: http://arxiv.org/abs/2201.02149v1
Date: Thu, 6 Jan 2022 17:31:21 GMT
ステータス: 処理完了
システム内更新日: 2022-01-07 15:58:09.911191
Title: Bio-inspired Min-Nets Improve the Performance and Robustness of Deep Networks
Title（参考訳）: バイオインスパイアされたMin-Netはディープネットワークの性能とロバスト性を改善する
Authors: Philipp Gr\"uning and Erhardt Barth
Abstract要約: Min-Netは、2つの学習されたフィルタを最小に出力する単位を持つエンドストップの皮質細胞にインスパイアされている。このようなMin-unitsをResNetやDenseNetのような最先端のディープネットワークに挿入し、結果のMin-NetsがCifar-10ベンチマークより優れていることを示す。
参考スコア（独自算出の注目度）: 0.2722806588925148
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Min-Nets are inspired by end-stopped cortical cells with units that output the minimum of two learned filters. We insert such Min-units into state-of-the-art deep networks, such as the popular ResNet and DenseNet, and show that the resulting Min-Nets perform better on the Cifar-10 benchmark. Moreover, we show that Min-Nets are more robust against JPEG compression artifacts. We argue that the minimum operation is the simplest way of implementing an AND operation on pairs of filters and that such AND operations introduce a bias that is appropriate given the statistics of natural images.
Abstract（参考訳）: Min-Netは、2つの学習されたフィルタを最小に出力する単位を持つエンドストップの皮質細胞にインスパイアされている。このようなMin-unitsをResNetやDenseNetのような最先端のディープネットワークに挿入し、結果のMin-NetsがCifar-10ベンチマークより優れていることを示す。さらに,Min-NetはJPEG圧縮アーチファクトに対してより堅牢であることを示す。最小演算はフィルタ対の操作と操作を実装する最も簡単な方法であり、そのような操作は自然画像の統計量を考えると適切なバイアスをもたらすと論じる。

関連論文リスト

Fast Graph Sharpness-Aware Minimization for Enhancing and Accelerating Few-Shot Node Classification [53.727688136434345]
グラフニューラルネットワーク(GNN)はノード分類において優れた性能を示している。高速グラフシャープネス認識最小化(FGSAM)を提案する。提案アルゴリズムは,FSNCタスクにおいて,計算コストの低い標準SAMよりも優れる。
論文参考訳（メタデータ） (2024-10-22T09:33:29Z)
Sharpness-Aware Graph Collaborative Filtering [31.133543641102914]
グラフニューラルネットワーク(GNN)は、協調トレーニングにおいて素晴らしいパフォーマンスを達成した。 GNNは、分散とテストデータの整合性が良くない場合、性能が劣る傾向にある。我々は,テクティットフレーターのミニマがSAMitsharperよりも優れたフィルタリング能力を有するという原則の下で,gSAMと呼ばれる効果的なトレーニングスキーマを提案する。
論文参考訳（メタデータ） (2023-07-18T01:02:20Z)
MogaNet: Multi-order Gated Aggregation Network [64.16774341908365]
我々は,識別的視覚的表現学習のために,MogaNetと呼ばれる現代ConvNetの新たなファミリーを提案する。 MogaNetは概念的に単純だが効果的な畳み込みをカプセル化し、集約をコンパクトモジュールに集約する。 MogaNetは、ImageNetの最先端のViTやConvNetと比較して、優れたスケーラビリティ、パラメータの大幅な効率、競争性能を示している。
論文参考訳（メタデータ） (2022-11-07T04:31:17Z)
Neural Network Compression by Joint Sparsity Promotion and Redundancy Reduction [4.9613162734482215]
本稿では,冗長なフィルタを創出し,空間性向上によるネットワーク学習に対する効果を最小化する,複合制約に基づく新しい学習手法を提案する。いくつかのピクセルワイドセグメンテーションベンチマークによるテストでは、テストフェーズにおけるネットワークのニューロン数とメモリフットプリントが、性能に影響を与えずに大幅に減少することが示された。
論文参考訳（メタデータ） (2022-10-14T01:34:49Z)
SMOF: Squeezing More Out of Filters Yields Hardware-Friendly CNN Pruning [2.1481785388161536]
SMOFと呼ばれるCNNプルーニングフレームワークを開発し、カーネルサイズとフィルタチャネル数の双方を削減し、フィルタの出力を増やす。 SMOFは、カスタマイズされた低レベル実装なしで標準的なハードウェアデバイスに親しみやすい。また、様々なCNN構造やモバイルデバイス向け汎用プロセッサに関する広範な実験を通じて、これらの主張を支持している。
論文参考訳（メタデータ） (2021-10-21T00:58:20Z)
MicroNet: Improving Image Recognition with Extremely Low FLOPs [82.54764264255505]
疎結合性と動的アクティベーション関数の2つの要因が,精度向上に有効であることがわかった。非線形性を改善するために動的シフトマックスと呼ばれる新しい動的アクティベーション関数を提案する。私たちはMicroNetというネットワークのファミリに到達し、低FLOP体制下での最先端技術に対して大きなパフォーマンス向上を実現しています。
論文参考訳（メタデータ） (2021-08-12T17:59:41Z)
Bottleneck Transformers for Visual Recognition [97.16013761605254]
視覚タスクに自己注意を組み込んだ強力なバックボーンアーキテクチャであるBoTNetを提案する。我々は、ImageNetベンチマークにおいて84.7%のトップ1の精度で高いパフォーマンスを達成するモデルを提案する。私たちのシンプルで効果的なアプローチが、将来のビジョンのための自己注意モデル研究の強力なベースラインになることを期待しています。
論文参考訳（メタデータ） (2021-01-27T18:55:27Z)
Dense U-net for super-resolution with shuffle pooling layer [4.397981844057195]
最近の研究は、単一画像超解像(SISR)において大きな進歩を遂げている。この方法では、高分解能入力画像は、特徴抽出の前に単一のフィルタ、通常最大プーリングを用いて、低分解能空間にダウンスケールされる。これは準最適であり、情報損失を引き起こすことを実証する。本研究では,シャッフルプールを用いたDense U-netという最先端の畳み込みニューラルネットワーク手法を提案する。
論文参考訳（メタデータ） (2020-11-11T00:59:43Z)
ResNet or DenseNet? Introducing Dense Shortcuts to ResNet [80.35001540483789]
本稿では、それらを解析するために高密度和の統一的な視点を示す。本稿では,ResNetとDenseNetのジレンマに対する解法として,重み付き正規化ショートカットを提案する。提案したDSNetはResNetよりもはるかに優れた結果を得ることができ、DenseNetと同等の性能を得るが、リソースは少ない。
論文参考訳（メタデータ） (2020-10-23T16:00:15Z)
AttendNets: Tiny Deep Image Recognition Neural Networks for the Edge via Visual Attention Condensers [81.17461895644003]
我々は、オンデバイス画像認識に適した、低精度でコンパクトなディープニューラルネットワークであるAttendNetsを紹介する。 AttendNetsは、視覚的注意の凝縮に基づく深い自己注意アーキテクチャを持っている。その結果、AttendNetsは、いくつかのディープニューラルネットワークと比較して、アーキテクチャと計算の複雑さが著しく低いことが示された。
論文参考訳（メタデータ） (2020-09-30T01:53:17Z)
Sparsifying and Down-scaling Networks to Increase Robustness to Distortions [0.0]
Streaming Network (STNet) は歪んだ画像の堅牢な分類が可能な新しいアーキテクチャである。近年の結果、STNetは20種類のノイズや歪みに対して堅牢であることが証明されている。新しいSTNetは、元のネットワークと比較して高いか等しい精度を示す。
論文参考訳（メタデータ） (2020-06-08T03:58:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。