論文の概要: NullSpaceNet: Nullspace Convoluional Neural Network with Differentiable Loss Function

• arxiv url: http://arxiv.org/abs/2004.12058v1
• Date: Sat, 25 Apr 2020 04:58:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-09 21:15:34.453144
• Title: NullSpaceNet: Nullspace Convoluional Neural Network with Differentiable Loss Function
• Title（参考訳）: NullSpaceNet:異なる損失関数を持つNullspace Convoluional Neural Network
• Authors: Mohamed H. Abdelpakey, Mohamed S. Shehata
• Abstract要約: 本研究では,NullSpaceNetを提案する。NullSpaceNetは,画素レベルの入力からジョイントヌルスペースにマップする新しいネットワークである。 NullSpaceNetは、4つの異なるデータセットで完全に接続されたレイヤでVGG16に対してテストすると、優れたパフォーマンスを示す。
• 参考スコア（独自算出の注目度）: 10.680004723313308
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose NullSpaceNet, a novel network that maps from the pixel level input to a joint-nullspace (as opposed to the traditional feature space), where the newly learned joint-nullspace features have clearer interpretation and are more separable. NullSpaceNet ensures that all inputs from the same class are collapsed into one point in this new joint-nullspace, and the different classes are collapsed into different points with high separation margins. Moreover, a novel differentiable loss function is proposed that has a closed-form solution with no free-parameters. NullSpaceNet exhibits superior performance when tested against VGG16 with fully-connected layer over 4 different datasets, with accuracy gain of up to 4.55%, a reduction in learnable parameters from 135M to 19M, and reduction in inference time of 99% in favor of NullSpaceNet. This means that NullSpaceNet needs less than 1% of the time it takes a traditional CNN to classify a batch of images with better accuracy.
• Abstract（参考訳）: 本研究では,従来の特徴空間とは対照的に,画素レベルの入力からジョイントヌル空間にマッピングするネットワークであるNullSpaceNetを提案する。 nullspacenetは、同じクラスからの全ての入力がこの新しいジョイント・ヌルスペースにおいて1つのポイントに崩壊し、異なるクラスは高い分離マージンで異なるポイントに崩壊することを保証する。 さらに、自由パラメータを持たない閉形式解を持つ新しい微分可能損失関数を提案する。 nullspacenetは、4つの異なるデータセットにまたがる完全接続層を持つvgg16に対して優れた性能を示し、精度は4.55%まで向上し、学習可能なパラメータが135mから19mに減少し、nullspacenetを支持して99%の推論時間を短縮した。 これは、NullSpaceNetが従来のCNNで画像のバッチをより正確に分類するのに要する時間の1%以下であることを意味する。

関連論文リスト

• Faster and Accurate Neural Networks with Semantic Inference [9.372908891132772]
  我々は、潜在表現における固有の冗長性を利用して、性能の低下に制限された計算負荷を削減する。 セマンティック推論(SINF)と呼ばれる新しいフレームワークは、オブジェクトが属するセマンティッククラスタを特定し、推論のためにそのセマンティッククラスタから抽出されたサブグラフを実行する。 識別能力スコア(DCS)と呼ばれる新しいアプローチでは、特定のセマンティッククラスタのメンバー間で識別可能なサブグラフを見つける。
  論文  参考訳（メタデータ） (2023-10-02T14:51:10Z)
• Learning Activation Functions for Sparse Neural Networks [12.234742322758418]
  スパースニューラルネットワーク(SNN)は、密度の高いニューラルネットワークと同じようなパフォーマンスを示す可能性がある。 しかし、SNNによる精度低下、特に高い刈り込み比は、重要な配置条件において問題となる可能性がある。 スパースネットワークのためのアクティベーション関数をチューニングする新しい方法を学ぶことに集中する。
  論文  参考訳（メタデータ） (2023-05-18T13:30:29Z)
• MogaNet: Multi-order Gated Aggregation Network [64.16774341908365]
  我々は,識別的視覚的表現学習のために,MogaNetと呼ばれる現代ConvNetの新たなファミリーを提案する。 MogaNetは概念的に単純だが効果的な畳み込みをカプセル化し、集約をコンパクトモジュールに集約する。 MogaNetは、ImageNetの最先端のViTやConvNetと比較して、優れたスケーラビリティ、パラメータの大幅な効率、競争性能を示している。
  論文  参考訳（メタデータ） (2022-11-07T04:31:17Z)
• FatNet: High Resolution Kernels for Classification Using Fully Convolutional Optical Neural Networks [0.3867363075280543]
  本稿では,従来のシリコン内分類網の光学的完全畳み込みニューラルネットワークへの変換について述べる。 本稿では、自由空間加速度とより互換性のある画像分類のためのFatNetを提案する。 その結果、元のネットワークに比べて6%低いコストで、畳み込み操作が8.2倍少ないことがわかった。
  論文  参考訳（メタデータ） (2022-10-30T18:31:46Z)
• UniFormer: Unifying Convolution and Self-attention for Visual Recognition [69.68907941116127]
  畳み込みニューラルネットワーク(CNN)とビジョントランスフォーマー(ViT)は、ここ数年で主要なフレームワークである。 コンボリューションと自己注意の利点を簡潔なトランスフォーマー形式にシームレスに統合する新しいUnified TransFormer(UniFormer)を提案する。 我々のUniFormerはImageNet-1K分類において86.3トップ1の精度を実現している。
  論文  参考訳（メタデータ） (2022-01-24T04:39:39Z)
• Self Sparse Generative Adversarial Networks [73.590634413751]
  GAN(Generative Adversarial Networks)は、敵対的トレーニングを通じてデータ分布を学習する監視されていない生成モデルである。 本論文では,パラメータ空間を小さくし,ゼロ勾配問題を軽減するSelf Sparse Generative Adversarial Network (Self-Sparse GAN)を提案する。
  論文  参考訳（メタデータ） (2021-01-26T04:49:12Z)
• LULC Segmentation of RGB Satellite Image Using FCN-8 [0.8155575318208631]
  本稿では,vgg-16重みを持つFCN-8(Fully Convo-lutional Network)を訓練するための重なりのないグリッドベースアプローチを提案する。 FCN-8は、エンコーダによって学習された低分解能の特徴を高分解能でピクセル空間に意味的に投影し、高密度のクラスiカチオンを得る。
  論文  参考訳（メタデータ） (2020-08-24T22:32:30Z)
• FBNetV2: Differentiable Neural Architecture Search for Spatial and Channel Dimensions [70.59851564292828]
  微分可能なニューラルネットワーク探索(DNAS)は、最先端で効率的なニューラルネットワークの設計において大きな成功を収めている。 メモリと計算効率のよいDNAS変異体DMaskingNASを提案する。 このアルゴリズムは、検索スペースを従来のDNASよりも最大1014倍に拡張する。
  論文  参考訳（メタデータ） (2020-04-12T08:52:15Z)
• Analyzing the Dependency of ConvNets on Spatial Information [81.93266969255711]
  本稿では,空間シャッフルとGAP+FCを用いて,学習段階とテスト段階の両方で空間情報を破壊する手法を提案する。 空間情報は、後続の層から小さな性能低下で削除できることを観察する。
  論文  参考訳（メタデータ） (2020-02-05T15:22:32Z)
• ZeroQ: A Novel Zero Shot Quantization Framework [83.63606876854168]
  量子化は、ニューラルネットワークの推論時間とメモリフットプリントを削減するための有望なアプローチである。 既存のゼロショット量子化法では、異なるエポックを用いてこの問題に対処するが、性能は低下する。 本稿では,この問題に対処する新しいゼロショット量子化フレームワークであるZeroQを提案する。
  論文  参考訳（メタデータ） (2020-01-01T23:58:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。