論文の概要: Faster and Accurate Neural Networks with Semantic Inference

• arxiv url: http://arxiv.org/abs/2310.01259v2
• Date: Tue, 3 Oct 2023 15:08:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-04 21:21:33.830894
• Title: Faster and Accurate Neural Networks with Semantic Inference
• Title（参考訳）: 意味推論を用いた高速で正確なニューラルネットワーク
• Authors: Sazzad Sayyed, Jonathan Ashdown, Francesco Restuccia
• Abstract要約: 我々は、潜在表現における固有の冗長性を利用して、性能の低下に制限された計算負荷を削減する。 セマンティック推論(SINF)と呼ばれる新しいフレームワークは、オブジェクトが属するセマンティッククラスタを特定し、推論のためにそのセマンティッククラスタから抽出されたサブグラフを実行する。 識別能力スコア(DCS)と呼ばれる新しいアプローチでは、特定のセマンティッククラスタのメンバー間で識別可能なサブグラフを見つける。
• 参考スコア（独自算出の注目度）: 9.372908891132772
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks (DNN) usually come with a significant computational burden. While approaches such as structured pruning and mobile-specific DNNs have been proposed, they incur drastic accuracy loss. In this paper we leverage the intrinsic redundancy in latent representations to reduce the computational load with limited loss in performance. We show that semantically similar inputs share many filters, especially in the earlier layers. Thus, semantically similar classes can be clustered to create cluster-specific subgraphs. To this end, we propose a new framework called Semantic Inference (SINF). In short, SINF (i) identifies the semantic cluster the object belongs to using a small additional classifier and (ii) executes the subgraph extracted from the base DNN related to that semantic cluster for inference. To extract each cluster-specific subgraph, we propose a new approach named Discriminative Capability Score (DCS) that finds the subgraph with the capability to discriminate among the members of a specific semantic cluster. DCS is independent from SINF and can be applied to any DNN. We benchmark the performance of DCS on the VGG16, VGG19, and ResNet50 DNNs trained on the CIFAR100 dataset against 6 state-of-the-art pruning approaches. Our results show that (i) SINF reduces the inference time of VGG19, VGG16, and ResNet50 respectively by up to 35%, 29% and 15% with only 0.17%, 3.75%, and 6.75% accuracy loss (ii) DCS achieves respectively up to 3.65%, 4.25%, and 2.36% better accuracy with VGG16, VGG19, and ResNet50 with respect to existing discriminative scores (iii) when used as a pruning criterion, DCS achieves up to 8.13% accuracy gain with 5.82% less parameters than the existing state of the art work published at ICLR 2023 (iv) when considering per-cluster accuracy, SINF performs on average 5.73%, 8.38% and 6.36% better than the base VGG16, VGG19, and ResNet50.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は通常、かなりの計算負荷を伴う。 構造化プルーニングや移動特化DNNなどの手法が提案されているが,その精度は著しく低下している。 本稿では,潜在表現における固有冗長性を利用して,性能の低下を抑えながら計算負荷を削減する。 意味的に類似した入力が、特に以前の層で多くのフィルタを共有することを示す。 したがって、セマンティックに類似したクラスをクラスタ化し、クラスタ固有のサブグラフを作成することができる。 そこで我々はSemantic Inference (SINF)と呼ばれる新しいフレームワークを提案する。 要するに、SINF i) オブジェクトが属するセマンティッククラスタを、小さな追加の分類器を使用して識別し、 (ii)そのセマンティッククラスタに関連するベースDNNから抽出されたサブグラフを実行して推論する。 各クラスタ固有のサブグラフを抽出するために,特定の意味クラスタの構成員を識別する能力を持つサブグラフを識別能力スコア(dcs)という新しい手法を提案する。 DCSはSINFとは独立であり、任意のDNNに適用できる。 我々は、CIFAR100データセットでトレーニングされたVGG16、VGG19、ResNet50 DNN上でのDCSの性能を、最先端の6つのプルーニングアプローチと比較した。 私たちの結果は (i)SINFは、VGG19、VGG16、ResNet50の推測時間を、0.17%、3.75%、および6.75%の精度でそれぞれ35%、29%、15%まで減少させる (ii)DCSはVGG16、VGG19、ResNet50でそれぞれ3.65%、4.25%、および2.36%の精度を達成する。 (iii)刈り取り基準として使用すると、iclr2023で公表された美術品の現在の状態よりも5.82%少ない8.13%の精度向上が得られる。 (iv)クラスタごとの精度を考慮すると、SINFはVGG16、VGG19、ResNet50よりも平均5.73%、8.38%、および6.36%良く動作する。

関連論文リスト

• Graph Neural Networks Need Cluster-Normalize-Activate Modules [19.866482154218374]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データの非ユークリッドディープラーニングモデルである。 本稿では,CNA(Cluster-Normalize-Activate)という3つのステップからなるプラグアンドプレイモジュールを提案する。 CNAはノード分類とプロパティ予測タスクにおける最先端の精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-12-05T10:59:20Z)
• Towards Generalized Entropic Sparsification for Convolutional Neural Networks [0.0]
  畳み込みニューラルネットワーク(CNN)は過度にパラメータ化されていると報告されている。 本稿では,計算可能エントロピー緩和を目的とした数学的アイデアに基づく層間データ駆動プルーニング手法を提案する。 スパースサブネットワークは、ネットワークエントロピー最小化をスペーサ性制約として使用した、事前訓練された(フル)CNNから得られる。
  論文  参考訳（メタデータ） (2024-04-06T21:33:39Z)
• Touch Analysis: An Empirical Evaluation of Machine Learning Classification Algorithms on Touch Data [7.018254711671888]
  個人を正しく分類するための新しいDeep Neural Net(DNN)アーキテクチャを提案する。 新機能と既存の機能を組み合わせると、SVMとkNNはそれぞれ94.7%と94.6%の分類精度を達成した。
  論文  参考訳（メタデータ） (2023-11-23T20:31:48Z)
• Upcycling Models under Domain and Category Shift [95.22147885947732]
  グローバルかつ局所的なクラスタリング学習技術(GLC)を導入する。 我々は、異なる対象クラス間での区別を実現するために、新しい1-vs-allグローバルクラスタリングアルゴリズムを設計する。 注目すべきは、最も困難なオープンパーティルセットDAシナリオにおいて、GLCは、VisDAベンチマークでUMADを14.8%上回っていることである。
  論文  参考訳（メタデータ） (2023-03-13T13:44:04Z)
• EGRC-Net: Embedding-induced Graph Refinement Clustering Network [66.44293190793294]
  埋め込みによるグラフリファインメントクラスタリングネットワーク (EGRC-Net) という新しいグラフクラスタリングネットワークを提案する。 EGRC-Netは学習した埋め込みを利用して初期グラフを適応的に洗練し、クラスタリング性能を向上させる。 提案手法はいくつかの最先端手法より一貫して優れている。
  論文  参考訳（メタデータ） (2022-11-19T09:08:43Z)
• Focal Modulation Networks [105.93086472906765]
  自己注意(SA)は完全に焦点変調ネットワーク(FocalNet)に置き換えられる ImageNet-1Kの精度は82.3%、83.9%である。 FocalNetsは下流のタスクに転送する際、顕著な優位性を示す。
  論文  参考訳（メタデータ） (2022-03-22T17:54:50Z)
• Training Compact CNNs for Image Classification using Dynamic-coded Filter Fusion [139.71852076031962]
  動的符号化フィルタ融合(DCFF)と呼ばれる新しいフィルタプルーニング法を提案する。 我々は、効率的な画像分類のために、計算経済的および正規化のない方法でコンパクトなCNNを導出する。 我々のDCFFは、72.77MのFLOPと1.06Mのパラメータしか持たないコンパクトなVGGNet-16を導出し、トップ1の精度は93.47%に達した。
  論文  参考訳（メタデータ） (2021-07-14T18:07:38Z)
• Noise Injection-based Regularization for Point Cloud Processing [17.742343473850063]
  ノイズ注入に基づく正規化は、ディープニューラルネットワーク(DNN)の性能向上のために画像領域で広く利用されている。 ポイント特徴マップ上でノイズインジェクションを行うために,DropFeat,DropPoint,DropClusterといった一連の正規化手法を提案する。 実験の結果,本手法による性能改善効果が示された。
  論文  参考訳（メタデータ） (2021-03-28T00:55:25Z)
• ACP: Automatic Channel Pruning via Clustering and Swarm Intelligence Optimization for CNN [6.662639002101124]
  近年、畳み込みニューラルネットワーク(CNN)はより深く広がっています。 既存のマグニチュードベースの切断方法は効率的ですが、圧縮ネットワークのパフォーマンスは予測不可能です。 新規な自動チャネル切断法(ACP)を提案する。 ACPは3つの異なる分類データセットに基づいていくつかの最先端CNNに対して評価される。
  論文  参考訳（メタデータ） (2021-01-16T08:56:38Z)
• Inception Convolution with Efficient Dilation Search [121.41030859447487]
  拡散畳み込みは、効果的な受容場を制御し、オブジェクトの大規模な分散を処理するための標準的な畳み込みニューラルネットワークの重要な変異体である。 そこで我々は,異なる軸,チャネル,層間の独立な拡散を有する拡張畳み込みの新たな変異体,すなわち開始(拡張)畳み込みを提案する。 本稿では,データに複雑なインセプション・コンボリューションを適合させる実用的な手法を探索し,統計的最適化に基づく簡易かつ効果的な拡張探索アルゴリズム(EDO)を開発した。
  論文  参考訳（メタデータ） (2020-12-25T14:58:35Z)
• Second-Order Provable Defenses against Adversarial Attacks [63.34032156196848]
  ネットワークの固有値が有界であれば、凸最適化を用いて$l$ノルムの証明を効率的に計算できることを示す。 認証精度は5.78%,44.96%,43.19%であった。
  論文  参考訳（メタデータ） (2020-06-01T05:55:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。