論文の概要: SparseVLR: A Novel Framework for Verified Locally Robust Sparse Neural Networks Search

• arxiv url: http://arxiv.org/abs/2211.09945v1
• Date: Thu, 17 Nov 2022 23:42:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 15:02:39.797104
• Title: SparseVLR: A Novel Framework for Verified Locally Robust Sparse Neural Networks Search
• Title（参考訳）: SparseVLR: 局所ロバストなスパースニューラルネットワーク探索のための新しいフレームワーク
• Authors: Sawinder Kaur, Asif Salekin
• Abstract要約: 本研究では,局所的に堅牢なスパースネットワークを探索する新しいフレームワークであるSparseVLRを開発する。 SparseVLRは事前訓練された高密度モデルを必要としないため、トレーニング時間を50%削減できる。 我々は,SparseVLRの有効性と一般化性について,各種ベンチマークおよびアプリケーション固有のデータセットの評価により徹底的に検討した。
• 参考スコア（独自算出の注目度）: 4.695687634290405
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The compute-intensive nature of neural networks (NNs) limits their deployment in resource-constrained environments such as cell phones, drones, autonomous robots, etc. Hence, developing robust sparse models fit for safety-critical applications has been an issue of longstanding interest. Though adversarial training with model sparsification has been combined to attain the goal, conventional adversarial training approaches provide no formal guarantee that the models would be robust against any rogue samples in a restricted space around a benign sample. Recently proposed verified local robustness techniques provide such a guarantee. This is the first paper that combines the ideas from verified local robustness and dynamic sparse training to develop `SparseVLR'-- a novel framework to search verified locally robust sparse networks. Obtained sparse models exhibit accuracy and robustness comparable to their dense counterparts at sparsity as high as 99%. Furthermore, unlike most conventional sparsification techniques, SparseVLR does not require a pre-trained dense model, reducing the training time by 50%. We exhaustively investigated SparseVLR's efficacy and generalizability by evaluating various benchmark and application-specific datasets across several models.
• Abstract（参考訳）: ニューラルネットワーク(NN)の計算集約性は、携帯電話やドローン、自律ロボットなど、リソースに制約のある環境への展開を制限する。 したがって、安全クリティカルなアプリケーションに適した堅牢なスパースモデルの開発は、長年の関心事となっている。 モデルスペーシフィケーションによる敵のトレーニングは目標を達成するために組み合わせられているが、従来の敵のトレーニングアプローチでは、モデルが良性サンプルの周囲の制限された空間におけるどのローグサンプルに対しても堅牢であるという正式な保証は得られていない。 最近提案された局所ロバスト性技術はそのような保証を提供する。 検証された局所的ロバスト性と動的スパーストレーニングのアイデアを組み合わせた最初の論文であり、'sparsevlr'-検証された局所的ロバストなスパースネットワークを探索するための新しいフレームワークである。 得られたスパースモデルでは、99%の精度で密度の高いモデルに匹敵する精度と頑健性を示す。 さらに、従来のスペーシフィケーション技術とは異なり、SparseVLRは事前訓練された高密度モデルを必要としないため、トレーニング時間を50%短縮する。 我々は,SparseVLRの有効性と一般化性について,様々なベンチマークおよびアプリケーション固有のデータセットを複数のモデルで評価することによって徹底的に検討した。

関連論文リスト

• Adaptable Embeddings Network (AEN) [49.1574468325115]
  我々はカーネル密度推定(KDE)を用いた新しいデュアルエンコーダアーキテクチャであるAdaptable Embeddings Networks (AEN)を紹介する。 AENは、再トレーニングせずに分類基準のランタイム適応を可能にし、非自己回帰的である。 アーキテクチャのプリプロセスとキャッシュ条件の埋め込み能力は、エッジコンピューティングアプリケーションやリアルタイム監視システムに最適である。
  論文  参考訳（メタデータ） (2024-11-21T02:15:52Z)
• Exploring Cross-model Neuronal Correlations in the Context of Predicting Model Performance and Generalizability [2.6708879445664584]
  本稿では,新しいモデルを用いたモデルの性能評価手法を提案する。 提案手法は,1つのネットワーク内の各ニューロンに対して,類似の出力を生成する他のネットワークにニューロンが存在するかどうかを判定することにより相関性を評価する。
  論文  参考訳（メタデータ） (2024-08-15T22:57:39Z)
• Computer Vision Model Compression Techniques for Embedded Systems: A Survey [75.38606213726906]
  本稿では,コンピュータビジョンタスクに適用される主モデル圧縮技術について述べる。 本稿では,圧縮サブ領域の特性について述べるとともに,異なるアプローチを比較し,最適な手法を選択する方法について論じる。 初期の実装課題を克服する上で、研究者や新しい実践者を支援するためのコードも共有しています。
  論文  参考訳（メタデータ） (2024-08-15T16:41:55Z)
• Model Agnostic Hybrid Sharding For Heterogeneous Distributed Inference [11.39873199479642]
  Nesaは、分散AI推論用に設計されたモデルに依存しないシャーディングフレームワークを導入した。 私たちのフレームワークでは、ブロックチェーンベースのディープニューラルネットワークシャーディングを使用して、さまざまなノードネットワークに計算タスクを分散しています。 われわれの結果は、最先端のAI技術へのアクセスを民主化する可能性を強調している。
  論文  参考訳（メタデータ） (2024-07-29T08:18:48Z)
• PriRoAgg: Achieving Robust Model Aggregation with Minimum Privacy Leakage for Federated Learning [49.916365792036636]
  フェデレートラーニング(FL)は、大規模分散ユーザデータを活用する可能性から、最近大きな勢いを増している。 送信されたモデル更新は、センシティブなユーザ情報をリークする可能性があり、ローカルなトレーニングプロセスの集中的な制御の欠如は、モデル更新に対する悪意のある操作の影響を受けやすいグローバルモデルを残します。 我々は、Lagrange符号化計算と分散ゼロ知識証明を利用した汎用フレームワークPriRoAggを開発し、集約されたプライバシを満たすとともに、幅広いロバストな集約アルゴリズムを実行する。
  論文  参考訳（メタデータ） (2024-07-12T03:18:08Z)
• LCS: Learning Compressible Subspaces for Adaptive Network Compression at Inference Time [57.52251547365967]
  本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。 構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。 我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
  論文  参考訳（メタデータ） (2021-10-08T17:03:34Z)
• Federated Learning with Unreliable Clients: Performance Analysis and Mechanism Design [76.29738151117583]
  Federated Learning(FL)は、分散クライアント間で効果的な機械学習モデルをトレーニングするための有望なツールとなっている。 しかし、低品質のモデルは信頼性の低いクライアントによってアグリゲータサーバにアップロードすることができ、劣化やトレーニングの崩壊につながる。 クライアントの信頼できない振る舞いをモデル化し、このようなセキュリティリスクを軽減するための防御メカニズムを提案する。
  論文  参考訳（メタデータ） (2021-05-10T08:02:27Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)
• Compact CNN Structure Learning by Knowledge Distillation [34.36242082055978]
  知識蒸留とカスタマイズ可能なブロックワイズ最適化を活用し、軽量なCNN構造を学習するフレームワークを提案する。 提案手法は,予測精度の向上を図りながら,アートネットワーク圧縮の状態を再現する。 特に,すでにコンパクトなネットワークであるMobileNet_v2では,モデル圧縮が最大2倍,モデル圧縮が5.2倍向上する。
  論文  参考訳（メタデータ） (2021-04-19T10:34:22Z)
• Dataless Model Selection with the Deep Frame Potential [45.16941644841897]
  ネットワークをその固有の能力で定量化し、ユニークでロバストな表現を行う。 本稿では,表現安定性にほぼ関係するが,ネットワーク構造にのみ依存する最小限のコヒーレンス尺度であるディープフレームポテンシャルを提案する。 モデル選択の基準としての利用を検証するとともに,ネットワークアーキテクチャの多種多様な残差および密結合化について,一般化誤差との相関性を示す。
  論文  参考訳（メタデータ） (2020-03-30T23:27:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。