論文の概要: VeriSparse: Training Verified Locally Robust Sparse Neural Networks from Scratch

• arxiv url: http://arxiv.org/abs/2211.09945v5
• Date: Tue, 28 Mar 2023 15:18:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-29 19:28:35.912390
• Title: VeriSparse: Training Verified Locally Robust Sparse Neural Networks from Scratch
• Title（参考訳）: verisparse: ローカルなロバストなスパースニューラルネットワークをスクラッチからトレーニングする
• Authors: Sawinder Kaur, Yi Xiao, Asif Salekin
• Abstract要約: VeriSparseは,局所的に堅牢なスパースネットワークを検索するフレームワークである。 VeriSparseは構造化されたスパーシフィケーションと非構造化されたスパーシフィケーションの両方を実行し、ストレージ、コンピューティング・リソース、計算時間短縮を可能にする。 各種ベンチマークおよびアプリケーション固有のデータセットを評価し,VeriSparseの有効性と一般化性について検討した。
• 参考スコア（独自算出の注目度）: 9.934826033387353
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Several safety-critical applications such as self-navigation, health care, and industrial control systems use embedded systems as their core. Recent advancements in Neural Networks (NNs) in approximating complex functions make them well-suited for these domains. However, the compute-intensive nature of NNs limits their deployment and training in embedded systems with limited computation and storage capacities. Moreover, the adversarial vulnerability of NNs challenges their use in safety-critical scenarios. Hence, developing sparse models having robustness guarantees while leveraging fewer resources during training is critical in expanding NNs' use in safety-critical and resource-constrained embedding system settings. This paper presents 'VeriSparse'-- a framework to search verified locally robust sparse networks starting from a random sparse initialization (i.e., scratch). VeriSparse obtains sparse NNs exhibiting similar or higher verified local robustness, requiring one-third of the training time compared to the state-of-the-art approaches. Furthermore, VeriSparse performs both structured and unstructured sparsification, enabling storage, computing-resource, and computation time reduction during inference generation. Thus, it facilitates the resource-constraint embedding platforms to leverage verified robust NN models, expanding their scope to safety-critical, real-time, and edge applications. We exhaustively investigated VeriSparse's efficacy and generalizability by evaluating various benchmark and application-specific datasets across several model architectures.
• Abstract（参考訳）: セルフナビゲーション、医療、産業制御システムなどの安全クリティカルなアプリケーションでは、組み込みシステムをコアとして使用している。 複雑な関数の近似におけるニューラルネットワーク(NN)の最近の進歩は、これらの領域に適している。 しかし、NNの計算集約性は、計算能力と記憶能力に制限のある組み込みシステムでのデプロイメントとトレーニングを制限する。 さらに、NNの敵対的脆弱性は、安全クリティカルなシナリオにおける彼らの使用に挑戦する。 したがって、トレーニング中にリソースを少ない値で活用しながら堅牢性を保証するスパースモデルの開発は、nnsの安全性クリティカルな組み込みシステム設定における使用拡大に不可欠である。 本稿では,ランダムなスパース初期化(スクラッチ)から始まる,局所的に堅牢なスパースネットワークを探索するフレームワークであるVeriSparseを提案する。 VeriSparseは、最先端のアプローチと比較してトレーニング時間の3分の1を要し、同じまたは高い検証されたローカルロバスト性を示すスパースNNを取得する。 さらに、verisparseは構造化と非構造化の両方のスパーシフィケーションを実行し、ストレージ、計算リソース、計算時間の削減を可能にする。 これにより、リソース制約の組込みプラットフォームが信頼性の高い堅牢なNNモデルを活用し、そのスコープを安全クリティカル、リアルタイム、エッジアプリケーションに拡張する。 様々なモデルアーキテクチャにまたがる様々なベンチマークおよびアプリケーション固有のデータセットを評価し,verisparseの有効性と汎用性について徹底的に検討した。

関連論文リスト

• Adaptable Embeddings Network (AEN) [49.1574468325115]
  我々はカーネル密度推定(KDE)を用いた新しいデュアルエンコーダアーキテクチャであるAdaptable Embeddings Networks (AEN)を紹介する。 AENは、再トレーニングせずに分類基準のランタイム適応を可能にし、非自己回帰的である。 アーキテクチャのプリプロセスとキャッシュ条件の埋め込み能力は、エッジコンピューティングアプリケーションやリアルタイム監視システムに最適である。
  論文  参考訳（メタデータ） (2024-11-21T02:15:52Z)
• Exploring Cross-model Neuronal Correlations in the Context of Predicting Model Performance and Generalizability [2.6708879445664584]
  本稿では,新しいモデルを用いたモデルの性能評価手法を提案する。 提案手法は,1つのネットワーク内の各ニューロンに対して,類似の出力を生成する他のネットワークにニューロンが存在するかどうかを判定することにより相関性を評価する。
  論文  参考訳（メタデータ） (2024-08-15T22:57:39Z)
• Computer Vision Model Compression Techniques for Embedded Systems: A Survey [75.38606213726906]
  本稿では,コンピュータビジョンタスクに適用される主モデル圧縮技術について述べる。 本稿では,圧縮サブ領域の特性について述べるとともに,異なるアプローチを比較し,最適な手法を選択する方法について論じる。 初期の実装課題を克服する上で、研究者や新しい実践者を支援するためのコードも共有しています。
  論文  参考訳（メタデータ） (2024-08-15T16:41:55Z)
• Model Agnostic Hybrid Sharding For Heterogeneous Distributed Inference [11.39873199479642]
  Nesaは、分散AI推論用に設計されたモデルに依存しないシャーディングフレームワークを導入した。 私たちのフレームワークでは、ブロックチェーンベースのディープニューラルネットワークシャーディングを使用して、さまざまなノードネットワークに計算タスクを分散しています。 われわれの結果は、最先端のAI技術へのアクセスを民主化する可能性を強調している。
  論文  参考訳（メタデータ） (2024-07-29T08:18:48Z)
• PriRoAgg: Achieving Robust Model Aggregation with Minimum Privacy Leakage for Federated Learning [49.916365792036636]
  フェデレートラーニング(FL)は、大規模分散ユーザデータを活用する可能性から、最近大きな勢いを増している。 送信されたモデル更新は、センシティブなユーザ情報をリークする可能性があり、ローカルなトレーニングプロセスの集中的な制御の欠如は、モデル更新に対する悪意のある操作の影響を受けやすいグローバルモデルを残します。 我々は、Lagrange符号化計算と分散ゼロ知識証明を利用した汎用フレームワークPriRoAggを開発し、集約されたプライバシを満たすとともに、幅広いロバストな集約アルゴリズムを実行する。
  論文  参考訳（メタデータ） (2024-07-12T03:18:08Z)
• LCS: Learning Compressible Subspaces for Adaptive Network Compression at Inference Time [57.52251547365967]
  本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。 構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。 我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
  論文  参考訳（メタデータ） (2021-10-08T17:03:34Z)
• Federated Learning with Unreliable Clients: Performance Analysis and Mechanism Design [76.29738151117583]
  Federated Learning(FL)は、分散クライアント間で効果的な機械学習モデルをトレーニングするための有望なツールとなっている。 しかし、低品質のモデルは信頼性の低いクライアントによってアグリゲータサーバにアップロードすることができ、劣化やトレーニングの崩壊につながる。 クライアントの信頼できない振る舞いをモデル化し、このようなセキュリティリスクを軽減するための防御メカニズムを提案する。
  論文  参考訳（メタデータ） (2021-05-10T08:02:27Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)
• Compact CNN Structure Learning by Knowledge Distillation [34.36242082055978]
  知識蒸留とカスタマイズ可能なブロックワイズ最適化を活用し、軽量なCNN構造を学習するフレームワークを提案する。 提案手法は,予測精度の向上を図りながら,アートネットワーク圧縮の状態を再現する。 特に,すでにコンパクトなネットワークであるMobileNet_v2では,モデル圧縮が最大2倍,モデル圧縮が5.2倍向上する。
  論文  参考訳（メタデータ） (2021-04-19T10:34:22Z)
• Dataless Model Selection with the Deep Frame Potential [45.16941644841897]
  ネットワークをその固有の能力で定量化し、ユニークでロバストな表現を行う。 本稿では,表現安定性にほぼ関係するが,ネットワーク構造にのみ依存する最小限のコヒーレンス尺度であるディープフレームポテンシャルを提案する。 モデル選択の基準としての利用を検証するとともに,ネットワークアーキテクチャの多種多様な残差および密結合化について,一般化誤差との相関性を示す。
  論文  参考訳（メタデータ） (2020-03-30T23:27:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。