論文の概要: VeriCompress: A Tool to Streamline the Synthesis of Verified Robust Compressed Neural Networks from Scratch

• arxiv url: http://arxiv.org/abs/2211.09945v7
• Date: Tue, 21 Nov 2023 18:03:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 05:54:05.279430
• Title: VeriCompress: A Tool to Streamline the Synthesis of Verified Robust Compressed Neural Networks from Scratch
• Title（参考訳）: VeriCompress: 検証されたロバスト圧縮ニューラルネットワークの合成をスクラッチから効率化するツール
• Authors: Sawinder Kaur, Yi Xiao, Asif Salekin
• Abstract要約: AIの広範な統合により、安全クリティカルなシナリオのために、エッジや同様のリミテッドリソースプラットフォームにニューラルネットワーク(NN)がデプロイされるようになる。 本研究では,頑健性を保証する圧縮モデルの検索とトレーニングを自動化するツールであるVeriCompressを紹介する。 この方法は、最先端のアプローチよりも2～3倍高速で、それぞれ15.1ポイントと9.8ポイントの平均精度とロバスト性ゲインで関連するベースラインアプローチを上回ります。
• 参考スコア（独自算出の注目度）: 10.061078548888567
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: AI's widespread integration has led to neural networks (NNs) deployment on edge and similar limited-resource platforms for safety-critical scenarios. Yet, NN's fragility raises concerns about reliable inference. Moreover, constrained platforms demand compact networks. This study introduces VeriCompress, a tool that automates the search and training of compressed models with robustness guarantees. These models are well-suited for safety-critical applications and adhere to predefined architecture and size limitations, making them deployable on resource-restricted platforms. The method trains models 2-3 times faster than the state-of-the-art approaches, surpassing relevant baseline approaches by average accuracy and robustness gains of 15.1 and 9.8 percentage points, respectively. When deployed on a resource-restricted generic platform, these models require 5-8 times less memory and 2-4 times less inference time than models used in verified robustness literature. Our comprehensive evaluation across various model architectures and datasets, including MNIST, CIFAR, SVHN, and a relevant pedestrian detection dataset, showcases VeriCompress's capacity to identify compressed verified robust models with reduced computation overhead compared to current standards. This underscores its potential as a valuable tool for end users, such as developers of safety-critical applications on edge or Internet of Things platforms, empowering them to create suitable models for safety-critical, resource-constrained platforms in their respective domains.
• Abstract（参考訳）: AIの広範な統合により、安全クリティカルなシナリオのために、エッジや同様のリミテッドリソースプラットフォームにニューラルネットワーク(NN)がデプロイされる。 しかし、nnの脆弱さは信頼できる推論に関する懸念を引き起こす。 さらに、制約付きプラットフォームはコンパクトネットワークを要求する。 本研究は,ロバスト性を保証する圧縮モデルの探索とトレーニングを自動化するツールであるvericompressを紹介する。 これらのモデルは安全クリティカルなアプリケーションに適しているため、事前定義されたアーキテクチャとサイズ制限に準拠し、リソース制限のあるプラットフォームにデプロイ可能である。 この方法は、最先端のアプローチよりも2～3倍高速にモデルを訓練し、関連するベースラインアプローチを15.1ポイントと9.8ポイントの平均精度と堅牢性向上で上回った。 リソース制限のあるジェネリックプラットフォームにデプロイする場合、これらのモデルは、5-8倍のメモリと2-4倍の推論時間を必要とする。 MNIST, CIFAR, SVHN, および関連する歩行者検出データセットを含む, さまざまなモデルアーキテクチャおよびデータセットに対する包括的評価では, 計算オーバーヘッドを減らした圧縮されたロバストモデルを特定するVeriCompressの能力を示す。 これにより、エッジ上の安全クリティカルなアプリケーションやiotプラットフォームの開発など、エンドユーザにとって価値のあるツールとしての可能性が高まり、それぞれのドメインにおいて、安全クリティカルでリソース制約のあるプラットフォームに適したモデルの開発が可能になる。

関連論文リスト

• Adaptable Embeddings Network (AEN) [49.1574468325115]
  我々はカーネル密度推定(KDE)を用いた新しいデュアルエンコーダアーキテクチャであるAdaptable Embeddings Networks (AEN)を紹介する。 AENは、再トレーニングせずに分類基準のランタイム適応を可能にし、非自己回帰的である。 アーキテクチャのプリプロセスとキャッシュ条件の埋め込み能力は、エッジコンピューティングアプリケーションやリアルタイム監視システムに最適である。
  論文  参考訳（メタデータ） (2024-11-21T02:15:52Z)
• Exploring Cross-model Neuronal Correlations in the Context of Predicting Model Performance and Generalizability [2.6708879445664584]
  本稿では,新しいモデルを用いたモデルの性能評価手法を提案する。 提案手法は,1つのネットワーク内の各ニューロンに対して,類似の出力を生成する他のネットワークにニューロンが存在するかどうかを判定することにより相関性を評価する。
  論文  参考訳（メタデータ） (2024-08-15T22:57:39Z)
• Computer Vision Model Compression Techniques for Embedded Systems: A Survey [75.38606213726906]
  本稿では,コンピュータビジョンタスクに適用される主モデル圧縮技術について述べる。 本稿では,圧縮サブ領域の特性について述べるとともに,異なるアプローチを比較し,最適な手法を選択する方法について論じる。 初期の実装課題を克服する上で、研究者や新しい実践者を支援するためのコードも共有しています。
  論文  参考訳（メタデータ） (2024-08-15T16:41:55Z)
• Model Agnostic Hybrid Sharding For Heterogeneous Distributed Inference [11.39873199479642]
  Nesaは、分散AI推論用に設計されたモデルに依存しないシャーディングフレームワークを導入した。 私たちのフレームワークでは、ブロックチェーンベースのディープニューラルネットワークシャーディングを使用して、さまざまなノードネットワークに計算タスクを分散しています。 われわれの結果は、最先端のAI技術へのアクセスを民主化する可能性を強調している。
  論文  参考訳（メタデータ） (2024-07-29T08:18:48Z)
• PriRoAgg: Achieving Robust Model Aggregation with Minimum Privacy Leakage for Federated Learning [49.916365792036636]
  フェデレートラーニング(FL)は、大規模分散ユーザデータを活用する可能性から、最近大きな勢いを増している。 送信されたモデル更新は、センシティブなユーザ情報をリークする可能性があり、ローカルなトレーニングプロセスの集中的な制御の欠如は、モデル更新に対する悪意のある操作の影響を受けやすいグローバルモデルを残します。 我々は、Lagrange符号化計算と分散ゼロ知識証明を利用した汎用フレームワークPriRoAggを開発し、集約されたプライバシを満たすとともに、幅広いロバストな集約アルゴリズムを実行する。
  論文  参考訳（メタデータ） (2024-07-12T03:18:08Z)
• LCS: Learning Compressible Subspaces for Adaptive Network Compression at Inference Time [57.52251547365967]
  本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。 構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。 我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
  論文  参考訳（メタデータ） (2021-10-08T17:03:34Z)
• Federated Learning with Unreliable Clients: Performance Analysis and Mechanism Design [76.29738151117583]
  Federated Learning(FL)は、分散クライアント間で効果的な機械学習モデルをトレーニングするための有望なツールとなっている。 しかし、低品質のモデルは信頼性の低いクライアントによってアグリゲータサーバにアップロードすることができ、劣化やトレーニングの崩壊につながる。 クライアントの信頼できない振る舞いをモデル化し、このようなセキュリティリスクを軽減するための防御メカニズムを提案する。
  論文  参考訳（メタデータ） (2021-05-10T08:02:27Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)
• Compact CNN Structure Learning by Knowledge Distillation [34.36242082055978]
  知識蒸留とカスタマイズ可能なブロックワイズ最適化を活用し、軽量なCNN構造を学習するフレームワークを提案する。 提案手法は,予測精度の向上を図りながら,アートネットワーク圧縮の状態を再現する。 特に,すでにコンパクトなネットワークであるMobileNet_v2では,モデル圧縮が最大2倍,モデル圧縮が5.2倍向上する。
  論文  参考訳（メタデータ） (2021-04-19T10:34:22Z)
• Dataless Model Selection with the Deep Frame Potential [45.16941644841897]
  ネットワークをその固有の能力で定量化し、ユニークでロバストな表現を行う。 本稿では,表現安定性にほぼ関係するが,ネットワーク構造にのみ依存する最小限のコヒーレンス尺度であるディープフレームポテンシャルを提案する。 モデル選択の基準としての利用を検証するとともに,ネットワークアーキテクチャの多種多様な残差および密結合化について,一般化誤差との相関性を示す。
  論文  参考訳（メタデータ） (2020-03-30T23:27:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。