論文の概要: Fast Test Input Generation for Finding Deviated Behaviors in Compressed Deep Neural Network

• arxiv url: http://arxiv.org/abs/2112.02819v1
• Date: Mon, 6 Dec 2021 07:12:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-07 17:34:34.520974
• Title: Fast Test Input Generation for Finding Deviated Behaviors in Compressed Deep Neural Network
• Title（参考訳）: 圧縮深層ニューラルネットワークにおける逸脱行動検出のための高速テスト入力生成
• Authors: Yongqiang Tian, Wuqi Zhang, Ming Wen, Shing-Chi Cheung, Chengnian Sun, Shiqing Ma, Yu Jiang
• Abstract要約: 本稿では,TriggerFinder を用いて,圧縮モデルにおける不規則な動作をトリガーする入力を自動的に識別する手法を提案する。 2つのデータセットを持つ18の圧縮モデル上でTriggerFinderを評価する。
• 参考スコア（独自算出の注目度）: 18.205951607889556
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Model compression can significantly reduce sizes of deep neural network (DNN) models so that large, sophisticated models after compression can be deployed on resource-limited mobile and IoT devices. However, model compression often introduces deviated behaviors into a compressed model: the original and compressed models output different prediction results for the same input. Hence, it is critical to warn developers and help them comprehensively evaluate possible consequences of such behaviors before deployment. To this end, we propose TriggerFinder, a novel, effective and efficient testing approach to automatically identifying inputs to trigger deviated behaviors in compressed models. Given an input i as a seed, TriggerFinder iteratively applies a series of mutation operations to change i until the resulting input triggers a deviated behavior. However, compressed models usually hide their architecture and gradient information; without such internal information as guidance, it becomes difficult to effectively and efficiently trigger deviated behaviors. To tackle this challenge, we propose a novel fitness function to determine the mutated input that is closer to the inputs that can trigger the deviated predictions. Furthermore, TriggerFinder models this search problem as a Markov Chain process and leverages the Metropolis-Hasting algorithm to guide the selection of mutation operators. We evaluated TriggerFinder on 18 compressed models with two datasets. The experiment results demonstrate that TriggerFinder can successfully find triggering inputs for all seed inputs while the baseline fails in certain cases. As for efficiency, TriggerFinder is 5.2x-115.8x as fast as the baselines. Furthermore, the queries required by TriggerFinder to find one triggering input is only 51.8x-535.6x as small as the baseline.
• Abstract（参考訳）: モデル圧縮はディープニューラルネットワーク(DNN)モデルのサイズを大幅に削減し、リソース制限されたモバイルおよびIoTデバイスに圧縮後の大規模で洗練されたモデルをデプロイできるようにする。 しかし、モデル圧縮はしばしば圧縮されたモデルに分散した振る舞いを導入する:オリジナルモデルと圧縮モデルは同じ入力に対して異なる予測結果を出力する。 したがって、開発者に警告し、配置前にそのような振る舞いの結果を包括的に評価するのを助けることが重要です。 そこで本研究では,圧縮モデルにおいて入力を自動的に識別し,分散した振る舞いをトリガーする手法であるトリガーファインダーを提案する。 インプット i がシードとして与えられたとき、TriggerFinder は一連の突然変異操作を反復的に適用して i を変更する。 しかし、圧縮されたモデルは通常、アーキテクチャや勾配情報を隠すが、ガイダンスのような内部情報がなければ、効果的かつ効率的に逸脱行動を起こすことが困難になる。 この課題に取り組むために,我々は,変化した予測をトリガーする入力に近い変化した入力を決定するための新しい適合関数を提案する。 さらに、TriggerFinderはこの探索問題をマルコフ連鎖プロセスとしてモデル化し、メトロポリス・ハスティングアルゴリズムを利用して突然変異作用素の選択を導く。 2つのデータセットを持つ18の圧縮モデル上でTriggerFinderを評価した。 実験の結果、TriggerFinderは、特定のケースでベースラインが失敗しながら、すべてのシードインプットに対してトリガー入力を見つけることに成功した。 効率に関しては、TriggerFinderはベースラインの5.2x-115.8倍高速である。 さらに、トリガーファインダーが1つのトリガー入力を見つけるのに必要なクエリは、ベースラインの51.8x-535.6xである。

関連論文リスト

• PerfGen: Automated Performance Benchmark Generation for Big Data Analytics [6.4905318866478625]
  計算スキュー、データスキュー、メモリスキューなど、ビッグデータ分析における性能低下の多くの症状が入力に依存する。 PerfGenはパフォーマンステストのためにインプットを自動的に生成するように設計されている。 PerfGenは、パフォーマンスの症状を誘発するインプットを生成する場合、従来のファジングアプローチと比較して、少なくとも11倍のスピードアップを達成する。
  論文  参考訳（メタデータ） (2024-12-06T00:58:20Z)
• Robust and Transferable Backdoor Attacks Against Deep Image Compression With Selective Frequency Prior [118.92747171905727]
  本稿では,学習画像の圧縮モデルに複数のトリガを付加したバックドアアタックを起動するための新しい周波数ベースのトリガインジェクションモデルを提案する。 1) 圧縮品質をビットレートと再現精度で劣化させる,2) 顔認識やセマンティックセグメンテーションといったタスク駆動型対策を目標とする,様々なシナリオに適した攻撃目標を設計する。 実験の結果, トリガーインジェクションモデルと, エンコーダパラメータの微調整を組み合わせることで, 複数のバックドアとトリガーを1つの圧縮モデルに注入することができた。
  論文  参考訳（メタデータ） (2024-12-02T15:58:40Z)
• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• The Persian Rug: solving toy models of superposition using large-scale symmetries [0.0]
  入力次元が大きければ最小限の非線形スパースデータオートエンコーダによって学習されたアルゴリズムの完全なメカニスティック記述を示す。 我々の研究は、オートエンコーダの構造を理解する技術を導入することによって、ニューラルネットワークの解釈可能性に貢献している。
  論文  参考訳（メタデータ） (2024-10-15T22:52:45Z)
• Compression of Structured Data with Autoencoders: Provable Benefit of Nonlinearities and Depth [83.15263499262824]
  勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。 浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。 CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
  論文  参考訳（メタデータ） (2024-02-07T16:32:29Z)
• Occlusion-based Detection of Trojan-triggering Inputs in Large Language Models of Code [12.590783740412157]
  大規模言語モデル(LLM)は、ソフトウェア開発の一体的な部分になりつつある。 潜在的攻撃面は、有毒なデータをトレーニングデータに注入して、モデルを脆弱にする、いわゆるトロイの木馬である。 モデル内にマニピュティブな振る舞いを隠すことで、ダウンストリームタスクにおけるモデルの整合性を損なうという重大な脅威を引き起こす可能性がある。
  論文  参考訳（メタデータ） (2023-12-07T02:44:35Z)
• Backdoor Attacks Against Deep Image Compression via Adaptive Frequency Trigger [106.10954454667757]
  本稿では,学習画像圧縮モデルに対する複数のトリガーを用いたバックドアアタックを提案する。 既存の圧縮システムや標準で広く使われている離散コサイン変換(DCT)に動機付けられ,周波数ベースのトリガーインジェクションモデルを提案する。
  論文  参考訳（メタデータ） (2023-02-28T15:39:31Z)
• CrAM: A Compression-Aware Minimizer [103.29159003723815]
  本稿では、CrAMと呼ばれる新しい圧縮対応最小化器を提案し、最適化ステップを原則的に修正する。 CrAMは、標準のSGD/アダムベースベースラインよりも精度が高い密度のモデルを生成するが、重量計算では安定である。 CrAMは、転送学習のためにうまく機能するスパースモデルを生成することができ、GPUハードウェアでサポートされている半構造化の2:4プルーニングパターンでも機能する。
  論文  参考訳（メタデータ） (2022-07-28T16:13:28Z)
• An Adaptive Black-box Backdoor Detection Method for Deep Neural Networks [25.593824693347113]
  ディープニューラルネットワーク(DNN)は、医療診断や自律運転など、さまざまな分野において前例のないパフォーマンスを示している。 それらは、ステルスシートリガーによって制御され、活性化されるニューラルトロイの木馬攻撃(NT)に対して脆弱である。 本稿では,事前訓練したトロイの木馬が展開前にトロイの木馬に検出されたかどうかを検査するロバストで適応的なトロイの木馬検出手法を提案する。
  論文  参考訳（メタデータ） (2022-04-08T23:41:19Z)
• MINIMAL: Mining Models for Data Free Universal Adversarial Triggers [57.14359126600029]
  我々は、NLPモデルから入力非依存の逆のトリガーをマイニングするための、新しいデータフリーアプローチ、MINIMALを提案する。 我々はスタンフォード・センティメント・ツリーバンクの正のクラスを93.6%から9.6%に減らした。 SNLI(Stanford Natural Language Inference)では、このシングルワードトリガーによって、エンターメントクラスの精度が90.95%から0.6%未満に低下する。
  論文  参考訳（メタデータ） (2021-09-25T17:24:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。