論文の概要: Fast Test Input Generation for Finding Deviated Behaviors in Compressed
Deep Neural Network
- arxiv url: http://arxiv.org/abs/2112.02819v1
- Date: Mon, 6 Dec 2021 07:12:49 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-07 17:34:34.520974
- Title: Fast Test Input Generation for Finding Deviated Behaviors in Compressed
Deep Neural Network
- Title(参考訳): 圧縮深層ニューラルネットワークにおける逸脱行動検出のための高速テスト入力生成
- Authors: Yongqiang Tian, Wuqi Zhang, Ming Wen, Shing-Chi Cheung, Chengnian Sun,
Shiqing Ma, Yu Jiang
- Abstract要約: 本稿では,TriggerFinder を用いて,圧縮モデルにおける不規則な動作をトリガーする入力を自動的に識別する手法を提案する。
2つのデータセットを持つ18の圧縮モデル上でTriggerFinderを評価する。
- 参考スコア(独自算出の注目度): 18.205951607889556
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Model compression can significantly reduce sizes of deep neural network (DNN)
models so that large, sophisticated models after compression can be deployed on
resource-limited mobile and IoT devices. However, model compression often
introduces deviated behaviors into a compressed model: the original and
compressed models output different prediction results for the same input.
Hence, it is critical to warn developers and help them comprehensively evaluate
possible consequences of such behaviors before deployment. To this end, we
propose TriggerFinder, a novel, effective and efficient testing approach to
automatically identifying inputs to trigger deviated behaviors in compressed
models. Given an input i as a seed, TriggerFinder iteratively applies a series
of mutation operations to change i until the resulting input triggers a
deviated behavior.
However, compressed models usually hide their architecture and gradient
information; without such internal information as guidance, it becomes
difficult to effectively and efficiently trigger deviated behaviors. To tackle
this challenge, we propose a novel fitness function to determine the mutated
input that is closer to the inputs that can trigger the deviated predictions.
Furthermore, TriggerFinder models this search problem as a Markov Chain process
and leverages the Metropolis-Hasting algorithm to guide the selection of
mutation operators.
We evaluated TriggerFinder on 18 compressed models with two datasets. The
experiment results demonstrate that TriggerFinder can successfully find
triggering inputs for all seed inputs while the baseline fails in certain
cases. As for efficiency, TriggerFinder is 5.2x-115.8x as fast as the
baselines. Furthermore, the queries required by TriggerFinder to find one
triggering input is only 51.8x-535.6x as small as the baseline.
- Abstract(参考訳): モデル圧縮はディープニューラルネットワーク(DNN)モデルのサイズを大幅に削減し、リソース制限されたモバイルおよびIoTデバイスに圧縮後の大規模で洗練されたモデルをデプロイできるようにする。
しかし、モデル圧縮はしばしば圧縮されたモデルに分散した振る舞いを導入する:オリジナルモデルと圧縮モデルは同じ入力に対して異なる予測結果を出力する。
したがって、開発者に警告し、配置前にそのような振る舞いの結果を包括的に評価するのを助けることが重要です。
そこで本研究では,圧縮モデルにおいて入力を自動的に識別し,分散した振る舞いをトリガーする手法であるトリガーファインダーを提案する。
インプット i がシードとして与えられたとき、TriggerFinder は一連の突然変異操作を反復的に適用して i を変更する。
しかし、圧縮されたモデルは通常、アーキテクチャや勾配情報を隠すが、ガイダンスのような内部情報がなければ、効果的かつ効率的に逸脱行動を起こすことが困難になる。
この課題に取り組むために,我々は,変化した予測をトリガーする入力に近い変化した入力を決定するための新しい適合関数を提案する。
さらに、TriggerFinderはこの探索問題をマルコフ連鎖プロセスとしてモデル化し、メトロポリス・ハスティングアルゴリズムを利用して突然変異作用素の選択を導く。
2つのデータセットを持つ18の圧縮モデル上でTriggerFinderを評価した。
実験の結果、TriggerFinderは、特定のケースでベースラインが失敗しながら、すべてのシードインプットに対してトリガー入力を見つけることに成功した。
効率に関しては、TriggerFinderはベースラインの5.2x-115.8倍高速である。
さらに、トリガーファインダーが1つのトリガー入力を見つけるのに必要なクエリは、ベースラインの51.8x-535.6xである。
関連論文リスト
- Compression of Structured Data with Autoencoders: Provable Benefit of
Nonlinearities and Depth [83.15263499262824]
勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。
浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。
CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
論文 参考訳(メタデータ) (2024-02-07T16:32:29Z) - Inferring Data Preconditions from Deep Learning Models for Trustworthy
Prediction in Deployment [25.527665632625627]
デプロイ中に見つからないデータを使って、モデルの予測の信頼性を判断することが重要です。
従来のソフトウェアを特定し検証する既存の方法は、このタスクには不十分である。
本稿では、ニューラルネットワーク計算から導出されるルールを用いて、データ前提条件を推論する新しい手法を提案する。
論文 参考訳(メタデータ) (2024-01-26T03:47:18Z) - Occlusion-based Detection of Trojan-triggering Inputs in Large Language
Models of Code [12.590783740412157]
大規模言語モデル(LLM)は、ソフトウェア開発の一体的な部分になりつつある。
潜在的攻撃面は、有毒なデータをトレーニングデータに注入して、モデルを脆弱にする、いわゆるトロイの木馬である。
モデル内にマニピュティブな振る舞いを隠すことで、ダウンストリームタスクにおけるモデルの整合性を損なうという重大な脅威を引き起こす可能性がある。
論文 参考訳(メタデータ) (2023-12-07T02:44:35Z) - Anomaly Detection with Ensemble of Encoder and Decoder [2.8199078343161266]
電力網における異常検出は、電力系統に対するサイバー攻撃による異常を検出し、識別することを目的としている。
本稿では,複数のエンコーダとデコーダを用いて正規サンプルのデータ分布をモデル化し,新しい異常検出手法を提案する。
ネットワーク侵入と電力系統データセットの実験結果から,提案手法の有効性が示された。
論文 参考訳(メタデータ) (2023-03-11T15:49:29Z) - Backdoor Attacks Against Deep Image Compression via Adaptive Frequency
Trigger [106.10954454667757]
本稿では,学習画像圧縮モデルに対する複数のトリガーを用いたバックドアアタックを提案する。
既存の圧縮システムや標準で広く使われている離散コサイン変換(DCT)に動機付けられ,周波数ベースのトリガーインジェクションモデルを提案する。
論文 参考訳(メタデータ) (2023-02-28T15:39:31Z) - CrAM: A Compression-Aware Minimizer [103.29159003723815]
本稿では、CrAMと呼ばれる新しい圧縮対応最小化器を提案し、最適化ステップを原則的に修正する。
CrAMは、標準のSGD/アダムベースベースラインよりも精度が高い密度のモデルを生成するが、重量計算では安定である。
CrAMは、転送学習のためにうまく機能するスパースモデルを生成することができ、GPUハードウェアでサポートされている半構造化の2:4プルーニングパターンでも機能する。
論文 参考訳(メタデータ) (2022-07-28T16:13:28Z) - An Adaptive Black-box Backdoor Detection Method for Deep Neural Networks [25.593824693347113]
ディープニューラルネットワーク(DNN)は、医療診断や自律運転など、さまざまな分野において前例のないパフォーマンスを示している。
それらは、ステルスシートリガーによって制御され、活性化されるニューラルトロイの木馬攻撃(NT)に対して脆弱である。
本稿では,事前訓練したトロイの木馬が展開前にトロイの木馬に検出されたかどうかを検査するロバストで適応的なトロイの木馬検出手法を提案する。
論文 参考訳(メタデータ) (2022-04-08T23:41:19Z) - MINIMAL: Mining Models for Data Free Universal Adversarial Triggers [57.14359126600029]
我々は、NLPモデルから入力非依存の逆のトリガーをマイニングするための、新しいデータフリーアプローチ、MINIMALを提案する。
我々はスタンフォード・センティメント・ツリーバンクの正のクラスを93.6%から9.6%に減らした。
SNLI(Stanford Natural Language Inference)では、このシングルワードトリガーによって、エンターメントクラスの精度が90.95%から0.6%未満に低下する。
論文 参考訳(メタデータ) (2021-09-25T17:24:48Z) - When Liebig's Barrel Meets Facial Landmark Detection: A Practical Model [87.25037167380522]
正確で、堅牢で、効率的で、一般化可能で、エンドツーエンドのトレーニングが可能なモデルを提案する。
精度を向上させるために,2つの軽量モジュールを提案する。
DQInitは、インプットからデコーダのクエリを動的に初期化し、複数のデコーダ層を持つものと同じ精度でモデルを実現する。
QAMemは、共有するクエリではなく、それぞれのクエリに別々のメモリ値を割り当てることで、低解像度のフィーチャーマップ上のクエリの識別能力を高めるように設計されている。
論文 参考訳(メタデータ) (2021-05-27T13:51:42Z) - Surprisal-Triggered Conditional Computation with Neural Networks [19.55737970532817]
自己回帰ニューラルネットワークモデルは、シーケンス生成、特徴抽出、仮説スコアリングに成功している。
本稿では,これらのモデルに対して,より複雑な入力により多くの計算を割り当てる,という新たな利用法を提案する。
論文 参考訳(メタデータ) (2020-06-02T14:34:24Z) - How do Decisions Emerge across Layers in Neural Models? Interpretation
with Differentiable Masking [70.92463223410225]
DiffMaskは、差分性を維持しながら入力のサブセットをマスクアウトすることを学ぶ。
入力トークンを包含または無視する決定は、中間隠蔽層に基づく単純なモデルで行われる。
これにより、属性のヒートマップをプロットするだけでなく、ネットワーク層間で意思決定がどのように形成されるかを分析することができます。
論文 参考訳(メタデータ) (2020-04-30T17:36:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。