論文の概要: Probing Model Signal-Awareness via Prediction-Preserving Input Minimization

• arxiv url: http://arxiv.org/abs/2011.14934v2
• Date: Tue, 22 Jun 2021 21:44:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-21 02:29:54.498351
• Title: Probing Model Signal-Awareness via Prediction-Preserving Input Minimization
• Title（参考訳）: 予測保存入力最小化によるモデル信号認識
• Authors: Sahil Suneja, Yunhui Zheng, Yufan Zhuang, Jim Laredo, Alessandro Morari
• Abstract要約: モデルが正しい脆弱性信号を捕捉して予測する能力を評価する。 SAR(Signal-Aware Recall)と呼ばれる新しい指標を用いて,モデルの信号認識を計測する。 その結果,90年代以降のリコールから60年代以降のリコールは,新たな指標で大幅に減少した。
• 参考スコア（独自算出の注目度）: 67.62847721118142
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work explores the signal awareness of AI models for source code understanding. Using a software vulnerability detection use case, we evaluate the models' ability to capture the correct vulnerability signals to produce their predictions. Our prediction-preserving input minimization (P2IM) approach systematically reduces the original source code to a minimal snippet which a model needs to maintain its prediction. The model's reliance on incorrect signals is then uncovered when the vulnerability in the original code is missing in the minimal snippet, both of which the model however predicts as being vulnerable. We measure the signal awareness of models using a new metric we propose- Signal-aware Recall (SAR). We apply P2IM on three different neural network architectures across multiple datasets. The results show a sharp drop in the model's Recall from the high 90s to sub-60s with the new metric, highlighting that the models are presumably picking up a lot of noise or dataset nuances while learning their vulnerability detection logic. Although the drop in model performance may be perceived as an adversarial attack, but this isn't P2IM's objective. The idea is rather to uncover the signal-awareness of a black-box model in a data-driven manner via controlled queries. SAR's purpose is to measure the impact of task-agnostic model training, and not to suggest a shortcoming in the Recall metric. The expectation, in fact, is for SAR to match Recall in the ideal scenario where the model truly captures task-specific signals.
• Abstract（参考訳）: この研究は、ソースコード理解のためのAIモデルの信号認識を探求する。 ソフトウェア脆弱性検出のユースケースを用いて、モデルが正しい脆弱性信号をキャプチャして予測を生成する能力を評価する。 我々の予測保存型入力最小化(P2IM)アプローチは,モデルが予測を維持する必要のある最小のスニペットに,ソースコードを体系的に還元する。 モデルの誤った信号への依存は、オリジナルのコードの脆弱性が最小限のスニペットに欠けているときに明らかになる。 提案する新しい指標であるSAR(Signal-aware Recall)を用いて,モデルの信号認識を測定する。 複数のデータセットにわたる3つの異なるニューラルネットワークアーキテクチャにP2IMを適用する。 結果は、新しいメトリクスで90年代から60年代までのモデルのリコールが急落していることを示し、脆弱性検出ロジックを学習しながら、モデルが多くのノイズやデータセットのニュアンスを拾っていることを強調した。 モデル性能の低下は敵攻撃と見なされるかもしれないが、これはP2IMの目的ではない。 その考え方は、制御されたクエリを通じて、データ駆動方式でブラックボックスモデルの信号認識性を明らかにすることにある。 SARの目的は、タスクに依存しないモデルトレーニングの影響を測定することであり、リコールメトリックの欠点を示唆しないことである。 実際、SARは、モデルが本当にタスク固有の信号をキャプチャする理想的なシナリオにおいて、リコールと一致することを期待しています。

関連論文リスト

• Lazy Layers to Make Fine-Tuned Diffusion Models More Traceable [70.77600345240867]
  新たな任意の任意配置(AIAO)戦略は、微調整による除去に耐性を持たせる。 拡散モデルの入力/出力空間のバックドアを設計する既存の手法とは異なり,本手法では,サンプルサブパスの特徴空間にバックドアを埋め込む方法を提案する。 MS-COCO,AFHQ,LSUN,CUB-200,DreamBoothの各データセットに関する実証研究により,AIAOの堅牢性が確認された。
  論文  参考訳（メタデータ） (2024-05-01T12:03:39Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• Adversarial Robustness Assessment of NeuroEvolution Approaches [1.237556184089774]
  CIFAR-10画像分類タスクにおける2つのNeuroEvolutionアプローチにより得られたモデルのロバスト性を評価する。 以上の結果から,進化したモデルが反復的手法で攻撃されると,その精度は通常0に低下するか0に近づきます。 これらの技法のいくつかは、元の入力に付加された摂動を悪化させ、頑丈さを損なう可能性がある。
  論文  参考訳（メタデータ） (2022-07-12T10:40:19Z)
• One-Pixel Shortcut: on the Learning Preference of Deep Neural Networks [28.502489028888608]
  Unlearnable Example (ULE) は、DNNのトレーニングのための不正使用からデータを保護することを目的としている。 逆行訓練では、誤り最小化ノイズの非学習性は著しく低下する。 本稿では,各画像の1ピクセルのみを摂動させ,データセットを学習不能にする,新しいモデルフリー手法であるemphOne-Pixel Shortcutを提案する。
  論文  参考訳（メタデータ） (2022-05-24T15:17:52Z)
• Label-only Model Inversion Attack: The Attack that Requires the Least Information [14.061083728194378]
  モデル反転攻撃では、敵はモデル出力のみを使用してターゲットモデルをトレーニングするために使用されるデータレコードを再構築しようと試みる。 出力ラベルのみに基づいて入力データレコードを再構成できるモデル逆変換法が発見された。
  論文  参考訳（メタデータ） (2022-03-13T03:03:49Z)
• Mismatched No More: Joint Model-Policy Optimization for Model-Based RL [172.37829823752364]
  本稿では,モデルとポリシーを共同でトレーニングする単一目的について提案する。 我々の目標は、期待されるリターンのグローバルな低い境界であり、この境界は特定の仮定の下で厳密になる。 結果のアルゴリズム(MnM)は概念的にはGANと似ている。
  論文  参考訳（メタデータ） (2021-10-06T13:43:27Z)
• MEGEX: Data-Free Model Extraction Attack against Gradient-Based Explainable AI [1.693045612956149]
  機械学習・アズ・ア・サービス(ML)にデプロイされたディープニューラルネットワークは、モデル抽出攻撃の脅威に直面している。 モデル抽出攻撃は知的財産権とプライバシーを侵害する攻撃であり、敵は予測だけを使用してクラウド内の訓練されたモデルを盗む。 本稿では、勾配に基づく説明可能なAIに対するデータフリーモデル抽出攻撃であるMEGEXを提案する。
  論文  参考訳（メタデータ） (2021-07-19T14:25:06Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)
• DAAIN: Detection of Anomalous and Adversarial Input using Normalizing Flows [52.31831255787147]
  我々は、アウト・オブ・ディストリビューション(OOD)インプットと敵攻撃(AA)を検出する新しい手法であるDAINを導入する。 本手法は,ニューラルネットワークの内部動作を監視し,活性化分布の密度推定器を学習する。 当社のモデルは,特別なアクセラレータを必要とせずに,効率的な計算とデプロイが可能な単一のGPUでトレーニングすることが可能です。
  論文  参考訳（メタデータ） (2021-05-30T22:07:13Z)
• Model Extraction Attacks against Recurrent Neural Networks [1.2891210250935146]
  繰り返しニューラルネットワーク(RNN)に対するモデル抽出攻撃の脅威について検討する。 長い短期記憶(LSTM)から単純なRNNを用いて精度の高いモデルを抽出できるかどうかを論じる。 次に、特に損失関数とより複雑なアーキテクチャを構成することにより、精度の高いモデルを効率的に抽出できることを示す。
  論文  参考訳（メタデータ） (2020-02-01T01:47:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。