Fugu-MT 論文翻訳(概要): Occlusion-based Detection of Trojan-triggering Inputs in Large Language Models of Code

論文の概要: Occlusion-based Detection of Trojan-triggering Inputs in Large Language Models of Code

arxiv url: http://arxiv.org/abs/2312.04004v1
Date: Thu, 7 Dec 2023 02:44:35 GMT
ステータス: 処理完了
システム内更新日: 2023-12-08 16:30:16.876811
Title: Occlusion-based Detection of Trojan-triggering Inputs in Large Language Models of Code
Title（参考訳）: コード大言語モデルにおけるトロイの木馬入力のオクルージョンに基づく検出
Authors: Aftab Hussain, Md Rafiqul Islam Rabin, Toufique Ahmed, Mohammad Amin Alipour, Bowen Xu
Abstract要約: 大規模言語モデル(LLM)は、ソフトウェア開発の一体的な部分になりつつある。潜在的攻撃面は、有毒なデータをトレーニングデータに注入して、モデルを脆弱にする、いわゆるトロイの木馬である。モデル内にマニピュティブな振る舞いを隠すことで、ダウンストリームタスクにおけるモデルの整合性を損なうという重大な脅威を引き起こす可能性がある。
参考スコア（独自算出の注目度）: 12.590783740412157
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large language models (LLMs) are becoming an integrated part of software development. These models are trained on large datasets for code, where it is hard to verify each data point. Therefore, a potential attack surface can be to inject poisonous data into the training data to make models vulnerable, aka trojaned. It can pose a significant threat by hiding manipulative behaviors inside models, leading to compromising the integrity of the models in downstream tasks. In this paper, we propose an occlusion-based human-in-the-loop technique, OSeql, to distinguish trojan-triggering inputs of code. The technique is based on the observation that trojaned neural models of code rely heavily on the triggering part of input; hence, its removal would change the confidence of the models in their prediction substantially. Our results suggest that OSeql can detect the triggering inputs with almost 100% recall. We discuss the problem of false positives and how to address them. These results provide a baseline for future studies in this field.
Abstract（参考訳）: 大規模言語モデル(LLM)はソフトウェア開発の一体的な部分になりつつある。これらのモデルは、コードのために大きなデータセットでトレーニングされ、各データポイントの検証が難しい。したがって、潜在的攻撃面は、有毒データをトレーニングデータに注入してモデルに脆弱性を持たせることができる。モデル内にマニピュレーション的な振る舞いを隠すことで重大な脅威をもたらし、ダウンストリームタスクにおけるモデルの整合性を損なうことになる。本稿では,コードのトロイの木馬入力を識別するためのオクルージョンに基づくヒューマン・イン・ザ・ループ手法であるoseqlを提案する。この手法は、コードのトロイの木馬型ニューラルモデルが入力のトリガー部分に大きく依存しているという観察に基づいており、その除去によって予測におけるモデルの信頼性が大幅に変化する。以上の結果から,OSeqlは,ほぼ100%のリコールでトリガ入力を検出できることが示唆された。我々は偽陽性の問題と対処方法について議論する。これらの結果は今後の研究の基盤となる。

関連論文リスト

Learning Defect Prediction from Unrealistic Data [57.53586547895278]
事前訓練されたコードのモデルは、コード理解と生成タスクに人気がある。このようなモデルは大きい傾向があり、訓練データの総量を必要とする。人工的に注入されたバグのある関数など、はるかに大きくてもより現実的なデータセットを持つモデルをトレーニングすることが一般的になった。このようなデータで訓練されたモデルは、実際のプログラムでは性能が劣りながら、同様のデータでのみうまく機能する傾向にある。
論文参考訳（メタデータ） (2023-11-02T01:51:43Z)
Leveraging Diffusion-Based Image Variations for Robust Training on Poisoned Data [26.551317580666353]
バックドア攻撃は、ニューラルネットワークをトレーニングする上で深刻なセキュリティ上の脅威となる。本稿では,近年の拡散モデルのパワーを生かして,潜在的に有毒なデータセットのモデルトレーニングを可能にする新しい手法を提案する。
論文参考訳（メタデータ） (2023-10-10T07:25:06Z)
Backdoor Defense via Deconfounded Representation Learning [17.28760299048368]
我々は、信頼性の高い分類のための非定型表現を学ぶために、因果性に着想を得たバックドアディフェンス(CBD)を提案する。 CBDは、良性サンプルの予測において高い精度を維持しながら、バックドアの脅威を減らすのに有効である。
論文参考訳（メタデータ） (2023-03-13T02:25:59Z)
DeepSight: Mitigating Backdoor Attacks in Federated Learning Through Deep Model Inspection [26.593268413299228]
フェデレートラーニング(FL)では、複数のクライアントが、データを公開せずに、プライベートデータ上でニューラルネットワーク(NN)モデルを協調的にトレーニングすることができる。 DeepSightは、バックドア攻撃を緩和するための新しいモデルフィルタリングアプローチである。モデルの性能に悪影響を及ぼすことなく、最先端のバックドア攻撃を軽減できることを示す。
論文参考訳（メタデータ） (2022-01-03T17:10:07Z)
Be Careful about Poisoned Word Embeddings: Exploring the Vulnerability of the Embedding Layers in NLP Models [27.100909068228813]
最近の研究では、バックドア攻撃と呼ばれる自然言語処理(NLP)モデルに対するセキュリティの脅威が明らかになった。本稿では,1つの単語埋め込みベクトルを変更することで,データフリーな方法でモデルをハックできることを見出した。感情分析および文対分類タスクの実験結果から,本手法はより効率的でステルス性が高いことが示された。
論文参考訳（メタデータ） (2021-03-29T12:19:45Z)
Black-box Detection of Backdoor Attacks with Limited Information and Data [56.0735480850555]
モデルへのクエリアクセスのみを用いてバックドア攻撃を同定するブラックボックスバックドア検出(B3D)手法を提案する。バックドア検出に加えて,同定されたバックドアモデルを用いた信頼性の高い予測手法を提案する。
論文参考訳（メタデータ） (2021-03-24T12:06:40Z)
TOP: Backdoor Detection in Neural Networks via Transferability of Perturbation [1.52292571922932]
トレーニングデータやサンプルトリガにアクセスせずにトレーニングされたモデルのバックドアを検出することは、重要なオープン問題である。本稿では,これらのモデルの興味深い性質を同定する: クリーンモデルよりも毒性モデルの方が画像から画像への逆摂動の伝達が容易である。この機能を使用して、TrojAIベンチマークの有毒モデルと、追加モデルを検出します。
論文参考訳（メタデータ） (2021-03-18T14:13:30Z)
Cassandra: Detecting Trojaned Networks from Adversarial Perturbations [92.43879594465422]
多くの場合、事前トレーニングされたモデルは、トロイの木馬の振る舞いをモデルに挿入するためにトレーニングパイプラインを中断したかもしれないベンダーから派生している。本稿では,事前学習したモデルがトロイの木馬か良馬かを検証する手法を提案する。本手法は,ニューラルネットワークの指紋を,ネットワーク勾配から学習した逆方向の摂動の形でキャプチャする。
論文参考訳（メタデータ） (2020-07-28T19:00:40Z)
Odyssey: Creation, Analysis and Detection of Trojan Models [91.13959405645959]
トロイの木馬攻撃は、一部のトレーニングサンプルにトリガーを挿入してトレーニングパイプラインを妨害し、トリガーを含むサンプルに対してのみ悪意ある動作をするようにモデルを訓練する。既存のトロイの木馬検出器はトリガーの種類や攻撃について強い仮定をしている。そこで本研究では,トロヤニング過程の影響を受け,本質的特性の分析に基づく検出器を提案する。
論文参考訳（メタデータ） (2020-07-16T06:55:00Z)
Scalable Backdoor Detection in Neural Networks [61.39635364047679]
ディープラーニングモデルは、トロイの木馬攻撃に対して脆弱で、攻撃者はトレーニング中にバックドアをインストールして、結果のモデルが小さなトリガーパッチで汚染されたサンプルを誤識別させる。本稿では,ラベル数と計算複雑性が一致しない新たなトリガリバースエンジニアリング手法を提案する。実験では,提案手法が純モデルからトロイの木馬モデルを分離する際の完全なスコアを達成できることが観察された。
論文参考訳（メタデータ） (2020-06-10T04:12:53Z)
Weight Poisoning Attacks on Pre-trained Models [103.19413805873585]
本研究は, バックドアを微調整した後に, バックドアを露出する脆弱性を伴って, 事前訓練した重量を注入した場合に, 重量中毒を発生させることが可能であることを示す。感情分類,毒性検出,スパム検出に関する実験により,この攻撃は広く適用可能であり,深刻な脅威となることが示された。
論文参考訳（メタデータ） (2020-04-14T16:51:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。