論文の概要: TrojanedCM: A Repository of Trojaned Large Language Models of Code
- arxiv url: http://arxiv.org/abs/2311.14850v2
- Date: Mon, 11 Dec 2023 20:07:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-13 19:22:47.756334
- Title: TrojanedCM: A Repository of Trojaned Large Language Models of Code
- Title（参考訳）: TrojanedCM:Trojaned Large Language Models of Codeのリポジトリ
- Authors: Aftab Hussain, Md Rafiqul Islam Rabin, Mohammad Amin Alipour
- Abstract要約: TrojanedCMは、ソースコードのクリーンで有毒なモデルの公開リポジトリである。
2つのコード分類タスク(欠陥検出とクローン検出)とコード生成タスクに対して有毒なモデルを提供する。
リポジトリはまた、モデルのアーキテクチャとパラメータへの完全なアクセスを提供し、実践者がさまざまなホワイトボックス分析テクニックを調査できるようにする。
- 参考スコア（独自算出の注目度）: 4.838807847761728
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the rapid growth of research in trojaning deep neural models of source
code, we observe that there is a need of developing a benchmark trojaned models
for testing various trojan detection and unlearning techniques. In this work,
we aim to provide the scientific community with diverse trojaned code models,
that cover a variety of state-of-the-art architectures, on which they can
examine such techniques. We thus present TrojanedCM, a publicly available
repository of clean and poisoned models of source code. We provide poisoned
models for two code classification tasks (defect detection and clone detection)
and a code generation task (text-to-code generation). We finetuned popular
pretrained code models such as CodeBERT, PLBART, CodeT5, CodeT5+, on poisoned
datasets that we generated from benchmark datasets (Devign, BigCloneBench,
CONCODE) for the above mentioned tasks. The repository also provides full
access to the architecture and parameters of the models, allowing practitioners
to investigate different white-box analysis techniques. In addition to the
poisoned models, we also provide a poisoning framework using which
practitioners can deploy various poisoning strategies for the different tasks
and models of source code. All the material are accessible via this link:
https://github.com/UH-SERG/TrojanedCM.
- Abstract（参考訳）: ソースコードの深層神経モデルのトロイの木馬研究の急速な成長に伴い、様々なトロイの木馬検出とアンラーニング技術をテストするためのベンチマークトロイの木馬モデルの開発が必要であることが観察された。
本研究の目的は,様々な最先端アーキテクチャをカバーする多種多様なトロイの木馬コードモデルを提供し,その手法を検証できるようにすることである。
そこで我々は,ソースコードの清潔で有毒なモデルの公開リポジトリであるtrojanedcmを提案する。
2つのコード分類タスク(欠陥検出とクローン検出)とコード生成タスク(テキストからコード生成)に対して有毒なモデルを提供する。
上記のタスクのベンチマークデータセット(Devign、BigCloneBench、ConCODE)から生成された有毒なデータセットに対して、CodeBERT、PLBART、CodeT5、CodeT5+といった、トレーニング済みの一般的なコードモデルを微調整しました。
リポジトリはまた、モデルのアーキテクチャとパラメータへの完全なアクセスを提供し、実践者は異なるホワイトボックス分析技術を調べることができる。
有毒モデルに加えて,ソースコードのさまざまなタスクやモデルに対して,実践者が様々な有毒化戦略を展開可能な,有毒化フレームワークも提供する。
すべての資料はこのリンクを通じてアクセス可能である。
関連論文リスト
- Trojans in Large Language Models of Code: A Critical Review through a Trigger-Based Taxonomy [11.075592348442225]
大きな言語モデル(LLM)は、ソフトウェア開発に多くのエキサイティングな新機能を提供します。
これらのモデルの不透明な性質は、推論や検査を困難にしている。
本研究は,現在最先端のトロイの木馬によるコードの大規模言語モデルに対する攻撃について概説する。
論文 参考訳（メタデータ） (2024-05-05T06:43:52Z) - Does Your Neural Code Completion Model Use My Code? A Membership Inference Approach [66.51005288743153]
本稿では,現在のニューラルコード補完モデルの法的および倫理的問題について考察する。
私たちは、もともと分類タスクのために作られたメンバシップ推論アプローチ(CodeMIと呼ばれる)を調整します。
我々は,この適応型アプローチの有効性を,多種多様なニューラルコード補完モデルで評価した。
論文 参考訳（メタデータ） (2024-04-22T15:54:53Z) - On Trojan Signatures in Large Language Models of Code [4.838807847761728]
トロイジャンシグネチャは、トロイジャン類パラメータ(重み)とトロイの木モデルの非トロイジャン類パラメータの分布において顕著な違いである。
以上の結果から,トロイジャン符号はLLMに一般化できないことが示唆された。
これは、大規模言語のコードモデルに対する重みに基づくトロイの木馬署名の啓示技術を調べるための最初の研究である。
論文 参考訳（メタデータ） (2024-02-23T22:48:29Z) - INSPECT: Intrinsic and Systematic Probing Evaluation for Code
Transformers [7.255653248042546]
我々は、ソースコードの表面、構文、構造、意味的特性を訓練する15の探索タスクを定義するためにフレームワークを使用します。
8つの事前訓練されたソースコードモデルと、ベースラインとして自然言語モデル(BERT)を探索する。
構造情報(GraphCodeBERTなど)を組み込んだモデルの方が,ソースコードの特徴をよりよく表現できることがわかった。
論文 参考訳（メタデータ） (2023-12-08T15:21:54Z) - A Survey of Trojans in Neural Models of Source Code: Taxonomy and Techniques [10.810570716212542]
我々は、説明可能なAIと安全なAIの文献を研究し、コードの神経モデルの毒性を理解する。
まず、コードのためのトロイの木馬AIの新しい分類法を確立し、コードのニューラルモデルにおけるトリガーの新しいアスペクトベースの分類を示す。
論文 参考訳（メタデータ） (2023-05-05T19:07:09Z) - CodeLMSec Benchmark: Systematically Evaluating and Finding Security
Vulnerabilities in Black-Box Code Language Models [58.27254444280376]
自動コード生成のための大規模言語モデル(LLM)は、いくつかのプログラミングタスクにおいてブレークスルーを達成した。
これらのモデルのトレーニングデータは、通常、インターネット(例えばオープンソースのリポジトリから)から収集され、障害やセキュリティ上の脆弱性を含む可能性がある。
この不衛生なトレーニングデータは、言語モデルにこれらの脆弱性を学習させ、コード生成手順中にそれを伝播させる可能性がある。
論文 参考訳（メタデータ） (2023-02-08T11:54:07Z) - Poison Attack and Defense on Deep Source Code Processing Models [38.32413592143839]
我々は、CodePoisonerという名前のソースコードに対して、強力な想像上の敵として毒攻撃フレームワークを提示する。
CodePoisonerは、人間の知覚できない毒のサンプルをコンパイルして、トレーニングデータに毒を加えて攻撃する。
トレーニングデータ中の毒サンプルを検出するために,CodeDetectorという効果的な防御手法を提案する。
論文 参考訳（メタデータ） (2022-10-31T03:06:40Z) - Defending against Model Stealing via Verifying Embedded External
Features [90.29429679125508]
トレーニングサンプルがなく、モデルパラメータや構造にアクセスできない場合でも、敵はデプロイされたモデルを盗むことができる。
我々は、不審なモデルがディフェンダー特定遠近法の特徴の知識を含んでいるかどうかを検証することによって、他の角度からの防御を探索する。
本手法は, 複数段階の盗難処理によって盗難モデルが得られた場合でも, 同時に異なる種類の盗難モデルを検出するのに有効である。
論文 参考訳（メタデータ） (2021-12-07T03:51:54Z) - COSEA: Convolutional Code Search with Layer-wise Attention [90.35777733464354]
我々は、畳み込みニューラルネットワークを階層的注意で活用し、コード固有の構造論理をキャプチャする新しいディープラーニングアーキテクチャ、COSEAを提案する。
COSEAは、コード検索タスクの最先端メソッドよりも大幅に改善できる。
論文 参考訳（メタデータ） (2020-10-19T13:53:38Z) - Cassandra: Detecting Trojaned Networks from Adversarial Perturbations [92.43879594465422]
多くの場合、事前トレーニングされたモデルは、トロイの木馬の振る舞いをモデルに挿入するためにトレーニングパイプラインを中断したかもしれないベンダーから派生している。
本稿では,事前学習したモデルがトロイの木馬か良馬かを検証する手法を提案する。
本手法は,ニューラルネットワークの指紋を,ネットワーク勾配から学習した逆方向の摂動の形でキャプチャする。
論文 参考訳（メタデータ） (2020-07-28T19:00:40Z) - Odyssey: Creation, Analysis and Detection of Trojan Models [91.13959405645959]
トロイの木馬攻撃は、一部のトレーニングサンプルにトリガーを挿入してトレーニングパイプラインを妨害し、トリガーを含むサンプルに対してのみ悪意ある動作をするようにモデルを訓練する。
既存のトロイの木馬検出器はトリガーの種類や攻撃について強い仮定をしている。
そこで本研究では,トロヤニング過程の影響を受け,本質的特性の分析に基づく検出器を提案する。
論文 参考訳（メタデータ） (2020-07-16T06:55:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。