論文の概要: Code Membership Inference for Detecting Unauthorized Data Use in Code
Pre-trained Language Models
- arxiv url: http://arxiv.org/abs/2312.07200v1
- Date: Tue, 12 Dec 2023 12:07:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-13 16:11:39.398334
- Title: Code Membership Inference for Detecting Unauthorized Data Use in Code
Pre-trained Language Models
- Title(参考訳): コード事前学習言語モデルにおける不正データ検出のためのコードメンバーシップ推論
- Authors: Sheng Zhang, Hui Li
- Abstract要約: 本稿では,CPLMにおける不正コードの使用を検出するための最初の研究を開始する。
我々は、コードメンバーシップ推論タスクの異なる設定のためのフレームワークBuzzerを設計する。
- 参考スコア(独自算出の注目度): 7.6875396255520405
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Code pre-trained language models (CPLMs) have received great attention since
they can benefit various tasks that facilitate software development and
maintenance. However, CPLMs are trained on massive open-source code, raising
concerns about potential data infringement. This paper launches the first study
of detecting unauthorized code use in CPLMs, i.e., Code Membership Inference
(CMI) task. We design a framework Buzzer for different settings of CMI. Buzzer
deploys several inference techniques, including distilling the target CPLM,
ensemble inference, and unimodal and bimodal calibration. Extensive experiments
show that CMI can be achieved with high accuracy using Buzzer. Hence, Buzzer
can serve as a CMI tool and help protect intellectual property rights.
- Abstract(参考訳): コード事前訓練言語モデル(CPLM)は、ソフトウェア開発やメンテナンスを容易にする様々なタスクに役立てることができるため、大きな注目を集めている。
しかし、CPLMは大規模なオープンソースコードで訓練されており、潜在的なデータ侵害に関する懸念を提起している。
本稿では,CPLM(Code Membership Inference, CMI)タスクにおける不正コードの使用を検出するための最初の研究を開始する。
CMIの異なる設定のためのフレームワークBuzzerを設計する。
Buzzerは、ターゲットCPLMの蒸留、アンサンブル推論、一様および二様キャリブレーションなど、いくつかの推論手法を展開している。
広範な実験により、ブザーを用いてcmiを高精度に達成できることが示されている。
したがって、buzzerはcmiツールとして機能し、知的財産権を保護するのに役立つ。
関連論文リスト
- Software Vulnerability and Functionality Assessment using LLMs [0.8057006406834466]
我々は,Large Language Models (LLMs) がコードレビューに役立つかどうかを検討する。
我々の調査は、良質なレビューに欠かせない2つの課題に焦点を当てている。
論文 参考訳(メタデータ) (2024-03-13T11:29:13Z) - A Survey on Knowledge Distillation of Large Language Models [102.84645991075283]
知識蒸留(KD)は、高度な能力をオープンソースモデルに転送するための重要な方法論である。
本稿では,大規模言語モデル(LLM)の領域におけるKDの役割を包括的に調査する。
論文 参考訳(メタデータ) (2024-02-20T16:17:37Z) - KG-Agent: An Efficient Autonomous Agent Framework for Complex Reasoning
over Knowledge Graph [134.8631016845467]
我々は、KG-Agentと呼ばれる自律LLMベースのエージェントフレームワークを提案する。
KG-Agentでは、LLM、多機能ツールボックス、KGベースのエグゼキュータ、知識メモリを統合する。
有効性を保証するため、プログラム言語を利用してKG上のマルチホップ推論プロセスを定式化する。
論文 参考訳(メタデータ) (2024-02-17T02:07:49Z) - Trained Without My Consent: Detecting Code Inclusion In Language Models
Trained on Code [14.763505073094779]
コード監査は、開発済みのコードが標準、規制、著作権保護に準拠していることを保証する。
ソフトウェア開発プロセスにおけるコーディングアシスタントとしての最近のLarge Language Models(LLM)の出現は、コード監査に新たな課題をもたらしている。
LLMのトレーニングデータセットにコードを含むことを検出するモデルに依存しない、解釈可能な方法であるTraWiCを提案する。
論文 参考訳(メタデータ) (2024-02-14T16:41:35Z) - If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code
Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される
コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文 参考訳(メタデータ) (2024-01-01T16:51:20Z) - How to get better embeddings with code pre-trained models? An empirical
study [6.220333404184779]
下流分類タスクの埋め込みを生成するために,5つの異なるコード事前訓練モデル(PTM)について検討する。
特別なトークンによって得られた埋め込みは、コードスニペット全体の意味情報を十分に集約していないことが分かりました。
PTMの事前学習と同様、コードデータとテキストデータをマージして得られるコード埋め込みの品質は低く、よりリッチなセマンティック情報を保証できない。
論文 参考訳(メタデータ) (2023-11-14T10:44:21Z) - The potential of LLMs for coding with low-resource and domain-specific
programming languages [0.0]
本研究は,オープンソースソフトウェアGreetlのハンスル(Hansl)という,econometricスクリプティング言語に焦点を当てたものである。
この結果から, LLMはグレタブルコードの記述, 理解, 改善, 文書化に有用なツールであることが示唆された。
論文 参考訳(メタデータ) (2023-07-24T17:17:13Z) - CodeLMSec Benchmark: Systematically Evaluating and Finding Security
Vulnerabilities in Black-Box Code Language Models [58.27254444280376]
自動コード生成のための大規模言語モデル(LLM)は、いくつかのプログラミングタスクにおいてブレークスルーを達成した。
これらのモデルのトレーニングデータは、通常、インターネット(例えばオープンソースのリポジトリから)から収集され、障害やセキュリティ上の脆弱性を含む可能性がある。
この不衛生なトレーニングデータは、言語モデルにこれらの脆弱性を学習させ、コード生成手順中にそれを伝播させる可能性がある。
論文 参考訳(メタデータ) (2023-02-08T11:54:07Z) - CodeRL: Mastering Code Generation through Pretrained Models and Deep
Reinforcement Learning [92.36705236706678]
CodeRLは、事前訓練されたLMと深層強化学習によるプログラム合成タスクのための新しいフレームワークである。
推論中、我々は重要なサンプリング戦略を持つ新しい生成手順を導入する。
モデルバックボーンについては,CodeT5のエンコーダデコーダアーキテクチャを拡張し,学習目標を拡張した。
論文 参考訳(メタデータ) (2022-07-05T02:42:15Z) - Fault-Aware Neural Code Rankers [64.41888054066861]
サンプルプログラムの正しさを予測できる故障認識型ニューラルネットワークローダを提案する。
我々のフォールト・アウェア・ローダは、様々なコード生成モデルのpass@1精度を大幅に向上させることができる。
論文 参考訳(メタデータ) (2022-06-04T22:01:05Z) - Differentially Private Decoding in Large Language Models [14.221692239892207]
本稿では,復号段階で既に訓練済みのモデルに適用可能な,単純で分かり易く,計算的に軽量な摂動機構を提案する。
我々の摂動メカニズムはモデルに依存しず、どんな大規模言語モデルとも併用することができる。
論文 参考訳(メタデータ) (2022-05-26T20:50:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。