論文の概要: Is The Watermarking Of LLM-Generated Code Robust?
- arxiv url: http://arxiv.org/abs/2403.17983v3
- Date: Sun, 16 Feb 2025 22:31:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-18 17:33:30.007535
- Title: Is The Watermarking Of LLM-Generated Code Robust?
- Title(参考訳): LLM生成コードロバストの透かしは?
- Authors: Tarun Suresh, Shubham Ugare, Gagandeep Singh, Sasa Misailovic,
- Abstract要約: コードベースのコンテキストでは、ウォーターマーキングのテクニックがはるかに脆弱であることを示します。
具体的には、変数リネームやデッドコード挿入といった単純なセマンティック保存変換が、ウォーターマークを効果的に消去できることを示す。
- 参考スコア(独自算出の注目度): 5.48277165801539
- License:
- Abstract: We present the first in depth study on the robustness of existing watermarking techniques applied to code generated by large language models (LLMs). As LLMs increasingly contribute to software development, watermarking has emerged as a potential solution for detecting AI generated code and mitigating misuse, such as plagiarism or the automated generation of malicious programs. While previous research has demonstrated the resilience of watermarking in the text setting, our work reveals that watermarking techniques are significantly more fragile in code-based contexts. Specifically, we show that simple semantic-preserving transformations, such as variable renaming and dead code insertion, can effectively erase watermarks without altering the program's functionality. To systematically evaluate watermark robustness, we develop an algorithm that traverses the Abstract Syntax Tree (AST) of a watermarked program and applies a sequence of randomized, semantics-preserving transformations. Our experimental results, conducted on Python code generated by different LLMs, indicate that even minor modifications can drastically reduce watermark detectability, with true positive rates (TPR) dropping below 50% in many cases. Our code is publicly available at https://github.com/uiuc-arc/llm-code-watermark.
- Abstract(参考訳): 本稿では,大規模言語モデル(LLM)によって生成されたコードに対して,既存の透かし手法の頑健性について検討した。
LLMがソフトウェア開発にますます貢献するにつれて、ウォーターマーキングはAIが生成するコードを検出し、盗作や悪意のあるプログラムの自動生成といった誤用を緩和する潜在的な解決策として現れてきた。
これまでの研究では、テキスト設定におけるウォーターマーキングのレジリエンスを実証していましたが、コードベースのコンテキストでは、ウォーターマーキングのテクニックがはるかに脆弱であることが分かりました。
具体的には、変数リネームやデッドコード挿入などの単純なセマンティック保存変換が、プログラムの機能を変更することなく、ウォーターマークを効果的に消去できることを示す。
透かしの頑健さを体系的に評価するために,透かしプログラムの抽象構文木(AST)を横切るアルゴリズムを開発し,ランダムなセマンティクス保存変換を適用した。
異なるLLMで生成されたPythonコードを用いて行った実験結果から,小さな修正であっても透かし検出性が大幅に低下し,真正の速度(TPR)が50%以下に低下する可能性が示唆された。
私たちのコードはhttps://github.com/uiuc-arc/llm-code-watermark.comで公開されています。
関連論文リスト
- Invisible Watermarks: Attacks and Robustness [0.3495246564946556]
本稿では,攻撃時の画像品質の劣化を最小限に抑えるとともに,透かしの堅牢性を向上する新しい手法を提案する。
そこで本研究では,デコード中,一方の透かしのモダリティを保ちながら他方を完全に除去する独自の透かし除去ネットワークを提案する。
評価の結果,1)他のモダリティを復号する際の透かしモダリティの1つを保持するための透かし除去モデルの実装は,ベースライン性能において若干改善され,2)LBAは画像全体の均一なぼかしに比べて画像の劣化を著しく低減することがわかった。
論文 参考訳(メタデータ) (2024-12-17T03:50:13Z) - Revisiting the Robustness of Watermarking to Paraphrasing Attacks [10.68370011459729]
多くの最近の透かし技術は、後に検出できる出力に信号を埋め込むためにLMの出力確率を変更する。
ブラックボックス型透かしモデルから限られた世代にしかアクセスできないため,パラフレーズ攻撃による透かし検出の回避効果を大幅に向上させることができる。
論文 参考訳(メタデータ) (2024-11-08T02:22:30Z) - Beyond Dataset Watermarking: Model-Level Copyright Protection for Code Summarization Models [37.817691840557984]
CSMは、許可されていないユーザによる搾取のリスクに直面します。
伝統的な透かし法はトリガーと透かしの特徴を別々に設計する必要がある。
モデルレベルの新しい電子透かし埋め込み方式であるModMarkを提案する。
論文 参考訳(メタデータ) (2024-10-18T00:48:00Z) - On the Learnability of Watermarks for Language Models [80.97358663708592]
言語モデルが透かし付きテキストを生成するために直接学習できるかどうかを問う。
本稿では,教師モデルとして振舞う学生モデルを訓練する透かし蒸留法を提案する。
モデルは、高い検出性で透かし付きテキストを生成することができる。
論文 参考訳(メタデータ) (2023-12-07T17:41:44Z) - A Robust Semantics-based Watermark for Large Language Model against Paraphrasing [50.84892876636013]
大規模言語モデル(LLM)は、様々な自然言語処理において優れた能力を示している。
LLMは不適切にも違法にも使用できるという懸念がある。
本稿ではセマンティクスに基づく透かしフレームワークSemaMarkを提案する。
論文 参考訳(メタデータ) (2023-11-15T06:19:02Z) - An Unforgeable Publicly Verifiable Watermark for Large Language Models [84.2805275589553]
現在の透かし検出アルゴリズムは、透かし生成プロセスで使用される秘密鍵を必要としており、公開検出中にセキュリティ違反や偽造の影響を受ける。
両段階で同じキーを使用するのではなく、2つの異なるニューラルネットワークを用いて透かしの生成と検出を行う。
論文 参考訳(メタデータ) (2023-07-30T13:43:27Z) - Towards Codable Watermarking for Injecting Multi-bits Information to LLMs [86.86436777626959]
大規模言語モデル(LLM)は、流布とリアリズムを増大させるテキストを生成する。
既存の透かし方式はエンコーディング非効率であり、多様な情報エンコーディングニーズに柔軟に対応できない。
テキスト透かしを複数ビットでカスタマイズ可能な情報を運ぶことができるCTWL (Codable Text Watermarking for LLMs) を提案する。
論文 参考訳(メタデータ) (2023-07-29T14:11:15Z) - On the Reliability of Watermarks for Large Language Models [95.87476978352659]
本研究では,人間による書き直し後の透かしテキストの堅牢性,非透かしLDMによる言い換え,あるいはより長い手書き文書への混在性について検討する。
人や機械の言い回しをしても、透かしは検出可能である。
また、大きな文書に埋め込まれた透かし付きテキストの短いスパンに敏感な新しい検出手法についても検討する。
論文 参考訳(メタデータ) (2023-06-07T17:58:48Z) - Who Wrote this Code? Watermarking for Code Generation [53.24895162874416]
本稿では,機械生成テキストを検出するために,Entropy Thresholding (SWEET) を用いたSelective WatErmarkingを提案する。
実験の結果,SWEETはコード品質を著しく向上し,すべてのベースラインを上回ります。
論文 参考訳(メタデータ) (2023-05-24T11:49:52Z) - Towards Tracing Code Provenance with Code Watermarking [37.41260851333952]
我々は、ビット文字列を変数に隠蔽し、コードの自然的および操作的意味論を尊重する電子透かしシステムであるCodeMarkを提案する。
自然性のために、我々は、グラフニューラルネットワーク上のコンテキストにおいてよりコヒーレントな透かし変数を生成するためのコンテキスト透かし方式を導入する。
CodeMarkは、透かし要求のバランスが良く、SOTA透かしシステムより優れていることを示す。
論文 参考訳(メタデータ) (2023-05-21T13:53:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。