論文の概要: Who Wrote this Code? Watermarking for Code Generation
- arxiv url: http://arxiv.org/abs/2305.15060v3
- Date: Fri, 23 Feb 2024 08:32:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-26 18:28:12.624515
- Title: Who Wrote this Code? Watermarking for Code Generation
- Title(参考訳): 誰がこのコードを書いたのか?
コード生成のための透かし
- Authors: Taehyun Lee, Seokhee Hong, Jaewoo Ahn, Ilgee Hong, Hwaran Lee, Sangdoo
Yun, Jamin Shin, Gunhee Kim
- Abstract要約: エントロピー閾値(SWEET)を用いた新しい透かし手法Selective WatErmarkingを提案する。
SWEETは、生成中のトークン分布のエントロピーが高い位置にのみ「グリーン」トークンをプロモートすることで、生成されたコードの正確性を維持する。
- 参考スコア(独自算出の注目度): 55.54239495289517
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the remarkable generation performance of large language models, ethical
and legal concerns about using them have been raised, such as plagiarism and
copyright issues. For such concerns, several approaches to watermark and detect
LLM-generated text have been proposed very recently. However, we discover that
the previous methods fail to function appropriately with code generation tasks
because of the syntactic and semantic characteristics of code. Based on
\citet{Kirchenbauer2023watermark}, we propose a new watermarking method,
Selective WatErmarking via Entropy Thresholding (SWEET), that promotes "green"
tokens only at the position with high entropy of the token distribution during
generation, thereby preserving the correctness of the generated code. The
watermarked code is detected by the statistical test and Z-score based on the
entropy information. Our experiments on HumanEval and MBPP show that SWEET
significantly improves the Pareto Frontier between the code correctness and
watermark detection performance. We also show that notable post-hoc detection
methods (e.g. DetectGPT) fail to work well in this task. Finally, we show that
setting a reasonable entropy threshold is not much of a challenge. Code is
available at https://github.com/hongcheki/sweet-watermark.
- Abstract(参考訳): 大きな言語モデルの顕著な世代パフォーマンスにより、盗作や著作権問題など、それらの使用に関する倫理的および法的懸念が高まっている。
このような問題に対して,LLM生成テキストを透かし,検出するためのいくつかのアプローチが提案されている。
しかし,コードの構文的・意味的特性から,従来の手法がコード生成タスクと適切に機能しないことがわかった。
そこで本稿では,<kirchenbauer2023watermark>に基づいて,生成時のトークン分布のエントロピーが高い位置においてのみ「緑」トークンを促進するエントロピーしきい値(sweet)による選択的透かし法を提案する。
透かし付きコードは、エントロピー情報に基づいて統計テストとZスコアにより検出される。
HumanEvalとMBPPの実験により,SWEETはコード精度と透かし検出性能の間にパレートフロンティアを著しく改善することが示された。
また, このタスクでは, 注目すべきポストホック検出手法(例: detectiongpt)がうまく動作しないことを示す。
最後に,適切なエントロピーしきい値の設定は,あまり課題ではないことを示す。
コードはhttps://github.com/hongcheki/sweet-watermarkで入手できる。
関連論文リスト
- Token-Specific Watermarking with Enhanced Detectability and Semantic
Coherence for Large Language Models [32.914584565739894]
大規模言語モデルは、潜在的な誤報を伴う高品質な応答を生成する。
現在の透かしアルゴリズムは、挿入された透かしの検出可能性と生成されたテキストの意味的整合性の両方を達成するという課題に直面している。
本稿では,トークン固有の透かしロジットと分割比を生成するために,軽量ネットワークを利用した透かしのための新しい多目的最適化(MOO)手法を提案する。
論文 参考訳(メタデータ) (2024-02-28T05:43:22Z) - Performance Trade-offs of Watermarking Large Language Models [28.556397738117617]
各種タスクにおいて,透かし付き大規模言語モデル (LLM) の性能を評価する。
ウォーターマーキングがkクラス分類問題として生じるタスクのパフォーマンスに無視できない影響があることが判明した。
要約や翻訳などの長文生成タスクでは、透かしによる性能の15~20%低下が見られる。
論文 参考訳(メタデータ) (2023-11-16T11:44:58Z) - Improving the Generation Quality of Watermarked Large Language Models
via Word Importance Scoring [81.62249424226084]
トークンレベルの透かしは、トークン確率分布を変更して生成されたテキストに透かしを挿入する。
この透かしアルゴリズムは、生成中のロジットを変化させ、劣化したテキストの品質につながる可能性がある。
We propose to improve the quality of texts generated by a watermarked language model by Watermarking with Importance Scoring (WIS)。
論文 参考訳(メタデータ) (2023-11-16T08:36:00Z) - DiPmark: A Stealthy, Efficient and Resilient Watermark for Large
Language Models [71.49654786784713]
電子透かしのための分布保存型透かし(DiP)を提案する。
提案したDiPmarkは、透かし(ステルス)中の元のトークン分布を保存し、言語モデルAPIやウェイト(効率)にアクセスせずに検出可能であり、トークンの適度な変更(レジリエント)に対して堅牢である。
これは、コンテキストに基づいてユニークなtextiti.i.d.暗号を割り当てるハッシュ関数と組み合わさって、新しいreweight戦略を導入することで達成される。
論文 参考訳(メタデータ) (2023-10-11T17:57:35Z) - A Semantic Invariant Robust Watermark for Large Language Models [29.52715060360837]
大規模言語モデル(LLM)に対する意味不変な透かし手法を提案する。
私たちの研究における透かしのロジットは、前のトークンのセマンティクスによって決定されます。
私たちの透かしには適切なセキュリティの堅牢性があることも示しています。
論文 参考訳(メタデータ) (2023-10-10T06:49:43Z) - SemStamp: A Semantic Watermark with Paraphrastic Robustness for Text
Generation [72.10931780019297]
既存の透かしアルゴリズムはトークンレベルの設計のため、パラフレーズ攻撃に弱い。
局所性に敏感なハッシュ(LSH)に基づく頑健な文レベルのセマンティック透かしアルゴリズムSemStampを提案する。
実験結果から,本アルゴリズムは従来手法に比べて,従来手法よりも頑健であるだけでなく,生成品質の維持にも有効であることが示唆された。
論文 参考訳(メタデータ) (2023-10-06T03:33:42Z) - An Unforgeable Publicly Verifiable Watermark for Large Language Models [88.50683534978407]
現在の透かし検出アルゴリズムは、透かし生成プロセスで使用される秘密鍵を必要とする。
本稿では、2つの異なるニューラルネットワークを用いて透かしの生成と検出を行う、偽造不可能な検証可能な透かしアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-07-30T13:43:27Z) - Towards Tracing Code Provenance with Code Watermarking [37.41260851333952]
我々は、ビット文字列を変数に隠蔽し、コードの自然的および操作的意味論を尊重する電子透かしシステムであるCodeMarkを提案する。
自然性のために、我々は、グラフニューラルネットワーク上のコンテキストにおいてよりコヒーレントな透かし変数を生成するためのコンテキスト透かし方式を導入する。
CodeMarkは、透かし要求のバランスが良く、SOTA透かしシステムより優れていることを示す。
論文 参考訳(メタデータ) (2023-05-21T13:53:12Z) - A Watermark for Large Language Models [60.66466446340074]
本稿では,プロプライエタリな言語モデルのための透かしフレームワークを提案する。
透かしはテキストの品質に無視できない影響で埋め込むことができる。
言語モデルAPIやパラメータにアクセスすることなく、効率的なオープンソースアルゴリズムを使って検出することができる。
論文 参考訳(メタデータ) (2023-01-24T18:52:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。