論文の概要: Towards Tracing Code Provenance with Code Watermarking
- arxiv url: http://arxiv.org/abs/2305.12461v1
- Date: Sun, 21 May 2023 13:53:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 08:02:17.798409
- Title: Towards Tracing Code Provenance with Code Watermarking
- Title(参考訳): コード透かしによるコード検出に向けて
- Authors: Wei Li, Borui Yang, Yujie Sun, Suyu Chen, Ziyun Song, Liyao Xiang,
Xinbing Wang, Chenghu Zhou
- Abstract要約: 我々は、ビット文字列を変数に隠蔽し、コードの自然的および操作的意味論を尊重する電子透かしシステムであるCodeMarkを提案する。
自然性のために、我々は、グラフニューラルネットワーク上のコンテキストにおいてよりコヒーレントな透かし変数を生成するためのコンテキスト透かし方式を導入する。
CodeMarkは、透かし要求のバランスが良く、SOTA透かしシステムより優れていることを示す。
- 参考スコア(独自算出の注目度): 37.41260851333952
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in large language models have raised wide concern in
generating abundant plausible source code without scrutiny, and thus tracing
the provenance of code emerges as a critical issue. To solve the issue, we
propose CodeMark, a watermarking system that hides bit strings into variables
respecting the natural and operational semantics of the code. For naturalness,
we novelly introduce a contextual watermarking scheme to generate watermarked
variables more coherent in the context atop graph neural networks. Each
variable is treated as a node on the graph and the node feature gathers
neighborhood (context) information through learning. Watermarks embedded into
the features are thus reflected not only by the variables but also by the local
contexts. We further introduce a pre-trained model on source code as a teacher
to guide more natural variable generation. Throughout the embedding, the
operational semantics are preserved as only variable names are altered. Beyond
guaranteeing code-specific properties, CodeMark is superior in watermarking
accuracy, capacity, and efficiency due to a more diversified pattern generated.
Experimental results show CodeMark outperforms the SOTA watermarking systems
with a better balance of the watermarking requirements.
- Abstract(参考訳): 大規模言語モデルの最近の進歩は、精査なしに十分な可読性のあるソースコードを生成することに対する大きな懸念を提起している。
この問題を解決するために,コードの自然的および操作的意味論を尊重する変数にビット文字列を隠蔽する透かしシステムであるCodeMarkを提案する。
自然性については,グラフニューラルネットワーク上のコンテキストにおいてより一貫性のある透かし変数を生成するためのコンテキスト透かし方式を新たに導入する。
各変数はグラフ上のノードとして扱われ、ノード機能は学習を通じて近傍(コンテキスト)情報を収集する。
したがって、機能に埋め込まれたウォーターマークは変数だけでなく、ローカルコンテキストによっても反映される。
さらに、より自然な変数生成を導くための教師として、ソースコードの事前学習モデルを導入する。
埋め込みを通して、操作意味論は変数名のみを変更して保存される。
コード固有のプロパティの保証以外にも、CodeMarkはより多様化したパターンを生成するため、ウォーターマークの精度、キャパシティ、効率性が優れている。
実験結果から,CodeMarkは透かし要求のバランスが良く,SOTA透かしシステムよりも優れていた。
関連論文リスト
- Token-Specific Watermarking with Enhanced Detectability and Semantic
Coherence for Large Language Models [32.914584565739894]
大規模言語モデルは、潜在的な誤報を伴う高品質な応答を生成する。
現在の透かしアルゴリズムは、挿入された透かしの検出可能性と生成されたテキストの意味的整合性の両方を達成するという課題に直面している。
本稿では,トークン固有の透かしロジットと分割比を生成するために,軽量ネットワークを利用した透かしのための新しい多目的最適化(MOO)手法を提案する。
論文 参考訳(メタデータ) (2024-02-28T05:43:22Z) - Improving the Generation Quality of Watermarked Large Language Models
via Word Importance Scoring [81.62249424226084]
トークンレベルの透かしは、トークン確率分布を変更して生成されたテキストに透かしを挿入する。
この透かしアルゴリズムは、生成中のロジットを変化させ、劣化したテキストの品質につながる可能性がある。
We propose to improve the quality of texts generated by a watermarked language model by Watermarking with Importance Scoring (WIS)。
論文 参考訳(メタデータ) (2023-11-16T08:36:00Z) - DiPmark: A Stealthy, Efficient and Resilient Watermark for Large
Language Models [71.49654786784713]
電子透かしのための分布保存型透かし(DiP)を提案する。
提案したDiPmarkは、透かし(ステルス)中の元のトークン分布を保存し、言語モデルAPIやウェイト(効率)にアクセスせずに検出可能であり、トークンの適度な変更(レジリエント)に対して堅牢である。
これは、コンテキストに基づいてユニークなtextiti.i.d.暗号を割り当てるハッシュ関数と組み合わさって、新しいreweight戦略を導入することで達成される。
論文 参考訳(メタデータ) (2023-10-11T17:57:35Z) - CodeMark: Imperceptible Watermarking for Code Datasets against Neural
Code Completion Models [12.15157050363382]
我々は,ユーザ定義の知覚不能な透かしをコードデータセットに埋め込んで,ニューラルネットワーク補完モデルのトレーニングに使用する手法であるCodeMarkを提案する。
CodeMarkはアダプティブなセマンティック保存変換に基づいており、コードデータの正確な機能を保持し、変更をルールブレーカから隠蔽する。
論文 参考訳(メタデータ) (2023-08-28T08:36:53Z) - An Unforgeable Publicly Verifiable Watermark for Large Language Models [88.50683534978407]
現在の透かし検出アルゴリズムは、透かし生成プロセスで使用される秘密鍵を必要とする。
本稿では、2つの異なるニューラルネットワークを用いて透かしの生成と検出を行う、偽造不可能な検証可能な透かしアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-07-30T13:43:27Z) - Who Wrote this Code? Watermarking for Code Generation [55.54239495289517]
エントロピー閾値(SWEET)を用いた新しい透かし手法Selective WatErmarkingを提案する。
SWEETは、生成中のトークン分布のエントロピーが高い位置にのみ「グリーン」トークンをプロモートすることで、生成されたコードの正確性を維持する。
論文 参考訳(メタデータ) (2023-05-24T11:49:52Z) - Contrastive Code Representation Learning [95.86686147053958]
一般的な再構成に基づくBERTモデルは,ソースコードの編集に敏感であることを示す。
コントラコード(ContraCode)は、コード機能を学ぶのにフォームではなく、コントラスト的な事前学習タスクである。
論文 参考訳(メタデータ) (2020-07-09T17:59:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。