論文の概要: CodeIP: A Grammar-Guided Multi-Bit Watermark for Large Language Models of Code

• arxiv url: http://arxiv.org/abs/2404.15639v1
• Date: Wed, 24 Apr 2024 04:25:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-26 20:09:25.157401
• Title: CodeIP: A Grammar-Guided Multi-Bit Watermark for Large Language Models of Code
• Title（参考訳）: CodeIP: 大規模言語のコードモデルのための文法ガイド付きマルチビット透かし
• Authors: Batu Guan, Yao Wan, Zhangqian Bi, Zheng Wang, Hongyu Zhang, Yulei Sui, Pan Zhou, Lichao Sun,
• Abstract要約: 我々は,Large Language Models(LLM)ベースのコード生成のための新しい透かし技術であるCodeIPを提案する。 CodeIPは、生成されたコードのセマンティクスを保持しながら、マルチビット情報の挿入を可能にする。
• 参考スコア（独自算出の注目度）: 59.32609948217718
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As Large Language Models (LLMs) are increasingly used to automate code generation, it is often desired to know if the code is AI-generated and by which model, especially for purposes like protecting intellectual property (IP) in industry and preventing academic misconduct in education. Incorporating watermarks into machine-generated content is one way to provide code provenance, but existing solutions are restricted to a single bit or lack flexibility. We present CodeIP, a new watermarking technique for LLM-based code generation. CodeIP enables the insertion of multi-bit information while preserving the semantics of the generated code, improving the strength and diversity of the inerseted watermark. This is achieved by training a type predictor to predict the subsequent grammar type of the next token to enhance the syntactical and semantic correctness of the generated code. Experiments on a real-world dataset across five programming languages showcase the effectiveness of CodeIP.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、コード生成の自動化にますます使用されているため、コードがAI生成されているかどうか、特に産業における知的財産権(IP)保護や教育における学術的不正行為の防止といった目的のために、どのモデルがどのモデルであるかを知ることが望まれる。 マシン生成コンテンツに透かしを組み込むことは、コード証明を提供する方法のひとつだが、既存のソリューションは単一のビットに制限されているか、柔軟性が欠如している。 我々は,LLMベースのコード生成のための新しい透かし技術であるCodeIPを提案する。 CodeIPは、生成されたコードのセマンティクスを保持しながら、マルチビット情報の挿入を可能にし、未設定の透かしの強度と多様性を向上させる。 これは、次のトークンの後の文法型を予測するために型予測器を訓練し、生成されたコードの構文的および意味的正しさを高めることで達成される。 5つのプログラミング言語にまたがる実世界のデータセットの実験では、CodeIPの有効性が示されている。

関連論文リスト

• CodeVision: Detecting LLM-Generated Code Using 2D Token Probability Maps and Vision Models [28.711745671275477]
  大規模言語モデル(LLM)の台頭により、自動コード生成が大幅に改善され、ソフトウェア開発の効率が向上した。 事前訓練されたモデルや透かしなどの既存の検出方法は、適応性と計算効率の制限に直面している。 本稿では,視覚モデルと組み合わせた2次元トークン確率マップを用いた新しい検出手法を提案する。
  論文  参考訳（メタデータ） (2025-01-06T06:15:10Z)
• Crystal: Illuminating LLM Abilities on Language and Code [58.5467653736537]
  本稿では,自然言語と符号化機能の統合性を高めるための事前学習戦略を提案する。 結果のモデルであるCrystalは、両方のドメインで顕著な能力を示します。
  論文  参考訳（メタデータ） (2024-11-06T10:28:46Z)
• HexaCoder: Secure Code Generation via Oracle-Guided Synthetic Training Data [60.75578581719921]
  大規模言語モデル(LLM)は、自動コード生成に大きな可能性を示している。 最近の研究は、多くのLLM生成コードが深刻なセキュリティ脆弱性を含んでいることを強調している。 我々は,LLMがセキュアなコードを生成する能力を高めるための新しいアプローチであるHexaCoderを紹介する。
  論文  参考訳（メタデータ） (2024-09-10T12:01:43Z)
• Decoding at the Speed of Thought: Harnessing Parallel Decoding of Lexical Units for LLMs [57.27982780697922]
  大規模言語モデルは、自然言語の理解と生成において例外的な能力を示した。 しかし、それらの生成速度は、その復号過程の本質的にシーケンシャルな性質によって制限される。 本稿では,データ駆動方式で実装された新しいデコーディング手法であるLexical Unit Decodingを紹介する。
  論文  参考訳（メタデータ） (2024-05-24T04:35:13Z)
• CodeGRAG: Bridging the Gap between Natural Language and Programming Language via Graphical Retrieval Augmented Generation [58.84212778960507]
  我々は,LLMの性能を高めるため,グラフィカル検索拡張コード生成フレームワークであるCodeGRAGを提案する。 CodeGRAGは、制御フローとデータフローに基づいて、コードブロックのグラフィカルなビューを構築し、プログラミング言語と自然言語のギャップを埋める。 ハードメタグラフプロンプト、ソフトプロンプト技術、事前訓練されたGNN専門家の目的の有効性を検証するために、C++言語とピソン言語の両方を含む4つのデータセットで様々な実験と改善が行われた。
  論文  参考訳（メタデータ） (2024-05-03T02:48:55Z)
• CodecLM: Aligning Language Models with Tailored Synthetic Data [51.59223474427153]
  命令追従能力のための高品質な合成データを適応的に生成するフレームワークであるCodecLMを紹介する。 まず、ターゲットの指示分布をキャプチャするために、オンザフライで生成された簡潔なキーワードであるメタデータにシード命令をエンコードする。 また、デコード中に自己論理とコントラストフィルタを導入し、データ効率の良いサンプルを調整する。
  論文  参考訳（メタデータ） (2024-04-08T21:15:36Z)
• Exploring Large Language Models for Code Explanation [3.2570216147409514]
  大規模言語モデル(LLM)は自然言語処理において顕著な進歩を遂げている。 本研究では,様々なLLMを用いて,コードスニペットの自然言語要約を生成するタスクについて検討する。
  論文  参考訳（メタデータ） (2023-10-25T14:38:40Z)
• Bridging Code Semantic and LLMs: Semantic Chain-of-Thought Prompting for Code Generation [22.219645213202178]
  本稿では,SeCoT というコードの意味情報を抽出する "Semantic Chain-of-Thought" 手法を提案する。 本研究では,SeCoTが最先端の性能を実現し,大規模モデルやコード生成の可能性を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-10-16T05:09:58Z)
• Knowledge Transfer for Pseudo-code Generation from Low Resource Programming Language [13.716669765394293]
  我々は、並列コード-擬似コードデータを用いて、高リソースPL(C++)で訓練されたコード-擬似コードニューラルモデルによって得られた知識の伝達に焦点をあてる。 後方翻訳により生成されたC符号の成功率を23.27%向上させる。
  論文  参考訳（メタデータ） (2023-03-16T03:38:08Z)
• CodeT5: Identifier-aware Unified Pre-trained Encoder-Decoder Models for Code Understanding and Generation [36.47905744758698]
  我々は、開発者が指定した識別子から伝達されるコードセマンティクスをよりよく活用する、事前訓練されたエンコーダ-デコーダ変換モデルであるCodeT5を提案する。 我々のモデルは、コード理解と生成タスクの両方をシームレスにサポートし、マルチタスク学習を可能にする統一的なフレームワークを採用している。
  論文  参考訳（メタデータ） (2021-09-02T12:21:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。