論文の概要: Distinguishing LLM-generated from Human-written Code by Contrastive Learning

• arxiv url: http://arxiv.org/abs/2411.04704v1
• Date: Thu, 07 Nov 2024 13:39:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-08 19:39:41.169129
• Title: Distinguishing LLM-generated from Human-written Code by Contrastive Learning
• Title（参考訳）: コントラスト学習による人書きコードからLLMを生成する
• Authors: Xiaodan Xu, Chao Ni, Xinrong Guo, Shaoxuan Liu, Xiaoya Wang, Kui Liu, Xiaohu Yang,
• Abstract要約: 大規模言語モデル(LLM)は、様々なタスクに対して高品質なコンテンツを生成する能力があることが証明されたため、大きな注目を集めている。 ニュース、教育、ソフトウェア工学など、さまざまな分野における潜在的なリスクに対する懸念が高まっている。 コントラスト学習フレームワークとUniXcoderで構築したセマンティックエンコーダに基づく,新しいChatGPT生成コード検出器CodeGPTSensorを提案する。
• 参考スコア（独自算出の注目度）: 5.553326595990857
• License:
• Abstract: Large language models (LLMs), such as ChatGPT released by OpenAI, have attracted significant attention from both industry and academia due to their demonstrated ability to generate high-quality content for various tasks. Despite the impressive capabilities of LLMs, there are growing concerns regarding their potential risks in various fields, such as news, education, and software engineering. Recently, several commercial and open-source LLM-generated content detectors have been proposed, which, however, are primarily designed for detecting natural language content without considering the specific characteristics of program code. This paper aims to fill this gap by proposing a novel ChatGPT-generated code detector, CodeGPTSensor, based on a contrastive learning framework and a semantic encoder built with UniXcoder. To assess the effectiveness of CodeGPTSensor on differentiating ChatGPT-generated code from human-written code, we first curate a large-scale Human and Machine comparison Corpus (HMCorp), which includes 550K pairs of human-written and ChatGPT-generated code (i.e., 288K Python code pairs and 222K Java code pairs). Based on the HMCorp dataset, our qualitative and quantitative analysis of the characteristics of ChatGPT-generated code reveals the challenge and opportunity of distinguishing ChatGPT-generated code from human-written code with their representative features. Our experimental results indicate that CodeGPTSensor can effectively identify ChatGPT-generated code, outperforming all selected baselines.
• Abstract（参考訳）: OpenAIがリリースしたChatGPTのような大規模言語モデル(LLM)は、様々なタスクで高品質なコンテンツを生成する能力を示すことから、業界と学界の両方から大きな注目を集めている。 LLMの素晴らしい能力にもかかわらず、ニュース、教育、ソフトウェア工学など、様々な分野における潜在的なリスクについて懸念が高まっている。 近年,商業的かつオープンソースのLCM生成コンテンツ検出装置がいくつか提案されているが,プログラムコードの特徴を考慮せずに自然言語の内容を検出することが主な目的である。 コントラスト学習フレームワークとUniXcoderで構築されたセマンティックエンコーダに基づいて,新しいChatGPT生成コード検出器であるCodeGPTSensorを提案することにより,このギャップを埋めることを目的とする。 人書きコードとChatGPT生成コードを区別するCodeGPTSensorの有効性を評価するため、まず550万組の人書きコードとChatGPT生成コード(288万行のPythonコードペアと222万行のJavaコードペア)を含む大規模な人間と機械の比較コーパス(HMCorp)をキュレートする。 HMCorpデータセットに基づいて,ChatGPT生成コードの特徴を定性的かつ定量的に分析した結果,ChatGPT生成コードと人書きコードとを識別する上での課題と機会が明らかになった。 実験結果から,CodeGPTSensorはChatGPT生成コードを効果的に識別し,選択したベースラインを全て上回ることを示す。

関連論文リスト

• Uncovering LLM-Generated Code: A Zero-Shot Synthetic Code Detector via Code Rewriting [78.48355455324688]
  そこで本研究では,コードと書き直された変種との類似性に基づいて,ゼロショット合成符号検出器を提案する。 以上の結果から,既存のテキスト用合成コンテンツ検出装置よりも顕著な向上が見られた。
  論文  参考訳（メタデータ） (2024-05-25T08:57:28Z)
• CodeIP: A Grammar-Guided Multi-Bit Watermark for Large Language Models of Code [56.019447113206006]
  大規模言語モデル(LLM)はコード生成において顕著な進歩を遂げた。 CodeIPは、新しいマルチビット透かし技術で、出所の詳細を保存するために追加情報を埋め込む。 5つのプログラミング言語にまたがる実世界のデータセットで実施された実験は、CodeIPの有効性を実証している。
  論文  参考訳（メタデータ） (2024-04-24T04:25:04Z)
• Assured LLM-Based Software Engineering [51.003878077888686]
  この記事では,2024年4月15日にポルトガルのリスボンで開催された International Workshop on Interpretability, Robustness, and Benchmarking in Neural Software Engineering で,Mark Harman 氏による基調講演の内容の概要を紹介する。
  論文  参考訳（メタデータ） (2024-02-06T20:38:46Z)
• DEMASQ: Unmasking the ChatGPT Wordsmith [63.8746084667206]
  そこで本研究では,ChatGPT生成内容を正確に識別する効果的なChatGPT検出器DEMASQを提案する。 提案手法は, 人為的, 機械的, 人為的, 人為的, 機械的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人
  論文  参考訳（メタデータ） (2023-11-08T21:13:05Z)
• Assessing the Promise and Pitfalls of ChatGPT for Automated Code Generation [2.0400340435492272]
  本稿では,著名な大規模言語モデルであるChatGPTのコード生成能力を総合的に評価する。 5つのカテゴリにまたがる131のコード生成プロンプトのデータセットをキュレートして、堅牢な分析を可能にした。 コードソリューションはChatGPTと人間によってすべてのプロンプトで生成され、262のコードサンプルが得られた。
  論文  参考訳（メタデータ） (2023-11-05T12:56:40Z)
• CodeFuse-13B: A Pretrained Multi-lingual Code Large Language Model [58.127534002232096]
  本稿では,オープンソースの事前学習型LLMであるCodeFuse-13Bを紹介する。 英語と中国語の両方のプロンプトによるコード関連のタスク用に特別に設計されている。 CodeFuseは、高品質な事前トレーニングデータセットを利用することで、その効果を達成する。
  論文  参考訳（メタデータ） (2023-10-10T02:38:44Z)
• Zero-Shot Detection of Machine-Generated Codes [83.0342513054389]
  本研究は,LLMの生成したコードを検出するためのトレーニング不要な手法を提案する。 既存のトレーニングベースまたはゼロショットテキスト検出装置は、コード検出に効果がないことがわかった。 本手法は,リビジョン攻撃に対する堅牢性を示し,Javaコードによく適応する。
  論文  参考訳（メタデータ） (2023-10-08T10:08:21Z)
• No Need to Lift a Finger Anymore? Assessing the Quality of Code Generation by ChatGPT [28.68768157452352]
  本稿では,ChatGPTを用いたコード生成の質について検討する。 私たちは5つの言語(C、C++、Java、Python、JavaScript)で728のアルゴリズム問題と、コード生成タスクの54のコードシナリオを持つ18のCWEを活用しています。 この結果から,ChatGPTベースのコード生成に生じる潜在的な問題や限界が明らかになった。
  論文  参考訳（メタデータ） (2023-08-09T10:01:09Z)
• Discriminating Human-authored from ChatGPT-Generated Code Via Discernable Feature Analysis [2.9398911304923447]
  本稿では,ChatGPTが生成するコードと,人間が作成したコードとを区別することを目的とする。 時間的・空間的セグメンテーションを用いたデータセット浄化手法を考案し,データセットの変形を緩和する。 データリソースをさらに強化するために、我々は、ChatGPT生成コードの1万行からなる広範囲なデータセットを生成する"コード変換"、"機能変換"、"機能カスタマイズ"技術を採用している。
  論文  参考訳（メタデータ） (2023-06-26T03:15:06Z)
• Automatic Code Summarization via ChatGPT: How Far Are We? [10.692654700225411]
  CSN-Pythonと呼ばれる広く使われているPythonデータセット上でChatGPTを評価する。 BLEUとROUGE-Lでは、ChatGPTのコード要約性能は3つのSOTAモデルと比べて著しく劣っている。 この結果に基づき、ChatGPTベースのコード要約におけるいくつかのオープンな課題と機会を概説する。
  論文  参考訳（メタデータ） (2023-05-22T09:43:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。