論文の概要: Zero-Shot Detection of LLM-Generated Code via Approximated Task Conditioning

• arxiv url: http://arxiv.org/abs/2506.06069v1
• Date: Fri, 06 Jun 2025 13:23:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.486055
• Title: Zero-Shot Detection of LLM-Generated Code via Approximated Task Conditioning
• Title（参考訳）: 近似タスクコンディショニングによるLLM生成コードのゼロショット検出
• Authors: Maor Ashkenazi, Ofir Brenner, Tal Furman Shohet, Eran Treister,
• Abstract要約: LLM(Large Language Model)が生成するコードは、セキュリティ、知的財産権、学術的完全性に影響を及ぼす。 ゼロショットLLM生成符号検出における条件付き確率分布の役割について検討する。 与えられたコードスニペットを生成するのに使用される元のタスクを近似する新しいゼロショット検出手法を提案する。
• 参考スコア（独自算出の注目度）: 8.571111167616165
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Detecting Large Language Model (LLM)-generated code is a growing challenge with implications for security, intellectual property, and academic integrity. We investigate the role of conditional probability distributions in improving zero-shot LLM-generated code detection, when considering both the code and the corresponding task prompt that generated it. Our key insight is that when evaluating the probability distribution of code tokens using an LLM, there is little difference between LLM-generated and human-written code. However, conditioning on the task reveals notable differences. This contrasts with natural language text, where differences exist even in the unconditional distributions. Leveraging this, we propose a novel zero-shot detection approach that approximates the original task used to generate a given code snippet and then evaluates token-level entropy under the approximated task conditioning (ATC). We further provide a mathematical intuition, contextualizing our method relative to previous approaches. ATC requires neither access to the generator LLM nor the original task prompts, making it practical for real-world applications. To the best of our knowledge, it achieves state-of-the-art results across benchmarks and generalizes across programming languages, including Python, CPP, and Java. Our findings highlight the importance of task-level conditioning for LLM-generated code detection. The supplementary materials and code are available at https://github.com/maorash/ATC, including the dataset gathering implementation, to foster further research in this area.
• Abstract（参考訳）: LLM(Large Language Model)生成コードの検出は,セキュリティや知的財産権,学術的整合性といった面での課題が増えている。 コードとそれを生成するタスクプロンプトの両方を考慮すると、ゼロショットLLM生成コード検出の改善における条件確率分布の役割について検討する。 我々の重要な洞察は、LLMを用いてコードトークンの確率分布を評価する場合、LLM生成コードと人手によるコードの間にはほとんど差がないということである。 しかし、タスクの条件付けには顕著な違いがある。 これは、非条件分布においても違いが存在する自然言語のテキストとは対照的である。 これを利用して、与えられたコードスニペットを生成するために使用される元のタスクを近似したゼロショット検出手法を提案し、その後、近似されたタスク条件付け(ATC)の下でトークンレベルのエントロピーを評価する。 さらに,従来の手法と比較して,手法の文脈化を図った数学的直観を提供する。 ATC はジェネレータ LLM へのアクセスも本来のタスクプロンプトも必要とせず、現実のアプリケーションでは実用的である。 私たちの知る限りでは、Python、CPP、Javaなど、ベンチマークで最先端の結果を達成し、プログラミング言語で一般化します。 本研究は,LLM生成コード検出におけるタスクレベルコンディショニングの重要性を強調した。 追加資料とコードは、データセット収集実装を含むhttps://github.com/maorash/ATCで入手でき、この分野のさらなる研究を促進することができる。

関連論文リスト

• Is Compression Really Linear with Code Intelligence? [60.123628177110206]
  textitFormat Annealingは、事前訓練されたモデルの本質的な能力を同等に評価するために設計された、軽量で透明なトレーニング手法である。 我々の経験的結果は、測定されたコードインテリジェンスとビット・パー・キャラクタ(BPC)の基本的な対数関係を明らかにする。 私たちの研究は、コードインテリジェンスの開発における圧縮の役割をより微妙に理解し、コードドメインにおける堅牢な評価フレームワークに貢献します。
  論文  参考訳（メタデータ） (2025-05-16T16:59:14Z)
• Program Semantic Inequivalence Game with Large Language Models [10.358176296850639]
  大きな言語モデル(LLM)は、日々のコーディングタスクにおいて強力なパフォーマンスを達成することができるが、プログラムのセマンティクスに関する非自明な推論を必要とする複雑なタスクでは失敗する可能性がある。 本研究では,意味的不等価ゲームSInQに基づいて,コード推論学習データを合成的に生成する手法について検討する。 この設定により、無限の計算資源の限界における自己再生による理論的に無制限な改善が可能であることを証明した。
  論文  参考訳（メタデータ） (2025-05-02T20:03:35Z)
• Uncertainty-Guided Chain-of-Thought for Code Generation with LLMs [45.33160999781074]
  大規模言語モデル(LLM)の問題解決能力向上に有効な手法として,チェーン・オブ・ソート(CoT)推論が実証されている。 我々は、不確実性を認識したCoT推論機構を組み込むことで、コード生成を向上させるためのUnCert-CoTを導入する。
  論文  参考訳（メタデータ） (2025-03-19T15:40:45Z)
• An Effective Approach to Embedding Source Code by Combining Large Language and Sentence Embedding Models [6.976968804436321]
  本稿では,大言語と文埋め込みモデルを組み合わせた新しいソースコード埋め込み手法を提案する。 提案手法の性能を評価するため,異なるプログラミング言語を用いた3つのデータセットについて一連の実験を行った。
  論文  参考訳（メタデータ） (2024-09-23T01:03:15Z)
• Chain of Targeted Verification Questions to Improve the Reliability of Code Generated by LLMs [10.510325069289324]
  LLMが生成するコードの信頼性向上を目的とした自己補充手法を提案する。 当社のアプローチは,初期コード内の潜在的なバグを特定するために,対象とする検証質問(VQ)に基づいています。 本手法は,LLMをターゲットとするVQと初期コードで再プロンプトすることで,潜在的なバグの修復を試みる。
  論文  参考訳（メタデータ） (2024-05-22T19:02:50Z)
• Is Next Token Prediction Sufficient for GPT? Exploration on Code Logic Comprehension [18.919972400933393]
  我々は、先進的な事前訓練タスク「Next Token Prediction+」を提案する。 この事前トレーニングに続いて、コードドメイン事前トレーニングモデルであるCode LlamaとStarCoderの両方が、論理的に等価なコード選択タスクとコード補完タスクに大幅に改善されている。
  論文  参考訳（メタデータ） (2024-04-13T03:11:07Z)
• Code Prompting Elicits Conditional Reasoning Abilities in Text+Code LLMs [65.2379940117181]
  自然言語の問題をコードに変換する一連のプロンプトであるコードプロンプトを導入します。 コードプロンプトは複数のLLMに対して高速に向上することがわかった。 GPT 3.5を解析した結果,入力問題のコードフォーマッティングが性能向上に不可欠であることが判明した。
  論文  参考訳（メタデータ） (2024-01-18T15:32:24Z)
• LEVER: Learning to Verify Language-to-Code Generation with Execution [64.36459105535]
  本稿では,プログラムの実行結果の検証を学習することで,言語からコードへの生成を改善するシンプルな手法であるLEVERを提案する。 具体的には、LLMからサンプリングされたプログラムが、自然言語入力、プログラム自体とその実行結果に基づいて正しいか否かを判定するために、検証者を訓練する。 LEVER はベースコード LLMs (4.6% から 10.9% まで) を継続的に改善し、それらすべてに対して新しい最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-02-16T18:23:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。