論文の概要: Detection of LLM-Generated Java Code Using Discretized Nested Bigrams

• arxiv url: http://arxiv.org/abs/2502.15740v1
• Date: Fri, 07 Feb 2025 14:32:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-02 03:23:15.576781
• Title: Detection of LLM-Generated Java Code Using Discretized Nested Bigrams
• Title（参考訳）: 離散化ネストビグラムを用いたLLM生成Javaコードの検出
• Authors: Timothy Paek, Chilukuri Mohan,
• Abstract要約: 我々は,様々なサイズのソースコード群に対して,離散化ネステッドビグラムの周波数特性を新たに提案する。 従来の作業と比較して、高密度な会員ビンでスパース情報を表現することで改善が得られる。 提案手法は,76,089ファイルに対して99%の精度と0.999のAUCを達成し,GPT 4oを227個の特徴量で1,000以上の著者を対象とする。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Large Language Models (LLMs) are currently used extensively to generate code by professionals and students, motivating the development of tools to detect LLM-generated code for applications such as academic integrity and cybersecurity. We address this authorship attribution problem as a binary classification task along with feature identification and extraction. We propose new Discretized Nested Bigram Frequency features on source code groups of various sizes. Compared to prior work, improvements are obtained by representing sparse information in dense membership bins. Experimental evaluation demonstrated that our approach significantly outperformed a commonly used GPT code-detection API and baseline features, with accuracy exceeding 96% compared to 72% and 79% respectively in detecting GPT-rewritten Java code fragments for 976 files with GPT 3.5 and GPT4 using 12 features. We also outperformed three prior works on code author identification in a 40-author dataset. Our approach scales well to larger data sets, and we achieved 99% accuracy and 0.999 AUC for 76,089 files and over 1,000 authors with GPT 4o using 227 features.
• Abstract（参考訳）: 大規模言語モデル(LLM)は現在、専門家や学生によってコードを生成するために広く使われており、学術的完全性やサイバーセキュリティなどのアプリケーションのためのLLM生成コードを検出するツールの開発を動機付けている。 本稿では,この著者帰属問題を特徴識別と抽出とともに二項分類タスクとして扱う。 我々は,様々なサイズのソースコード群に対して,離散化ネステッドビグラムの周波数特性を新たに提案する。 従来の作業と比較して、高密度な会員ビンでスパース情報を表現することで改善が得られる。 GPT 3.5 と GPT4 の 976 ファイルに対する GPT 書き直された Java コードフラグメントを 12 つの特徴を用いて検出した場合, それぞれ 72% と 79% に対して 96% 以上の精度で GPT コード検出 API とベースライン機能に優れていた。 また、40名の著者のデータセットで、コード作者の識別に関する以前の3つの業績を上回りました。 提案手法は,76,089ファイルに対して99%の精度と0.999のAUCを達成し,GPT 4oを227個の特徴量で1,000以上の著者に提供した。

関連論文リスト

• CLOVER: A Test Case Generation Benchmark with Coverage, Long-Context, and Verification [71.34070740261072]
  本稿では,テストケースの生成と完成におけるモデルの能力を評価するためのベンチマークCLOVERを提案する。 ベンチマークはタスク間でのコード実行のためにコンテナ化されています。
  論文  参考訳（メタデータ） (2025-02-12T21:42:56Z)
• SnipGen: A Mining Repository Framework for Evaluating LLMs for Code [51.07471575337676]
  言語モデル(LLM)は、コードリポジトリを含む広範なデータセットに基づいてトレーニングされる。 それらの有効性を評価することは、トレーニングに使用されるデータセットと評価に使用されるデータセットとが重複する可能性があるため、大きな課題となる。 SnipGenは、コード生成のために、様々な下流タスクをまたいだ迅速なエンジニアリングを活用するように設計された包括的なリポジトリマイニングフレームワークである。
  論文  参考訳（メタデータ） (2025-02-10T21:28:15Z)
• CodeSteer: Symbolic-Augmented Language Models via Code/Text Guidance [12.001043263281698]
  既存のメソッドは、テキスト推論とコード生成の間に大きな言語モデル(LLM)を操ることができない。 我々は、LLMコード/テキスト生成を導く効果的な方法であるCodeSteerを紹介する。 GPT-4oをCodeSteerで強化すると、平均的なパフォーマンススコアが53.3から86.4に上昇する。
  論文  参考訳（メタデータ） (2025-02-04T15:53:59Z)
• I Can Find You in Seconds! Leveraging Large Language Models for Code Authorship Attribution [10.538442986619147]
  State-of-the-art large language model (LLM)は、様々な言語でソースコードのオーサリングに成功している。 LLMは、悪質な攻撃に対する敵対的な堅牢性を示す。 本稿では,大規模属性に対するトーナメント方式のアプローチを提案する。
  論文  参考訳（メタデータ） (2025-01-14T14:46:19Z)
• Preference Optimization for Reasoning with Pseudo Feedback [100.62603571434167]
  提案手法では,解のラベル付けを関連するテストケースに対する評価として行うことで,推論タスクに対する疑似フィードバックを生成する手法を提案する。 本研究では,擬似フィードバックを優先最適化に用いる数学的推論と符号化の両タスクについて実験を行い,両タスク間の改善を観察する。
  論文  参考訳（メタデータ） (2024-11-25T12:44:02Z)
• CodeTree: Agent-guided Tree Search for Code Generation with Large Language Models [106.11371409170818]
  大規模言語モデル(LLM)は、生成されたコードを自己定義し、自律的に改善する機能を持つエージェントとして機能する。 コード生成プロセスの異なる段階における探索空間を効率的に探索するLLMエージェントのためのフレームワークであるCodeTreeを提案する。 具体的には、異なるコーディング戦略を明示的に探求し、対応するコーディングソリューションを生成し、その後、ソリューションを洗練するために統合されたツリー構造を採用しました。
  論文  参考訳（メタデータ） (2024-11-07T00:09:54Z)
• Automated Software Vulnerability Static Code Analysis Using Generative Pre-Trained Transformer Models [0.8192907805418583]
  生成事前学習トランスフォーマーモデルは、様々な自然言語処理タスクにおいて驚くほど効果的であることが示されている。 我々は,脆弱なコード構文の存在を自動的に識別するタスクにおいて,オープンソースのGPTモデルの有効性を評価する。
  論文  参考訳（メタデータ） (2024-07-31T23:33:26Z)
• Leveraging Large Language Models to Detect npm Malicious Packages [4.479741014073169]
  本研究では,Large Language Models (LLMs) の有効性を実証的に検討した。 我々は、悪意のあるコードを検出する悪意のあるコードレビューワークフローであるSocketAIを紹介する。
  論文  参考訳（メタデータ） (2024-03-18T19:10:12Z)
• OpenCodeInterpreter: Integrating Code Generation with Execution and Refinement [58.034012276819425]
  我々はOpenCodeInterpreterを紹介した。OpenCodeInterpreterは、コードを生成、実行、反復的に精製するためのオープンソースのコードシステムのファミリーである。 我々は,HumanEvalやMBPP,EvalPlusの強化バージョンなど,主要なベンチマークを対象としたOpenCodeInterpreterの総合評価を行った。
  論文  参考訳（メタデータ） (2024-02-22T16:06:23Z)
• Zero-Shot Detection of Machine-Generated Codes [83.0342513054389]
  本研究は,LLMの生成したコードを検出するためのトレーニング不要な手法を提案する。 既存のトレーニングベースまたはゼロショットテキスト検出装置は、コード検出に効果がないことがわかった。 本手法は,リビジョン攻撃に対する堅牢性を示し,Javaコードによく適応する。
  論文  参考訳（メタデータ） (2023-10-08T10:08:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。