論文の概要: HybridCodeAuthorship: A Benchmark Dataset for Line-Level Code Authorship Detection

• arxiv url: http://arxiv.org/abs/2606.12620v1
• Date: Wed, 10 Jun 2026 19:21:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-12 15:55:27.429015
• Title: HybridCodeAuthorship: A Benchmark Dataset for Line-Level Code Authorship Detection
• Title（参考訳）: HybridCodeAuthorship: 行レベルのコードオーサリング検出のためのベンチマークデータセット
• Authors: Luke Patterson, Li Wang, Adam Faulkner,
• Abstract要約: HybridCodeAuthorshipは、人間とAIが認可したコード行をインターリーブしたPythonコードファイルの新しいベンチマークである。 次に、ラインレベルとチャンクレベルの2つの最先端AI生成コード検出アルゴリズムのパフォーマンスをベンチマークする。
• 参考スコア（独自算出の注目度）: 1.6385993554828697
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Thanks to the rapid adoption of AI code assistants powered by large language models (LLMs), industry codebases are, increasingly, a hybrid of AI- and human-authored code. For risk management and productivity analysis purposes, it is crucial to enable fine-grained location detection of AI-generated code. To develop algorithms for this task, quality benchmarks are needed to assess performance. However, existing benchmarks tend to comprise academic, LeetCode-style problems and presume a code snippet is either completely human-authored or completely AI-authored, which is not reflective of the diverse intents and styles of industry codebases utilizing AI code assistants. To fill these gaps, we introduce HybridCodeAuthorship, a novel benchmark of Python code files with interleaved human- and AI-authored lines of code to simulate authentic utilization of AI code assistants. In this paper, we first present our dataset construction pipeline, which leverages CodeSearchNet, a massive collection of links to open sourced repositories on GitHub. We then benchmark the performance of two state-of-the-art AI-generated code detection algorithms at both the line- and chunk-level. Experimental results demonstrate that HybridCodeAuthorship is a challenging benchmark with a top-scoring algorithm, AIGCode Detector, obtaining a highest F1 score of 0.48 and 0.56 on chunk-level and line-level code detection tasks, respectively.
• Abstract（参考訳）: 大規模言語モデル(LLM)を活用したAIコードアシスタントの急速な採用により、業界コードベースはますますAIと人間によるコードの組み合わせになりつつある。 リスク管理と生産性分析の目的のためには、AI生成コードの詳細な位置検出を可能にすることが不可欠である。 このタスクのアルゴリズムを開発するには、性能を評価するために品質ベンチマークが必要である。 しかし、既存のベンチマークは学術的なLeetCodeスタイルの問題で構成され、コードスニペットは完全に人間によるものであるか、完全にAIによるものであると仮定する傾向にあり、AIコードアシスタントを利用した業界コードベースのさまざまな意図やスタイルを反映していない。 これらのギャップを埋めるために、私たちはHybridCodeAuthorshipを紹介します。これは、AIコードアシスタントの認証利用をシミュレートする、インターリーブされた人間とAIによって認可されたコード行を持つPythonコードファイルの新しいベンチマークです。 本稿では,GitHub上のオープンソースリポジトリへのリンクの大規模なコレクションであるCodeSearchNetを活用するデータセット構築パイプラインについて紹介する。 次に、ラインレベルとチャンクレベルの2つの最先端AI生成コード検出アルゴリズムのパフォーマンスをベンチマークする。 実験の結果、HybridCodeAuthorshipはトップスコアアルゴリズムであるAIGCode Detectorで、チャンクレベルとラインレベルのコード検出タスクでそれぞれ0.48と0.56のF1スコアを得た。

関連論文リスト

• MultiAIGCD: A Comprehensive dataset for AI Generated Code Detection Covering Multiple Languages, Models,Prompts, and Scenarios [0.0]
  我々は,Python,Java,Go用のAI生成コード検出データセットであるMultiAIGCDを紹介する。 全体として、MultiAIGCDは121,271のAI生成と32,148の人間のコードスニペットで構成されている。
  論文  参考訳（メタデータ） (2025-07-29T11:16:55Z)
• AIGCodeSet: A New Annotated Dataset for AI Generated Code Detection [0.0]
  AIGCodeSetは2.828のAI生成コードと4.755の人手によるPythonコードで構成される。 ベイズ分類器が他のモデルより優れていることを示す実験を行った。
  論文  参考訳（メタデータ） (2024-12-21T11:53:49Z)
• An Empirical Study on Automatically Detecting AI-Generated Source Code: How Far Are We? [8.0988059417354]
  本稿では,AI生成コード検出の性能向上のための様々な手法を提案する。 我々の最良のモデルは最先端のAI生成コード検出器(GPTSniffer)より優れており、F1スコアは82.55である。
  論文  参考訳（メタデータ） (2024-11-06T22:48:18Z)
• Codev-Bench: How Do LLMs Understand Developer-Centric Code Completion? [60.84912551069379]
  Code-Development Benchmark (Codev-Bench)は、細粒度で現実世界、リポジトリレベル、開発者中心の評価フレームワークです。 Codev-Agentは、リポジトリのクローリングを自動化し、実行環境を構築し、既存のユニットテストから動的呼び出しチェーンを抽出し、データ漏洩を避けるために新しいテストサンプルを生成するエージェントベースのシステムである。
  論文  参考訳（メタデータ） (2024-10-02T09:11:10Z)
• Uncovering LLM-Generated Code: A Zero-Shot Synthetic Code Detector via Code Rewriting [78.48355455324688]
  原符号とLLM書き換え版との類似性に基づく新しいゼロショット合成符号検出器を提案する。 以上の結果から,既存のSOTA合成コンテンツ検出装置よりも顕著な改善が得られた。
  論文  参考訳（メタデータ） (2024-05-25T08:57:28Z)
• Leveraging Generative AI: Improving Software Metadata Classification with Generated Code-Comment Pairs [0.0]
  ソフトウェア開発では、コードの理解とコラボレーションを強化する上で、コードコメントが重要な役割を果たす。 本研究では,コードコメントを「有用」あるいは「有用でない」と客観的に分類する課題について論じる。 本稿では,この分類プロセスを自動化するために,コンテキスト化された埋め込み,特にBERTを利用する新しいソリューションを提案する。
  論文  参考訳（メタデータ） (2023-10-14T12:09:43Z)
• Enhancing Semantic Code Search with Multimodal Contrastive Learning and Soft Data Augmentation [50.14232079160476]
  コード検索のためのマルチモーダルコントラスト学習とソフトデータ拡張を用いた新しい手法を提案する。 我々は,6つのプログラミング言語を用いた大規模データセットにおけるアプローチの有効性を評価するために,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2022-04-07T08:49:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。