論文の概要: What is the Difference Between Me and You? Benchmarking the Quality Gap Between Human-Written and AI-Generated Code
- arxiv url: http://arxiv.org/abs/2609.12708v1
- Date: Fri, 11 Sep 2026 11:02:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 07:38:31.724185
- Title: What is the Difference Between Me and You? Benchmarking the Quality Gap Between Human-Written and AI-Generated Code
- Title（参考訳）: 私とあなたの違いは何か? 人書きとAI生成コードの品質ギャップのベンチマーク
- Abstract要約: 人書きコードとAI生成コードを大規模に比較する。
構造的複雑さと統計的自然性を特徴付ける。
CQBenchは27,346のイシュープロンタスクのベンチマークです。
- 参考スコア（独自算出の注目度）: 4.478789600295493
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: AI coding assistants are becoming co-authors of production software, yet their evaluation centers on functional correctness, leaving open whether their code differs from human code in the quality dimensions dominating lifecycle cost. We compare human-written and AI-generated code at scale: 787,562 function pairs across Python, Java, and C, each human function mined from open-source repositories paired with implementations generated from its docstring by three AI assistants (OpenAI GPT models, DeepSeek-Coder, Qwen2.5-Coder). We characterize structural complexity and statistical naturalness, and map static-analysis findings onto Orthogonal Defect Classification for defects and the Common Weakness Enumeration for vulnerabilities, making authors and languages directly comparable. AI-generated code is structurally compressed and stylistically templated: roughly half the size and branching of human code, clustering apart at the style level. Defect profiles differ in kind: human code concentrates issues of mature codebases, AI code repetitive boilerplate; security is language-dependent, with LLMs producing more, and more severe, findings in Python and Java but fewer high-severity memory-safety findings than humans in C. Once size is controlled for, complexity metrics carry little signal, while naturalness separates authors. Finally, we release CQBench, a benchmark of 27,346 issue-prone tasks with baselines and an evaluation pipeline for quality assurance and security testing.
- Abstract（参考訳）: AIコーディングアシスタントは、プロダクションソフトウェアの共著者になりつつあるが、彼らの評価は機能的正確性に重点を置いており、コードと人間のコードの違いがライフサイクルコストを支配しているかどうかをオープンにしている。
787,562の関数ペアがPython、Java、Cにまたがっており、それぞれがオープンソースリポジトリから採掘され、3つのAIアシスタント(OpenAI GPTモデル、DeepSeek-Coder、Qwen2.5-Coder)によって生成された実装と組み合わせられている。
構造的複雑性と統計的自然度を特徴付けるとともに,欠陥の直交欠陥分類と脆弱性の共通弱度列挙に静的解析結果のマッピングを行い,著者や言語と直接比較した。
AI生成コードは構造的に圧縮され、スタイリスティックにテンプレートされる。
人間のコードは成熟したコードベースやAIコードの繰り返しボイラプレートの問題に集中している。セキュリティは言語に依存しており、LLMはPythonとJavaでより多く、より深刻である。
最後に、ベースラインを備えた27,346の課題発生タスクのベンチマークと、品質保証とセキュリティテストのための評価パイプラインであるCQBenchをリリースする。
関連論文リスト
- The Illusion of Safety: Multi-Tier Verification of AI vs. Human C++ Code [10.544313262813812]
大規模な言語モデルでは、単一の見落とされた違反が悪用可能なバグとなるメモリアンセーフな言語であるC++がますます生成される。
AI生成コードのほとんどのセキュリティ評価は、静的解析のみに依存しており、実行時の違反を確認したり、テストされていないパスを推論することなく警告をフラグ付けする。
AI生成のC++は、人間が書いたコードほど安全ではないのか、そして、一般的な検証ツールがリスクに一致しているかを問う。
論文 参考訳（メタデータ） (2026-06-30T19:48:35Z) - HybridCodeAuthorship: A Benchmark Dataset for Line-Level Code Authorship Detection [1.6385993554828697]
HybridCodeAuthorshipは、人間とAIが認可したコード行をインターリーブしたPythonコードファイルの新しいベンチマークである。
次に、ラインレベルとチャンクレベルの2つの最先端AI生成コード検出アルゴリズムのパフォーマンスをベンチマークする。
論文 参考訳（メタデータ） (2026-06-10T19:21:19Z) - FrontierSmith: Synthesizing Open-Ended Coding Problems at Scale [73.57353294235223]
既存のクローズドエンドコーディングタスクからオープンエンドの問題を進化させる自動化システムであるFrontierSmithを紹介する。
2つのオープンエンドコーディングベンチマークでは、我々の合成データに対するトレーニングはベースモデルよりも大幅に向上する。
合成された問題は、エージェントがもっと回転してトークンを使うようにもなっています。
論文 参考訳（メタデータ） (2026-05-14T06:39:42Z) - AlgoVeri: An Aligned Benchmark for Verified Code Generation on Classical Algorithms [54.99368693313797]
既存のベンチマークでは、個々の言語/ツールのみをテストするため、パフォーマンス番号は直接比較できない。
このギャップに対処するAlgoVeriは、Dafny、Verus、Leanで77ドルの古典的アルゴリズムのベリコーディングを評価するベンチマークです。
論文 参考訳（メタデータ） (2026-02-10T06:58:26Z) - Code for Machines, Not Just Humans: Quantifying AI-Friendliness with Code Health Metrics [6.108440460022983]
我々は、競合プログラミングから5,000のPythonファイルのデータセットを通して「AIフレンドリなコード」の概念を調査する。
我々の発見は、人間フレンドリーなコードもAIツールとより互換性があることを確認した。
これらの結果は、組織がCodeHealthを使用して、AI介入のリスクが低い場所と、追加の人間の監視が保証される場所をガイドできることを示唆している。
論文 参考訳（メタデータ） (2026-01-05T15:23:55Z) - Human-Written vs. AI-Generated Code: A Large-Scale Study of Defects, Vulnerabilities, and Complexity [4.478789600295493]
本稿では,人間の開発者と最先端のLLMであるChatGPT,DeepSeek-Coder,Qwen-Coderの3つのコードを比較した。
我々の評価は、PythonとJavaの2つの広く使われている言語で500万以上のコードサンプルにまたがっており、Orthogonal Defect ClassificationとCommon Weaknessionを使ったセキュリティ脆弱性によって欠陥を分類している。
AI生成コードは一般的にシンプルで、未使用のコンストラクトやハードコードになりがちであるのに対して、人間書きのコードはより構造的な複雑さを示し、保守性の問題の集中度が高い。
論文 参考訳（メタデータ） (2025-08-29T13:51:28Z) - MultiAIGCD: A Comprehensive dataset for AI Generated Code Detection Covering Multiple Languages, Models,Prompts, and Scenarios [0.0]
我々は,Python,Java,Go用のAI生成コード検出データセットであるMultiAIGCDを紹介する。
全体として、MultiAIGCDは121,271のAI生成と32,148の人間のコードスニペットで構成されている。
論文 参考訳（メタデータ） (2025-07-29T11:16:55Z) - Decompiling Smart Contracts with a Large Language Model [51.49197239479266]
Etherscanの78,047,845のスマートコントラクトがデプロイされているにも関わらず(2025年5月26日現在)、わずか767,520 (1%)がオープンソースである。
この不透明さは、オンチェーンスマートコントラクトバイトコードの自動意味解析を必要とする。
バイトコードを可読でセマンティックに忠実なSolidityコードに変換する,先駆的な逆コンパイルパイプラインを導入する。
論文 参考訳（メタデータ） (2025-06-24T13:42:59Z) - KodCode: A Diverse, Challenging, and Verifiable Synthetic Dataset for Coding [49.56049319037421]
KodCodeは、高品質で検証可能なトレーニングデータを取得するという永続的な課題に対処する、合成データセットである。
自己検証手順によって体系的に検証される質問解決テスト三つ子を含む。
このパイプラインは大規模で堅牢で多様なコーディングデータセットを生成する。
論文 参考訳（メタデータ） (2025-03-04T19:17:36Z) - Uncovering LLM-Generated Code: A Zero-Shot Synthetic Code Detector via Code Rewriting [78.48355455324688]
原符号とLLM書き換え版との類似性に基づく新しいゼロショット合成符号検出器を提案する。
以上の結果から,既存のSOTA合成コンテンツ検出装置よりも顕著な改善が得られた。
論文 参考訳（メタデータ） (2024-05-25T08:57:28Z) - Generation Probabilities Are Not Enough: Uncertainty Highlighting in AI Code Completions [54.55334589363247]
本研究では,不確実性に関する情報を伝達することで,プログラマがより迅速かつ正確にコードを生成することができるかどうかを検討する。
トークンのハイライトは、編集される可能性が最も高いので、タスクの完了が早くなり、よりターゲットを絞った編集が可能になることがわかりました。
論文 参考訳（メタデータ） (2023-02-14T18:43:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。