論文の概要: Is This You, LLM? Recognizing AI-written Programs with Multilingual Code Stylometry

• arxiv url: http://arxiv.org/abs/2412.14611v1
• Date: Thu, 19 Dec 2024 08:00:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:32:56.317150
• Title: Is This You, LLM? Recognizing AI-written Programs with Multilingual Code Stylometry
• Title（参考訳）: これがLLMか?多言語コードスティロメトリーを用いたAI記述プログラム認識
• Authors: Andrea Gurioli, Maurizio Gabbrielli, Stefano Zacchiroli,
• Abstract要約: 我々は,LLMが生成するコードと人間が記述したコードとを区別する,AIコードスタイメトリーの技法を紹介する。 H-AIRosettaMPもリリースしました。H-AIRosettaMPはAIコードスタイメトリータスクのための新しいオープンデータセットで、10の人気のあるプログラミング言語で121の247のコードスニペットで構成されています。
• 参考スコア（独自算出の注目度）: 3.6936359356095454
• License:
• Abstract: With the increasing popularity of LLM-based code completers, like GitHub Copilot, the interest in automatically detecting AI-generated code is also increasing-in particular in contexts where the use of LLMs to program is forbidden by policy due to security, intellectual property, or ethical concerns.We introduce a novel technique for AI code stylometry, i.e., the ability to distinguish code generated by LLMs from code written by humans, based on a transformer-based encoder classifier. Differently from previous work, our classifier is capable of detecting AI-written code across 10 different programming languages with a single machine learning model, maintaining high average accuracy across all languages (84.1% $\pm$ 3.8%).Together with the classifier we also release H-AIRosettaMP, a novel open dataset for AI code stylometry tasks, consisting of 121 247 code snippets in 10 popular programming languages, labeled as either human-written or AI-generated. The experimental pipeline (dataset, training code, resulting models) is the first fully reproducible one for the AI code stylometry task. Most notably our experiments rely only on open LLMs, rather than on proprietary/closed ones like ChatGPT.
• Abstract（参考訳）: GitHub CopilotのようなLLMベースのコードコンプリーマの普及に伴い、AI生成コードの自動検出に対する関心も高まっている。特に、セキュリティ、知的財産権、あるいは倫理上の懸念によるポリシーによってプログラムにLLMを使用することが禁じられている状況において、私たちは、LLMが生成するコードをトランスフォーマーベースのエンコーダ分類器に基づいて人間によって書かれたコードと区別する、という、AIコードスタイメトリーの新しいテクニックを導入する。 以前の研究とは違って、我々の分類器は、単一の機械学習モデルで10の異なるプログラミング言語でAIで書かれたコードを検出することができ、すべての言語の平均精度(84.1%$\pm$3.8%)を維持することができる。 分類器とともに、H-AIRosettaMPもリリースしました。H-AIRosettaMPは、AIコードスタイメトリータスクのための新しいオープンデータセットで、10の人気のあるプログラミング言語で121の247のコードスニペットで構成されており、ヒューマン書きかAI生成のどちらかとラベル付けされています。 実験パイプライン(データセット、トレーニングコード、結果のモデル)は、AIコードスタイメトリータスクのための最初の完全に再現可能なパイプラインである。 最も注目すべきは、ChatGPTのようなプロプライエタリでクローズドな実験ではなく、オープンなLLMにのみ依存しています。

関連論文リスト

• An Empirical Study on Automatically Detecting AI-Generated Source Code: How Far Are We? [8.0988059417354]
  本稿では,AI生成コード検出の性能向上のための様々な手法を提案する。 我々の最良のモデルは最先端のAI生成コード検出器(GPTSniffer)より優れており、F1スコアは82.55である。
  論文  参考訳（メタデータ） (2024-11-06T22:48:18Z)
• Uncovering LLM-Generated Code: A Zero-Shot Synthetic Code Detector via Code Rewriting [78.48355455324688]
  原符号とLLM書き換え版との類似性に基づく新しいゼロショット合成符号検出器を提案する。 以上の結果から,既存のSOTA合成コンテンツ検出装置よりも顕著な改善が得られた。
  論文  参考訳（メタデータ） (2024-05-25T08:57:28Z)
• CodeIP: A Grammar-Guided Multi-Bit Watermark for Large Language Models of Code [56.019447113206006]
  大規模言語モデル(LLM)はコード生成において顕著な進歩を遂げた。 CodeIPは、新しいマルチビット透かし技術で、出所の詳細を保存するために追加情報を埋め込む。 5つのプログラミング言語にまたがる実世界のデータセットで実施された実験は、CodeIPの有効性を実証している。
  論文  参考訳（メタデータ） (2024-04-24T04:25:04Z)
• Zero-Shot Code Representation Learning via Prompt Tuning [6.40875582886359]
  コード表現を学習するためのゼロショットアプローチであるZecolerを提案する。 Zecolerは、事前訓練されたプログラミング言語モデルの上に構築されている。 我々はZecolerを,コードクローン検出,コード検索,メソッド名予測,コード要約,コード生成を含む5つのコードインテリジェンスタスクで評価する。
  論文  参考訳（メタデータ） (2024-04-13T09:47:07Z)
• InfiBench: Evaluating the Question-Answering Capabilities of Code Large Language Models [56.723509505549536]
  InfiBenchは、私たちの知識に合ったコードのための、最初の大規模フリーフォーム質問回答(QA)ベンチマークです。 慎重に選択された234の高品質なStack Overflow質問で構成されており、15のプログラミング言語にまたがっている。 InfiBench上で100以上の最新のコードLLMに対して,系統的評価を行い,新しい知見と洞察に富んだ結果を得た。
  論文  参考訳（メタデータ） (2024-03-11T02:06:30Z)
• Assured LLM-Based Software Engineering [51.003878077888686]
  この記事では,2024年4月15日にポルトガルのリスボンで開催された International Workshop on Interpretability, Robustness, and Benchmarking in Neural Software Engineering で,Mark Harman 氏による基調講演の内容の概要を紹介する。
  論文  参考訳（メタデータ） (2024-02-06T20:38:46Z)
• Zero-Shot Detection of Machine-Generated Codes [83.0342513054389]
  本研究は,LLMの生成したコードを検出するためのトレーニング不要な手法を提案する。 既存のトレーニングベースまたはゼロショットテキスト検出装置は、コード検出に効果がないことがわかった。 本手法は,リビジョン攻撃に対する堅牢性を示し,Javaコードによく適応する。
  論文  参考訳（メタデータ） (2023-10-08T10:08:21Z)
• LEVER: Learning to Verify Language-to-Code Generation with Execution [64.36459105535]
  本稿では,プログラムの実行結果の検証を学習することで,言語からコードへの生成を改善するシンプルな手法であるLEVERを提案する。 具体的には、LLMからサンプリングされたプログラムが、自然言語入力、プログラム自体とその実行結果に基づいて正しいか否かを判定するために、検証者を訓練する。 LEVER はベースコード LLMs (4.6% から 10.9% まで) を継続的に改善し、それらすべてに対して新しい最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-02-16T18:23:22Z)
• CGEMs: A Metric Model for Automatic Code Generation using GPT-3 [0.0]
  本研究は,理論的証明を用いて,あるいはモンテカルロシミュレーション法を用いてAI生成コンテンツを検証することを目的とする。 この場合、後者の手法を用いて統計的にかなりの数のサンプルを検査・検証する。 コンパイル、ロジック変換へのNL記述、必要な編集数、一般的に使用されている静的コードメトリクスとNLPメトリクス。
  論文  参考訳（メタデータ） (2021-08-23T13:28:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。