論文の概要: Agent or Human? Detecting Commits by AI Coding Agents in the Absence of Authorship Signatures
- arxiv url: http://arxiv.org/abs/2610.36229v1
- Date: Mon, 26 Oct 2026 20:08:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.428232
- Title: Agent or Human? Detecting Commits by AI Coding Agents in the Absence of Authorship Signatures
- Title（参考訳）: エージェントか人間か? オーサシップ署名の存在下でAIコーディングエージェントがコミッタを検出する
- Abstract要約: Claude Code、GitHub Copilotコーディングエージェント、Cursorがオープンソースリポジトリに直接コミットした。
オーサシップシグネチャはオプションで削除可能で、個々のコミットではなくプルリクエストにアタッチされることが多い。
1,226リポジトリの7,837,946コミットを用いて,シグネチャフリー検出の信号と限界について検討した。
- 参考スコア（独自算出の注目度）: 8.853644922970307
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: AI coding agents such as Claude Code, GitHub Copilot coding agent, and Cursor now commit directly to open-source repositories. Empirical studies of these agents identify their commits through authorship signatures, such as bot accounts and Co-authored-by trailers. These signatures are optional, can be removed, and are often attached to pull requests rather than to individual commits. Hence, it is unclear whether Agent commits can be told apart from Human commits once the signatures are gone. We investigate the signals and limits of signature-free detection using 7,837,946 commits from 1,226 repositories, covering five coding agents and Human commits. After signatures are masked, detectors rank Agent commits above Human commits with a ROC AUC of up to 0.859, and most of this signal comes from message verbosity and change size rather than from the code itself. On the shared sample, gpt-6-sol without fine-tuning reaches AUCs similar to XGBoost and TF-IDF. At the observed Agent share, however, the best detector on the full test set reaches a precision of only 0.332. Detection transfers poorly to held-out Claude Code and Copilot, with TF-IDF reaching an AUC of only 0.524 for Claude Code. Temporal changes also depend on the agent, e.g., Copilot AUC drops and later recovers, while more training history helps Claude Code but not Copilot. These results indicate that signature-free detection can prioritize commits for review but cannot replace recorded attribution, and that studies relying on signature-based labels should treat them as a lower bound on agent activity.
- Abstract（参考訳）: Claude Code、GitHub Copilotコーディングエージェント、CursorなどのAIコーディングエージェントが、オープンソースリポジトリに直接コミットできるようになった。
これらのエージェントの実証的研究は、ボットアカウントや共著者によるトレーラーなど、著者の署名を通じて、彼らのコミットを識別する。
これらのシグネチャはオプションで削除可能であり、個々のコミットではなくプルリクエストにアタッチされることが多い。
したがって、署名がなくなったら、エージェントコミットが人間コミットとは別々に伝えられるかどうかは不明である。
1,226リポジトリの7,837,946コミットを用いて,5つのコーディングエージェントとヒューマンコミットを対象とし,シグネチャフリー検出の信号と限界について検討した。
署名がマスクされた後、検知器は人間のコミットを最大0.859のROC AUCでランク付けし、ほとんどの信号はコード自体からではなくメッセージの冗長性と変更サイズから来ている。
共有試料では, 微調整のないgpt-6-solがXGBoostやTF-IDFと同様のAUCに達する。
しかし、観測されたエージェントのシェアでは、全テストセットの最良の検出器は0.332の精度に達する。
検出はClude CodeとCopilotへの転送が不十分で、TF-IDFはClude Codeで0.524のAUCに到達した。
時間的な変更はエージェント、例えばCopilot AUCのドロップやリカバリにも依存しますが、より多くのトレーニング履歴はClaude Codeには役立ちますが、Copilotではありません。
これらの結果は,シグネチャフリー検出がコミットの優先順位を決定することができるが,記録された属性を置き換えることはできないこと,シグネチャベースのラベルに依存する研究がエージェントアクティビティの下位境界として扱うべきであることを示唆している。
関連論文リスト
- Small but Mighty: Test Suites as Improvement Signals for Self-Evolving Agents [47.31799993604283]
TeSearchは、品質多様性の進化アルゴリズムを用いて、小さくて強いテストスイートを検索する。
129の現実世界のモジュールと3つのバックボーンで、TeSearchはどんなメソッドでも最高品質のスイートを提供する。
リポジトリのテストでは、59.9%の動作変更リライトが25.3%に対して、偽アラームレートが4.0%、決定毎に3.5秒で拒否されている。
論文 参考訳（メタデータ） (2026-10-11T22:36:54Z) - Who Finishes the Job? A Study of Follow-Up Fixes and Commit Authorship on AI Coding Agent Pull Requests [1.1164202369517056]
我々は、5つのAIコーディングエージェントで6,774の統合されたエージェントPRをフォローアップ修正します。
統合されたエージェントPRは、同じ期間に同じリポジトリにマージされた人間のPRの確率の1.62倍の精度で、検証された修正を惹きつけることがわかった。
これらの結果は、現在エージェントが自身の仕事をほぼ完了していることを示しているが、マージは人間のマージよりも頻繁に修正する必要があることを示している。
論文 参考訳（メタデータ） (2026-09-22T07:22:44Z) - Agora: Git as Shared Memory for Collective AutoResearch [54.31992252587096]
別々のセッションで作業する調査エージェントは、他の人が試したことと、構築可能な結果を知る必要がある。
各コミットは結果、洞察、仮説、検証、報告を記録し、それを以前の作業とリンクする。
約12日間に渡り,13人の言語モデル労働者がアゴラを重み移動問題の解決に利用したことを報告した。
論文 参考訳（メタデータ） (2026-09-16T04:00:54Z) - Vero: Can AI Agents Build Formally Verified Software Repositories? [45.09790101960906]
Veroはリポジトリレベルで共同実装と証明を評価する最初のベンチマークである。
Python、Dafny、Verus、Coqにまたがる実世界のリポジトリから43のマルチモジュールインスタンスが含まれている。
ベンチマークの信頼性を改善するため、Veroには、エージェントが提供された仕様の不満足さを正式に証明できる監査メカニズムも含まれている。
論文 参考訳（メタデータ） (2026-08-13T17:41:27Z) - Detecting AI Coding Agents in Open Source: A Validated Multi-Method Census of 180 Million Repositories [2.36052383261568]
ジェネレーティブAIコーディングエージェントが、オープンソースのサプライチェーンに参入している。
構成ファイルスキャン,コミットメッセージ解析,著者同一性マッチング,ボット署名検索を統合した多層検出フレームワークを提案する。
1つのメソッドがほんの少しのアクティビティをキャプチャすることはありません。
論文 参考訳（メタデータ） (2026-06-23T11:05:42Z) - Will the Agent Recuse Itself? Measuring LLM-Agent Compliance with In-Band Access-Deny Signals [0.0]
本稿では,Recuse Signal という軽量な帯域内拒否信号を提案する。
プロトコルの既存のチャネルの上に出力され、接続自動化エージェントが自発的に撤退するよう要求する。
我々は,新鮮エージェントに良質な操作タスクを付与し,反感を伴って観察する制御実験を行った。
論文 参考訳（メタデータ） (2026-06-04T17:50:54Z) - SWE-chat: Coding Agent Interactions From Real Users in the Wild [70.18158706281724]
SWE-chatは、オープンソースの開発者から収集された実際のコーディングエージェントセッションの大規模なデータセットである。
現在、データセットには6000のセッションが含まれており、63,000以上のユーザプロンプトと355,000のエージェントツールコールが含まれている。
論文 参考訳（メタデータ） (2026-04-22T17:08:19Z) - Fingerprinting AI Coding Agents on GitHub [0.0]
我々は,5つの主要エージェントからの33,580のプルリクエストを分析し,指紋認証AI符号化エージェントに関する最初の研究を行った。
コミットメッセージ、PR構造、コード特性にまたがる41の機能は、マルチクラスのエージェント識別において97.2%のF1スコアを達成する。
論文 参考訳（メタデータ） (2026-01-24T10:35:43Z) - AgentPack: A Dataset of Code Changes, Co-Authored by Agents and Humans [46.56091965723774]
コード編集のための微調整された大きな言語モデルは、一般的にコミットのマイニングやプルリクエストに依存しています。
我々は、Claude Code、OpenAI Codex、Cursor Agentが共著した1.3Mコード編集コーパスであるAgentPackを紹介する。
AgentPackで微調整されたモデルは、以前の人間のみのコミットコーパスで訓練されたモデルより優れていることを示す。
論文 参考訳（メタデータ） (2025-09-26T05:28:22Z) - Code with Me or for Me? How Increasing AI Automation Transforms Developer Workflows [60.04362496037186]
本研究は,コーディングエージェントと開発者インタラクションを制御した最初の研究である。
我々は,2つの主要な協調型およびエージェント型符号化アシスタントの評価を行った。
結果から,エージェントはコピロトを超える方法で開発者を支援することができることがわかった。
論文 参考訳（メタデータ） (2025-07-10T20:12:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。