Fugu-MT 論文翻訳(概要): Between the Commits: Process, Error, and Claim Reliability in a Wholly AI-Authored Codebase

論文の概要: Between the Commits: Process, Error, and Claim Reliability in a Wholly AI-Authored Codebase

arxiv url: http://arxiv.org/abs/2609.29744v1
Date: Thu, 24 Sep 2026 12:59:20 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-25 21:10:09.937442
Title: Between the Commits: Process, Error, and Claim Reliability in a Wholly AI-Authored Codebase
Title（参考訳）: 完全AI認証コードベースにおけるプロセス、エラー、クレームの信頼性の両立
Abstract要約: 我々は、Claude AIによって完全に構築された21,000行のPythonツールの完全な開発履歴からなる、新しいデータセットを提案する。ユーザコーディングエージェントのCLI命令は,IDEチャット命令と違い,理解,計画,コンサルテーションに重点を置いていることがわかった。 AIコード生成イベントの14.3%は、後にAIが認可したテストスイートによって捕捉された真のエラーを含んでいる。 AIの対話的応答のおよそ4～5分の1は、1つ以上の事実的エラーを含む。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We present: (i) a new dataset consisting of the full development history of a 21,000-line Python tool built entirely by Claude AI, with no human-authored code or tests, (ii) two code-provenance tracing tools, (iii) three taxonomies for instruction intent, commit provenance, and response reliability, (iv) application of these to analyse the dataset. We find that: (i) user coding agent CLI instructions differ in kind from IDE-chat instructions, with a greater focus on comprehension, planning and consultation, (ii) code development is mainly proactive, (iii) 14.3% of AI code-generation events contain a real error later caught by the AI-authored test suite, (iv) roughly 1 in 4-5 of the AI's interactive responses contains one or more factual errors.
Abstract（参考訳）: 以下を提示する。 i) Claude AIによって完全に構築された21,000行のPythonツールの完全な開発履歴で構成される新しいデータセット。 (ii)コード改善トレースツール2つ三指示意図、実行証明及び応答信頼性の三つの分類 (iv)データセットの分析にこれらを適用する。以下に示す。 (i)ユーザコーディングエージェントのCLI命令は、IDEチャット命令とは種類が異なり、理解、計画、コンサルティングに重点を置いている。 (ii)コード開発は主に積極的に行われる。 (iii)AIコード生成イベントの14.3%は、後にAIが認可したテストスイートによって捕捉された真のエラーを含んでいる。 (iv)AIの対話的応答の約4～5分の1は、1つ以上の事実的エラーを含む。

関連論文リスト

Does AI Assistance Leave a Temporal Fingerprint? Detecting Overreliance in AI-Assisted Writing and Programming [2.3412211209700997]
我々は,AI支援が時間的シグネチャを持っているか,文章からプログラミングまでを一般化しているか,そして,通常のコグニティブと小売りデリゲーションを区別するかどうかを問う。 CoAuthor (1,447のキーストロークレベルのコライクセッション)、RealHumanEval (243のプログラマレコードからのエディタテレメトリ)、LLM以前のCS1コーパス (5.100万キーストローク) の3つの公開コーパスを人間専用のベースラインとして分析する。 AIを挿入した文字の93%は作家の最終文書に残ったが、受け入れられたコード提案の14%はそのまま残っただけだった。
論文参考訳（メタデータ） (2026-09-15T22:16:50Z)
Practical Implementation Report on Introducing Spec-Driven Development Using AI Agents in Software Development PBL [1.7539923984360692]
本稿では,AIエージェントをベースとしたソフトウェア開発手法であるSpec-Driven Developmentの実装について報告する。調査、計画、実装、レビューという4つのフェーズからなるワークフローを定義しました。我々は,学生の主観的AI利用,実装スループット,コード理解という3つの視点から分析を行った。
論文参考訳（メタデータ） (2026-08-31T10:47:29Z)
'Your AI Text is not Mine': Redefining and Evaluating AI-generated Text Detection under Realistic Assumptions [50.1119556361129]
我々は,AI生成テキストのさまざまな概念とその特徴を体系的に定義する。 AITDNAは人間と機械が共同で構築したテキストの新しいベンチマークである。我々は、様々な機械生成テキスト検出器をベンチマークし、それらが特定の概念に対してのみうまく機能するが、広義の検出器として機能しないことが多いことを発見した。
論文参考訳（メタデータ） (2026-06-03T14:05:14Z)
SWE-chat: Coding Agent Interactions From Real Users in the Wild [70.18158706281724]
SWE-chatは、オープンソースの開発者から収集された実際のコーディングエージェントセッションの大規模なデータセットである。現在、データセットには6000のセッションが含まれており、63,000以上のユーザプロンプトと355,000のエージェントツールコールが含まれている。
論文参考訳（メタデータ） (2026-04-22T17:08:19Z)
Testing with AI Agents: An Empirical Study of Test Generation Frequency, Quality, and Coverage [1.6782288954198918]
本研究では,AIDevデータセットを用いたエージェントベースコーディングツールによるテスト生成の実験的検討を行った。テスト関連変更を含む2,232件のコミットを抽出し,テスト追加頻度,生成したテストの構造特性,コードカバレッジへの影響の3つの側面を検討した。その結果,(i)AIは,実世界のリポジトリにテストを追加するコミットの16.4%を作成した。(ii)AI生成テストメソッドは,より長いコードと高いアサーション密度を特徴とする構造パターンを示し,(iii)AI生成テストは,人手によるテストに匹敵するコードカバレッジに寄与していることがわかった。
論文参考訳（メタデータ） (2026-03-14T03:01:44Z)
AIDABench: AI Data Analytics Benchmark [62.45908988324612]
AIDABenchは、複雑なデータ分析タスクのAIシステムをエンドツーエンドで評価するためのベンチマークである。 AIDABenchは、質問応答、データビジュアライゼーション、ファイル生成という3つのコア機能ディメンションにまたがる600以上の多様なドキュメント分析タスクを含んでいる。 AIDABenchの11の最先端モデルを評価し、プロプライエタリ(Claude Sonnet 4.5、Gemini 3 Pro Previewなど)とオープンソース(Qwen3-Max-2026-01-23-Thinkingなど)の両方を対象とする。
論文参考訳（メタデータ） (2026-02-27T08:58:05Z)
Executable Knowledge Graphs for Replicating AI Research [65.41207324831583]
Executable Knowledge Graphs (xKG) は、科学文献から抽出された技術的洞察、コードスニペット、ドメイン固有の知識を自動的に統合するモジュラーでプラグイン可能な知識基盤である。コードはhttps://github.com/zjunlp/xKGでリリースされる。
論文参考訳（メタデータ） (2025-10-20T17:53:23Z)
Cracking CodeWhisperer: Analyzing Developers' Interactions and Patterns During Programming Tasks [4.321456509547389]
我々は、LLMベースのコード生成ツールであるAmazonのCodeWhispererと開発者がどのように関わるかを調査する。参加者10名を対象に2つのユーザスタディを行った。 1)インクリメンタルコードの改良,2)自然言語コメントを用いた明示的な指示,3)モデル提案によるベースライン構造化,4)外部ソースによる統合的使用,の4つの行動パターンを識別する。
論文参考訳（メタデータ） (2025-10-13T15:22:12Z)
MultiAIGCD: A Comprehensive dataset for AI Generated Code Detection Covering Multiple Languages, Models,Prompts, and Scenarios [0.0]
我々は,Python,Java,Go用のAI生成コード検出データセットであるMultiAIGCDを紹介する。全体として、MultiAIGCDは121,271のAI生成と32,148の人間のコードスニペットで構成されている。
論文参考訳（メタデータ） (2025-07-29T11:16:55Z)
Code with Me or for Me? How Increasing AI Automation Transforms Developer Workflows [60.04362496037186]
本研究は,コーディングエージェントと開発者インタラクションを制御した最初の研究である。我々は,2つの主要な協調型およびエージェント型符号化アシスタントの評価を行った。結果から,エージェントはコピロトを超える方法で開発者を支援することができることがわかった。
論文参考訳（メタデータ） (2025-07-10T20:12:54Z)
Uncertainty Quantification 360: A Holistic Toolkit for Quantifying and Communicating the Uncertainty of AI [49.64037266892634]
我々は、AIモデルの不確実性定量化のためのオープンソースのPythonツールキットUncertainty Quantification 360 (UQ360)について述べる。このツールキットの目標は2つある: ひとつは、AIアプリケーション開発ライフサイクルにおける不確実性を定量化し、評価し、改善し、伝達する共通のプラクティスを育むとともに、合理化するための幅広い能力を提供すること、もうひとつは、信頼できるAIの他の柱とのUQの接続をさらに探求することである。
論文参考訳（メタデータ） (2021-06-02T18:29:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。