論文の概要: The Quality of Claude AI-authored Python Tests Is Not Weaker Than Human-authored Tests
- arxiv url: http://arxiv.org/abs/2608.15188v1
- Date: Sat, 15 Aug 2026 12:03:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.218171
- Title: The Quality of Claude AI-authored Python Tests Is Not Weaker Than Human-authored Tests
- Title（参考訳）: クローズドなAIによるPythonテストの質は、人間によるテストより重要ではない
- Abstract要約: DjangoとPandasによる人手によるPythonテストに対して、Claude AIで書かれたPythonテストの品質を評価した。
一方の非負性境界を用いて、最近のクロードモデルによって書かれたテストは、2つの人書きコーパスよりも弱くないことがわかった。
- 参考スコア（独自算出の注目度）: 4.189737867568662
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We evaluate the quality of Claude AI-written Python tests against human-written Python tests from two established open-source projects Django and Pandas. Hundreds of tests per corpus are scored under one identical protocol. Using one-sided non-inferiority bounds, we find that the tests written by recent Claude models (Sonnet/Opus 4.6 and later) are no weaker than the two human-written corpora. In this study: (i) the AI-written corpus is tests from real tools, not synthetic tests generated in isolation against a fixed target, the setup used by every other AI-test-generation study we are aware of; (ii) every test is individually scored under three independent fault-injection protocols plus a seven-axis qualitative design rubric, allowing methods to cross-validate each other; (iii) tests are scored individually, rather than suite-level, identifying exactly which specific tests need attention.
- Abstract（参考訳）: 我々は、DjangoとPandasという2つの既存のオープンソースプロジェクトから、人手によるPythonテストに対するClaude AIによるPythonテストの品質を評価した。
コーパス毎の数百のテストは、1つの同じプロトコルの下で行われる。
片面非負性境界を用いて、最近のクロードモデル(Sonnet/Opus 4.6以降)で書かれたテストは、2つの人書きコーパスよりも弱いことが分かる。
本研究では,
(i)AIで記述されたコーパスは、実際のツールによるテストであり、固定されたターゲットに対して分離して生成された合成テストではなく、私たちが認識している他のAIテスト世代の研究で使用されるセットアップである。
2) 各試験は、独立な3つの欠陥注入プロトコル及び7軸定性的設計ルーリックに基づいて個別にスコアされ、相互に相互に検証することができる。
(iii)テストはスイートレベルではなく個別に行われ、どのテストに注意が必要であるかを正確に特定する。
関連論文リスト
- Can We Classify Flaky Tests Using Only Test Code? An LLM-Based Empirical Study [40.93176986225226]
不安定なテストは、同じコード修正で繰り返し実行されるとき、一貫性のない結果をもたらす。
以前の研究は、テストコードの識別子に基づいて不安定なテストを分類するために、機械学習モデルを訓練するアプローチを評価した。
論文 参考訳（メタデータ） (2026-02-05T09:15:09Z) - Coverage Isn't Enough: SBFL-Driven Insights into Manually Created vs. Automatically Generated Tests [0.49416305961918044]
本研究では、自動生成テストのSBFLスコアとコードカバレッジを、手動で作成したテストと比較する。
自動生成テストは手作業で作成したテストよりも高いブランチカバレッジを実現するが,SBFLスコアは低い。
論文 参考訳（メタデータ） (2025-12-12T02:07:31Z) - Human Texts Are Outliers: Detecting LLM-generated Texts via Out-of-distribution Detection [71.59834293521074]
我々は,人間によるテキストと機械によるテキストを区別する枠組みを開発した。
提案手法は,DeepFakeデータセット上で98.3%のAUROCとAUPRを8.9%のFPR95で達成する。
コード、事前トレーニングされたウェイト、デモがリリースされる。
論文 参考訳（メタデータ） (2025-10-07T08:14:45Z) - Stop Evaluating AI with Human Tests, Develop Principled, AI-specific Tests instead [2.809966405091883]
我々は、ベンチマークのパフォーマンスを人間のような特性の測定として解釈することは、十分な理論的、実証的な正当化を欠いていると論じる。
私たちは、AIシステムに適した、原則化されたAI固有の評価フレームワークの開発を呼びかけます。
論文 参考訳（メタデータ） (2025-07-30T18:14:35Z) - TestAgent: An Adaptive and Intelligent Expert for Human Assessment [62.060118490577366]
対話型エンゲージメントによる適応テストを強化するために,大規模言語モデル(LLM)を利用したエージェントであるTestAgentを提案する。
TestAgentは、パーソナライズされた質問の選択をサポートし、テストテイカーの応答と異常をキャプチャし、動的で対話的なインタラクションを通じて正確な結果を提供する。
論文 参考訳（メタデータ） (2025-06-03T16:07:54Z) - Context-Aware Testing: A New Paradigm for Model Testing with Large Language Models [49.06068319380296]
我々は,コンテキストを帰納バイアスとして用いて意味のあるモデル障害を探索するコンテキスト認識テスト(CAT)を導入する。
最初のCATシステムSMART Testingをインスタンス化し、大きな言語モデルを用いて、関連性があり、起こりうる失敗を仮説化します。
論文 参考訳（メタデータ） (2024-10-31T15:06:16Z) - Do Test and Environmental Complexity Increase Flakiness? An Empirical Study of SAP HANA [47.29324864511411]
不安定なテストはコードの変更なしにランダムに失敗する。
テストの特徴と,テストのフレキネスに影響を与える可能性のあるテスト環境について検討する。
論文 参考訳（メタデータ） (2024-09-16T07:52:09Z) - TTAPS: Test-Time Adaption by Aligning Prototypes using Self-Supervision [70.05605071885914]
本研究では,単体テストサンプルに適用可能な自己教師付きトレーニングアルゴリズムSwaVの新たな改良を提案する。
ベンチマークデータセットCIFAR10-Cにおいて,本手法の有効性を示す。
論文 参考訳（メタデータ） (2022-05-18T05:43:06Z) - Automated Support for Unit Test Generation: A Tutorial Book Chapter [21.716667622896193]
単体テストは、システムの他の部分と独立してテストできる最小のコードセグメントをテストする段階である。
単体テストは通常実行可能なコードとして書かれ、Pythonのpytestのような単体テストフレームワークが提供する形式で書かれる。
本章では,検索に基づく単体テスト生成の概念を紹介する。
論文 参考訳（メタデータ） (2021-10-26T11:13:40Z) - TestRank: Bringing Order into Unlabeled Test Instances for Deep Learning
Tasks [14.547623982073475]
ディープラーニングシステムはテストやデバッグが難しいことで有名です。
テストコスト削減のために、テスト選択を行い、選択した“高品質”バグ修正テストインプットのみをラベル付けすることが不可欠である。
本稿では,未ラベルのテストインスタンスに,バグ検出機能,すなわちTestRankに従って順序を付ける新しいテスト優先順位付け手法を提案する。
論文 参考訳（メタデータ） (2021-05-21T03:41:10Z) - Beyond Accuracy: Behavioral Testing of NLP models with CheckList [66.42971817954806]
CheckList は NLP モデルをテストするためのタスクに依存しない方法論である。
CheckListには、包括的なテストのアイデアを促進する一般的な言語機能とテストタイプのマトリックスが含まれている。
ユーザスタディでは、CheckListのNLP実践者が2倍の数のテストを作成し、それのないユーザの約3倍のバグを発見しました。
論文 参考訳（メタデータ） (2020-05-08T15:48:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。