論文の概要: A Multi-Domain Study on the Effectiveness of LLMs at Writing Property-Based Tests

• arxiv url: http://arxiv.org/abs/2610.34487v1
• Date: Sun, 25 Oct 2026 18:30:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.622524
• Title: A Multi-Domain Study on the Effectiveness of LLMs at Writing Property-Based Tests
• Title（参考訳）: プロパティベーステストにおけるLCMの有効性に関するマルチドメイン研究
• Abstract要約: プロパティベースのテスト(PBT)は、プログラムのプロパティを多くの生成された入力でチェックするが、書き込みはプロパティ、有効な入力のジェネレータ、およびオラクルを取得する。 Proptest-AI と Agentic-PBT の 2 つのプログラムを 5 つの領域で 10 個のプログラムに一般化する方法について検討する。
• 参考スコア（独自算出の注目度）: 1.7355064277147962
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A property-based test (PBT) checks a property of a program on many generated inputs, but writing one takes a property, a generator of valid inputs, and an oracle. LLM-based PBT writers produce all three, yet they have been evaluated only on Python libraries. We study how two of them, Proptest-AI and Agentic-PBT, generalize to ten programs in five domains: deep learning libraries, databases, system software, compilers, and LLM serving engines. Most of these programs take text in their own language, such as queries, configurations, and programs. Agentic-PBT covers more branches than Proptest-AI on seven of the ten programs with Opus 5 and on all ten with GLM-5.3-Flash. Domain-specific fuzzers cover more of the compilers and of PostgreSQL and less of PyTorch than Agentic-PBT. We filed 180 bug reports, 44 of which duplicate reports that others filed after the models' knowledge cutoffs; maintainers have confirmed 65 of the others, in all five domains, and fixed 23. We draw lessons for building and evaluating such writers: low observability hurts them, and mature fuzzers paired with LLM-written properties could check that each feature behaves as documented.
• Abstract（参考訳）: プロパティベースのテスト(PBT)は、プログラムのプロパティを多くの生成された入力でチェックするが、書き込みはプロパティ、有効な入力のジェネレータ、およびオラクルを取得する。 LLMベースのPBTライターは3つすべてを生成するが、Pythonライブラリでのみ評価されている。 Proptest-AIとAgentic-PBTの2つのプログラムが、ディープラーニングライブラリ、データベース、システムソフトウェア、コンパイラ、LLMサービスエンジンの5つの領域で10のプログラムに一般化されているかを検討する。 これらのプログラムの多くは、クエリ、設定、プログラムなど、独自の言語でテキストを取る。 Agentic-PBTはProptest-AIよりもOpus 5で7本、GLM-5.3-Flashで10本をカバーしている。 ドメイン固有のファジィは、Agenic-PBTよりも多くのコンパイラとPostgreSQL、PyTorchをカバーしている。 我々は180件のバグ報告を提出し、そのうち44件はモデルの知識の遮断後に他のモデルが提出した重複報告であり、メンテナーは65件のバグ報告を5つのドメインすべてで確認し、23件を修正した。 低い可観測性はそれらを傷つけるし、LLMで書かれたプロパティと組み合わせた成熟したファッジャは、各機能が文書化されているように振る舞うことをチェックすることができる。

関連論文リスト

• The Role of Agentic Instruction Categories for Code Generation: A Study of Five Python Libraries [1.8341543001575067]
  我々は、31の空でない組み合わせに対して、Repository Overview、Function Description、インプリメンテーション詳細、Testing、Restruction Stepsの5つの命令カテゴリを評価した。 その結果,命令数だけではエージェントファイル生成のトークン使用率を判断できないことがわかった。
  論文  参考訳（メタデータ） (2026-10-15T07:32:11Z)
• FVSpec: Real-World Property-Based Tests as Lean Challenges [3.2338802435415794]
  本稿では,実世界のソフトウェア検証タスクにおいて,AIモデルとエージェントを評価するためのベンチマークを示す。 まず、現実世界のPythonリポジトリから11,039のプロパティベースのテスト(PBT)を取り除き、それから自動的に2,772を9,415のLean 4仕様に翻訳します。
  論文  参考訳（メタデータ） (2026-05-31T04:51:27Z)
• A Multi-Language Object-Oriented Programming Benchmark for Large Language Models [61.267115598083315]
  35の既存ベンチマークの調査では、3つの大きな不均衡が明らかになった。 85.7%は単一のプログラミング言語に重点を置いている。 94.3%は関数レベルまたはステートメントレベルのタスクのみを対象としている。 80%以上は平均10件未満のテストケースを含む。
  論文  参考訳（メタデータ） (2025-09-30T11:30:08Z)
• Improving Compiler Bug Isolation by Leveraging Large Language Models [14.679589768900621]
  本稿では,AutoCBIという新しいコンパイラバグ分離手法を提案する。 我々は、広く使われているGCCおよびLLVMコンパイラの120の現実世界バグに対して、最先端のアプローチ(DiWi、RecBi、FuseFL)に対してAutoCBIを評価した。 特に、GCC/LLVMの上位1位では、AutoCBIは66.67%/69.23%、300%/340%、100%/57.14%のバグをRecBi、DiWi、FuseFLより分離している。
  論文  参考訳（メタデータ） (2025-06-21T09:09:30Z)
• Commit0: Library Generation from Scratch [77.38414688148006]
  Commit0は、AIエージェントにスクラッチからライブラリを書くよう促すベンチマークである。 エージェントには、ライブラリのAPIを概説する仕様文書と、インタラクティブなユニットテストスイートが提供されている。 Commit0はまた、モデルが生成したコードに対して静的解析と実行フィードバックを受け取る、インタラクティブな環境も提供する。
  論文  参考訳（メタデータ） (2024-12-02T18:11:30Z)
• ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
  ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。 LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
  論文  参考訳（メタデータ） (2023-11-16T12:03:21Z)
• PPTC Benchmark: Evaluating Large Language Models for PowerPoint Task Completion [96.47420221442397]
  我々はPowerPoint Task Completionベンチマークを導入し、大規模言語モデルがマルチターン・マルチモーダル命令を完了する能力を評価する。 また,ラベルAPIシーケンスではなく,予測ファイルに基づいてLCMが命令を終了するかどうかを評価するPTX-Match評価システムを提案する。 その結果、GPT-4はシングルターン対話テストにおいて75.1%の精度で他のLLMよりも優れていたが、セッション全体を完成させる際の課題に直面しており、セッションの精度は6%に過ぎなかった。
  論文  参考訳（メタデータ） (2023-11-03T08:06:35Z)
• Can Large Language Models Write Good Property-Based Tests? [5.671039991090038]
  プロパティベースのテスト(PBT)は、現実世界のソフトウェアではいまだにあまり使われていない。 2つのプロンプト手法を用いて,近代言語モデルを用いてPSTを自動的に合成する。 最適なモデルとプロンプトアプローチにより,有効かつ健全なPBTを平均2.4サンプルで合成できることが判明した。
  論文  参考訳（メタデータ） (2023-07-10T05:09:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。