論文の概要: The Polyglot's Dilemma: Conformance Testing a Dozen Specs in as Many Languages

• arxiv url: http://arxiv.org/abs/2608.18039v1
• Date: Tue, 18 Aug 2026 17:32:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.428049
• Title: The Polyglot's Dilemma: Conformance Testing a Dozen Specs in as Many Languages
• Title（参考訳）: ポリグロットのジレンマ:多くの言語でドーゼン仕様のコンフォーマンステスト
• Abstract要約: MongoDBは12のプログラミング言語でクライアントライブラリを維持している。 11年以上にわたって、私たちは仕様ベースのテストアプローチを開発しました。 多くのアドホックフォーマットから統一テストフォーマットへの進化について述べる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: MongoDB maintains client libraries in a dozen programming languages, used by tens of thousands of organizations and millions of developers. Most are implemented natively rather than as wrappers around a shared core. Ensuring consistent behavior across these libraries, comprising millions of lines of code, is hard but essential. Over eleven years, we developed a specification-based testing approach: tests are written once in YAML and executed by language-specific interpreters for each library. We describe the evolution from many ad-hoc formats to a Unified Test Format, which allowed us to delete over 22,000 lines of test code. The rate of nonconformance bugs fell up to 86% in drivers that adopted YAML tests (though results varied). We report lessons learned about declarative test design, test architecture, schema evolution, and the limits of unification.
• Abstract（参考訳）: MongoDBは、数万の組織と数百万の開発者が使用している、12のプログラミング言語でクライアントライブラリをメンテナンスしている。 その多くは、共有コアのラッパーとしてではなく、ネイティブに実装されている。 数百万行のコードからなるライブラリ全体にわたって一貫した振る舞いを保証することは、難しいが必須である。 テストはYAMLで一度記述され、各ライブラリの言語固有のインタプリタによって実行される。 私たちは、多くのアドホックフォーマットからUnified Test Formatへの進化を説明し、22,000行以上のテストコードを削除できるようにしました。 非互換性バグの割合は、YAMLテストを採用したドライバーの86%にまで低下した(ただし、結果は異なっていた)。 宣言型テスト設計、テストアーキテクチャ、スキーマの進化、統一の限界について学んだ教訓を報告する。

関連論文リスト

• IntentTester: Intent-Driven Multi-agent Framework for Cross-Library Test Migration [14.0813614333238]
  IntentTesterは意図駆動テストの再利用のためのフレームワークです。 IntentTesterは3つのドメイン(JSON、HTML、Time)と2つの言語(JavaとPython)にわたる9つのオープンソースプロジェクトで評価します。
  論文  参考訳（メタデータ） (2026-06-24T08:59:01Z)
• IFEvalCode: Controlled Code Generation [69.28317223249358]
  本稿では,Code LLMの命令追従能力を改善するために,前方および後方制約生成を提案する。 IFEvalCodeは、7つのプログラミング言語の1.6Kテストサンプルからなる多言語ベンチマークである。
  論文  参考訳（メタデータ） (2025-07-30T08:08:48Z)
• Commit0: Library Generation from Scratch [77.38414688148006]
  Commit0は、AIエージェントにスクラッチからライブラリを書くよう促すベンチマークである。 エージェントには、ライブラリのAPIを概説する仕様文書と、インタラクティブなユニットテストスイートが提供されている。 Commit0はまた、モデルが生成したコードに対して静的解析と実行フィードバックを受け取る、インタラクティブな環境も提供する。
  論文  参考訳（メタデータ） (2024-12-02T18:11:30Z)
• Advancing Bug Detection in Fastjson2 with Large Language Models Driven Unit Test Generation [8.977049061406325]
  ユニットテスト生成技術は、様々なライブラリのバグを特定するために広く採用されている。 産業実践において、図書館内のオラクルのバグを露呈するための体系的なテストは限られている。 テストGenでは、34の実際のバグがfast2で見つかり、そのうち30がすでに修正されており、うち12の非クラッシングバグが修正されています。
  論文  参考訳（メタデータ） (2024-10-12T07:46:05Z)
• DiffSpec: Differential Testing with LLMs using Natural Language Specifications and Code Artifacts [7.019166148885954]
  本稿では,プロンプト連鎖を用いた差分テストを生成するフレームワークであるDiffSpecを紹介する。 DiffSpecの2つの異なる(大規模にテストされた)システム、eBPFランタイム、Wasmバリデータに対する有効性を示す。
  論文  参考訳（メタデータ） (2024-10-05T18:11:14Z)
• CRUXEval-X: A Benchmark for Multilingual Code Reasoning, Understanding and Execution [50.1875460416205]
  CRUXEVAL-Xコード推論ベンチマークには19のプログラミング言語が含まれている。 各言語に対して少なくとも600人の被験者で構成され、合計19Kのコンテンツ一貫性テストがある。 Pythonでのみトレーニングされたモデルでさえ、他の言語で34.4%のPass@1を達成することができる。
  論文  参考訳（メタデータ） (2024-08-23T11:43:00Z)
• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• Long Code Arena: a Set of Benchmarks for Long-Context Code Models [75.70507534322336]
  Long Code Arenaは、プロジェクト全体のコンテキストを必要とするコード処理タスクのための6つのベンチマークスイートである。 これらのタスクは、ライブラリベースのコード生成、CIビルドの修復、プロジェクトレベルのコード補完、コミットメッセージ生成、バグローカライゼーション、モジュールの要約といった、コード処理のさまざまな側面をカバーする。 各タスクに対して、テスト用の手作業によるデータセット、評価スイート、オープンソースのベースラインソリューションを提供しています。
  論文  参考訳（メタデータ） (2024-06-17T14:58:29Z)
• DocCGen: Document-based Controlled Code Generation [33.19206322891497]
  DocCGenは、構造化コード言語のためのNL-to-Code生成タスクを2段階のプロセスに分解することで、豊富な知識を活用できるフレームワークである。 実験の結果,DocCGenは6つの評価指標すべてで,言語モデルのサイズを常に改善していることがわかった。
  論文  参考訳（メタデータ） (2024-06-17T08:34:57Z)
• CAT-LM: Training Language Models on Aligned Code And Tests [19.526181671936243]
  テストはソフトウェア開発プロセスにおいて不可欠な部分だ。しかし、テストを書くのに時間がかかり、しばしば無視される。 我々は270億のパラメータを持つGPTスタイルの言語モデルであるAligned Code And Tests Language Model (CAT-LM)を提案する。
  論文  参考訳（メタデータ） (2023-10-02T19:52:22Z)
• Teaching Large Language Models to Self-Debug [62.424077000154945]
  大規模言語モデル(LLM)は、コード生成において素晴らしいパフォーマンスを達成した。 本稿では,大規模言語モデルで予測プログラムを数発のデモでデバッグする自己デバッグを提案する。
  論文  参考訳（メタデータ） (2023-04-11T10:43:43Z)
• Multi-lingual Evaluation of Code Generation Models [82.7357812992118]
  本稿では,MBXPとMultilingual HumanEval,MathQA-Xという,評価コード生成モデルに関する新しいベンチマークを提案する。 これらのデータセットは10以上のプログラミング言語をカバーする。 コード生成モデルの性能を多言語で評価することができる。
  論文  参考訳（メタデータ） (2022-10-26T17:17:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。