論文の概要: Specification Before Generation: A Pre-Registered, Five-Model Paired Evaluation of a Specification Frame for LLM-Generated Code in Money, Time, Idempotency, and Access Tasks

• arxiv url: http://arxiv.org/abs/2609.23270v1
• Date: Sun, 20 Sep 2026 01:04:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-24 16:54:53.419131
• Title: Specification Before Generation: A Pre-Registered, Five-Model Paired Evaluation of a Specification Frame for LLM-Generated Code in Money, Time, Idempotency, and Access Tasks
• Title（参考訳）: 生成前の仕様: LLM生成コード仕様フレームの事前登録、5モデルペア評価
• Abstract要約: 規制されたバックエンドでは、最も重要な欠陥クラスは、金銭演算、時間処理、安全性の再試行、アクセス制御である。 生成されたコードは、プロンプトが仕様を実行した時に改善され、その結果が真でなければならないものを示す固定されたプリアンブルである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Code generated by large language models passes security checks at a rate that has barely moved in four years. In regulated backends, the defect classes that matter most are money arithmetic, time handling, retry safety, and access control. Teams answer with instruction files, yet the largest controlled study of instruction files to date found no benefit. This paper tests a narrower idea: generated code improves when the prompt carries a specification, a fixed preamble stating what must be true of the result. We pre-registered hypotheses, refuters, analysis code, and a one-shot generation rule, then ran 50 realistic backend tasks from finance, healthcare, and insurance practice through five frontier models from five vendor lineages, each task twice: bare, and preceded by a 267-word filled specification frame. Nine deterministic AST-based checkers scored the outputs. The Bandit security scanner, which knows nothing of the frame, scored them independently. The frame reduced defects in all five models (mean reduction 0.16 to 0.70 findings per task, every Holm-adjusted sign test significant, every bootstrap confidence interval excluding zero). Where the arms differed, the frame arm won 95 of 100 times. It never made any model worse in any domain. Bandit found 53 medium-or-high issues in the bare arm and 11 in the frame arm, in the same direction for every model. The effect was largest where a model's unprompted defaults were weakest: the frame supplies the discipline a model lacks. All 500 outputs, prompts, checkers, scoring code, and the pre-registration are published with a DOI, so any team can re-derive the result without trusting the author.
• Abstract（参考訳）: 大きな言語モデルによって生成されたコードは、セキュリティチェックを4年でほとんど動かないペースでパスします。 規制されたバックエンドでは、最も重要な欠陥クラスは、金銭演算、時間処理、安全性の再試行、アクセス制御である。 チームは命令ファイルで答えるが、これまでで最大の制御された命令ファイルの研究は、何の利益も得られなかった。 生成されたコードは、プロンプトが仕様を実行した時に改善され、その結果が真でなければならないものを示す固定されたプリアンブルである。 仮説、リフュータ、分析コード、ワンショット生成ルールを事前登録し、ファイナンス、ヘルスケア、保険の実践から5つのベンダーラインから5つのフロンティアモデルを経て、50の現実的なバックエンドタスクを実行しました。 9つの決定論的ASTベースのチェッカーがアウトプットをスコア付けした。 Banditのセキュリティスキャナーは、フレームを何も知らないが、それぞれ独立して記録した。 フレームは5つのモデルの欠陥を減らした(平均減算0.16から0.70)。 腕が違うところでは、フレームアームは100回中95回勝利した。 どんなドメインでもモデルが悪くなることはない。 Banditは、素腕が53個、フレームアームが11個、各モデルが同じ方向にあることを発見した。 この効果は、モデルの不発のデフォルトが最も弱かった場合に最大であり、フレームはモデルに欠けている規律を供給した。 500のアウトプット、プロンプト、チェッカー、スコアリングコード、事前登録はDOIで発行されるので、どのチームでも著者を信頼せずに結果を導出できる。

関連論文リスト

• What the Window Does Not Contain: Auditing Provenance in a Document-Grounded Instability Benchmark [0.0]
  私たちは60のタスクと470のアイテムのベンチマークを作成しました。 私たちは自身のコーパスを監査し、Exerptで構築されたベンチマークが持てる欠陥を見つけました。 コーパスと112,800の生のレスポンスをすべてリリースし、あらゆるドキュメントベンチマークの実行可能なチェックとして監査を行います。
  論文  参考訳（メタデータ） (2026-09-05T15:43:05Z)
• Right-Sizing LLM-Agent Decomposition in VAT Determination: A Pilot Controlled Sweep [0.3384279376065155]
  このパイロットは、逆電荷による境界境界VAT決定の選択について研究する。 アクティビティサーフェスを固定する(サブタスク、ツール、I/Oスキーマ、検証チェック、オーケストレータ、ベースモデル、マージポリシー)。 プログラムは40ケースのメインスイープ、マッチしたトケンアーム、エージェントカウント効果から即時予算を分離する3つの失敗インジェクションアームを含む4,400回に及ぶ。
  論文  参考訳（メタデータ） (2026-08-24T15:40:15Z)
• Adversarial Test-Hardening for AI-Written Code: An Instrument Autopsy and a Pre-Registered Causal Estimate of the Critic Loop [0.0]
  メカニカルオラクル下での対向試験硬化ループについて検討した。 テスタモデルはテストを書き、変異テスト名は生き残った欠陥を注入し、Cryticモデルはテストを書き、それらを正確に実行します。 私たちは、すべてのレシートと分析コードの両方のプロトコルをリリースします。
  論文  参考訳（メタデータ） (2026-07-25T02:38:07Z)
• Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
  AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。 コードには手書きのコードはなく、人間による注釈もない。 エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
  論文  参考訳（メタデータ） (2026-07-17T17:41:16Z)
• Self-Evolving Agents with Anytime-Valid Certificates [1.2691047660244335]
  我々は,小型のステアリングアダプタとEmphfrozenベースモデルを中心としたバージョン付きハーネスに自己修正を限定するアーキテクチャである textbfSEA を提案する。 5つのループコントローラが発行された保証を構成しており、そのようなゲートは凍結されたベースが既に生成している動作の中でのみ選択できるため、5つの検証器・イン・ザ・ループ機構はゲートが必要とする高密度でグレーダフリーな信号を供給する。 結果は高価な評価で単回実行され、実行時から実行時までの分散を確認し、タスク毎のアルゴリズムの混合を適用することが今後の作業である。
  論文  参考訳（メタデータ） (2026-07-01T12:34:52Z)
• A Universal Cliff and a Design Fingerprint: Cross-Section Defect Detection Under LLM Orchestration [0.0]
  生産言語モデルシステムは、労働者エージェントの目に見えないオーケストレーションにまたがってそれを拡大する要求に答える。 これは、単一のワーカーが見ることができない欠陥のクラスに何をもたらすか尋ねる。 1人の開発者から5世代にわたる10のシステムと、異なるアライメントパラダイムからの5つのプロバイダのみです。
  論文  参考訳（メタデータ） (2026-05-25T05:09:48Z)
• DyePack: Provably Flagging Test Set Contamination in LLMs Using Backdoors [52.85182605005619]
  トレーニング中にベンチマークテストセットを使用したモデルを識別するためにバックドアアタックを利用するフレームワークであるDiePackを紹介します。 銀行が染料パックにお金を混ぜて強盗をマークするのと同じように、DiePackはバックドアのサンプルとテストデータとを混ぜて、その上で訓練されたモデルのフラグを立てる。 我々はDiePackを3つのデータセットにわたる5つのモデルで評価し、複数の選択とオープンな生成タスクの両方をカバーした。
  論文  参考訳（メタデータ） (2025-05-29T02:22:14Z)
• Do Large Language Model Benchmarks Test Reliability? [66.1783478365998]
  モデル信頼性の定量化について検討する。 信頼性評価におけるこのギャップにより、我々はいわゆるプラチナベンチマークの概念を提案する。 我々は、これらのプラチナベンチマークにおいて、幅広いモデルを評価し、実際、フロンティアLSMは、単純なタスクで失敗を示す。
  論文  参考訳（メタデータ） (2025-02-05T18:58:19Z)
• RobustBench: a standardized adversarial robustness benchmark [84.50044645539305]
  ロバストネスのベンチマークにおける主な課題は、その評価がしばしばエラーを起こし、ロバストネス過大評価につながることである。 我々は,白箱攻撃と黒箱攻撃のアンサンブルであるAutoAttackを用いて,敵対的ロバスト性を評価する。 分散シフト,キャリブレーション,アウト・オブ・ディストリビューション検出,フェアネス,プライバシリーク,スムースネス,転送性に対するロバスト性の影響を解析した。
  論文  参考訳（メタデータ） (2020-10-19T17:06:18Z)
• TACRED Revisited: A Thorough Evaluation of the TACRED Relation Extraction Task [80.38130122127882]
  TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである パフォーマンスの天井に到達したのか、改善の余地はあるのか? ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
  論文  参考訳（メタデータ） (2020-04-30T15:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。