論文の概要: Leakage-Resistant Evaluation of AI-Generated Database Specifications in Specification-Driven Migration
- arxiv url: http://arxiv.org/abs/2610.12778v1
- Date: Thu, 08 Oct 2026 22:35:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.305082
- Title: Leakage-Resistant Evaluation of AI-Generated Database Specifications in Specification-Driven Migration
- Title（参考訳）: 仕様駆動マイグレーションにおけるAI生成データベース仕様の漏洩耐性評価
- Abstract要約: ベンチマークには、19の品質指標を7次元に分類した494のラベル付きソースペアが含まれている。
地下の真実は推論から機械的に封印され、カナリアおよびラベル置換テストでチェックされる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents a leakage-resistant framework and benchmark (LRFB) for measuring evaluators of AI-generated Oracle PL/SQL specifications. The benchmark contains 494 labelled source-specification pairs across 19 quality metrics grouped into seven dimensions; each metric contains 26 records divided into development and held-out subsets of 13 records each, with three clean and ten defective specifications per subset. Ground truth is mechanically sealed from inference and checked with canary and label-permutation tests. Three LLM judges were evaluated with three runs per record and compared against two trivial baselines. On 247 held-out records, GPT-4o, DeepSeek V4 Pro, and Claude Sonnet 4.5 reached balanced accuracies of 0.87, 0.89, and 0.81, respectively, while a specification-length baseline reached 0.88. Exact paired tests did not separate any judge from that baseline. The judges nevertheless provided information unavailable to length: the labelled defect category appeared among findings in 84%-92% of violated records, and quoted evidence overlapped the labelled span in 92%-93%. The study therefore reframes specification evaluation from binary issue detection toward evidence-linked, typed findings and benchmark-validity controls.
- Abstract（参考訳）: 本稿では,AI による Oracle PL/SQL 仕様の評価を行うためのリーク耐性フレームワークとベンチマーク (LRFB) を提案する。
ベンチマークには、19の品質指標を7次元に分類した494のラベル付きソース特定ペアが含まれており、各メトリックには、開発と13レコードの保持されたサブセットの26のレコードと、サブセットごとに3つのクリーンと10の欠陥仕様が含まれている。
地下の真実は推論から機械的に封印され、カナリアおよびラベル置換テストでチェックされる。
3人のLSM審査員を1レコード当たり3ランで評価し、2つの自明なベースラインと比較した。
247回のホールドアウト記録では、GPT-4o、DeepSeek V4 Pro、Claude Sonnet 4.5がそれぞれ0.87、0.89、0.81、仕様のベースラインが0.88に達した。
厳密なペアテストは、その基準線からいかなる裁判官も分離しなかった。
ラベル付き欠陥カテゴリーは、違反した記録の84%～92%に現れ、引用された証拠がラベル付き欠陥カテゴリの92%～93%に重複していた。
そこで本研究では,二項問題検出からエビデンスにリンクされた型付き発見とベンチマーク正当性制御への仕様評価を見直した。
関連論文リスト
- Measurement-First Auditing of Agentic Leaderboards: Contamination Susceptibility, Matched-Control Re-evaluation, and Scorer Validation [5.114361110970449]
本報告では, 汚染の主張を, 支援に必要な証拠に応じて識別する, 測定ファーストの監査フレームワークを提案する。
本稿では,SWE-bench Verified上でのファイルローカライズギャップを報告した。
結果は、トレーニングデータメンバーシップ、汚染率、ベンチマークによるスコアインフレーションを確立しない。
論文 参考訳（メタデータ） (2026-10-05T05:34:18Z) - AGO AI Quality Gate: Evidence-First Release Decisions for Retrieval-Augmented Generation [35.18016233072556]
AGO AI Quality Gateは、産業RAGアセスメントエンゲージメントにデプロイされるエビデンスファーストの品質ゲートフレームワークである。
AGOは4つの重要なコンポーネントを統合している。データ不足を処理し、エラーを明確な結果として判断する4状態決定モデルだ。
RAGBenchは、12データセットにわたる100kの注釈付きRAGトレースの公開ベンチマークである。
論文 参考訳（メタデータ） (2026-10-01T07:24:04Z) - SpecRead: A Benchmark for Measuring Whether Language Models Understand Hardware Specifications [0.0]
生成能力から仕様理解を分離するベンチマークであるSpecReadを提案する。
Icarus Verilog シミュレーションが観測可能な振る舞いを変えるために示す突然変異のみを保持する。
SpecReadは、決定論的チェックによって自動的に修正可能で、グレーゾーンのケースは保守的なメインスコアで誤算される。
論文 参考訳（メタデータ） (2026-09-27T16:00:47Z) - The Price of Peeking: Anytime-Valid Leakage Detection on ML-KEM EM Traces [45.88028371034407]
本研究は, ベットによる検査に基づく漏洩検出について検討する。
13000～20000のサンプルに対して繰り返し表示される$|t|>4.5$は2.7-12.9%の複製で誤報を発生させた。
論文 参考訳（メタデータ） (2026-09-27T14:14:10Z) - Where the Numbers Come From: Auditing Evaluation in Provenance-Based Intrusion Detection [42.49426058823369]
証明に基づく侵入検知器のスコアを再現しても、そのアラームの出力やエンコーダが使用する情報についてそのスコアが何を言っているかは定かでない。
我々は、リリースした9つの実装を監査し、独自のコードを使用して4つの検出器を実行し、3つの測定効果を分離する。
論文 参考訳（メタデータ） (2026-09-27T13:01:02Z) - The Architect, the Adversary, and the Judge: Closed-Loop Generation of Standards-Aligned Assessment Items at Scale [13.85834524293015]
CLAIMは、K-12アセスメント・イテム生成のための生産パイプラインである。
パイプラインは9,074イテムの生産で97.8%のエキスパート評価パスレートに達する。
論文 参考訳（メタデータ） (2026-08-26T08:54:32Z) - Looping Is Not Reliability: State-Bound Evidence and Typed Revision Contracts for Agentic Code Repair [36.56438114281786]
正しいパッチの発見と保持、検証、提出のギャップについて検討する。
我々はエビデンスバウンド型ループ契約を導出し、その機械的に強制可能なサブセットを参照実装でインスタンス化する。
論文 参考訳（メタデータ） (2026-07-27T16:05:23Z) - Hierarchical Online Prompt Mutation with Dual-Loop Feedback for Guardrailed Evidence Document Generation: A Production-Evaluation Case Study [0.0]
HOPMは階層的なオンラインプロンプト突然変異フレームワークである。
本論文は、制御設定、サンプルサイズ、信頼区間、ペアテスト、プロンプトトークンカテゴリ、擬似コード、スキーマ、ルーリック、ガードレール分類、構築された例を含む。
論文 参考訳（メタデータ） (2026-05-31T22:17:44Z) - E3: Issue-Level Backtesting for Automated Research Critique [2.141079906482723]
E3は研究論文の技術的懸念を識別する自動レビューアシスタントである。
それぞれの懸念について、E3は、その性質、その位置、貢献に対する影響、そしてそれを解決する分析や証拠を報告している。
論文 参考訳（メタデータ） (2026-05-26T14:21:37Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - How Far Is Document Parsing from Solved? PureDocBench: A Source-TraceableBenchmark across Clean, Degraded, and Real-World Settings [56.70440596502351]
昨年は20以上のオープンドキュメントパースモデルが見られたが、ベンチマークはほぼOmniDocBenchにのみ依存している。
HTML/CSSのドキュメントイメージをレンダリングするベンチマークであるPureDocBenchは、10のドメイン、66ページ、1,475ページをカバーしています。
論文 参考訳（メタデータ） (2026-05-08T09:30:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。