論文の概要: Specification-Based Testing of Large Language Models
- arxiv url: http://arxiv.org/abs/2610.14443v1
- Date: Sat, 10 Oct 2026 01:17:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.049783
- Title: Specification-Based Testing of Large Language Models
- Title（参考訳）: 大規模言語モデルの仕様ベーステスト
- Abstract要約: LEST(LLM Evaluation through Specification-driven Testing)は、ブラックボックステストのための仕様として、文書化された安全性クレームを扱うフレームワークである。
LESTでは、各クレームがテストのプロンプトを判断し、Refuse-to-Complyトランジットがそれに対するエビデンスとしてカウントされるかどうかを判断する。
The system card of Claude Opus 4.8 and GPT-5.5 with 97 seed prompts from SORRY-Bench across Mental Health and Self-Harm, Harmful and Violent Content, and Fairness and Bias。
- 参考スコア（独自算出の注目度）: 3.4298729855744026
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Model cards, system cards, and safety reports increasingly document LLM safety behaviors, yet safety evaluations typically start from predefined benchmarks rather than asking which documented claims those benchmarks actually test. We introduce LEST (LLM Evaluation through Specification-driven Testing), a framework that treats documented safety claims as specifications for black-box testing. In LEST, each claim determines which benchmark prompt tests it and whether a Refuse-to-Comply transition, where a model refuses a prompt but complies with its mutated version, counts as evidence against it. LEST mutates these prompts to search for counterexamples, manually validates each candidate, and traces validated counterexamples back to the claims they contradict. We evaluate LEST using the system cards of Claude Opus 4.8 and GPT-5.5 with 97 seed prompts from SORRY-Bench across Mental Health and Self-Harm, Harmful and Violent Content, and Fairness and Bias. Of 56 identified safety claims, 29 (51.8%) are prompt-testable, but only 17 (58.6%) are exercised by an applicable benchmark prompt. Both models refuse >95% of benchmark prompts. Evaluating 1,836 mutated prompts on both models reveals 312 candidate Refuse-to-Comply transitions flagged by automated response classifiers. However, human validation confirms only 19 (6.1%) as both intent-preserving and genuinely compliant, showing automated evaluation substantially overestimates behavioral failures. Tracing these 19 transitions back to the claims reveals counterexamples for 6 of 9 covered claims for which refusal is an applicable oracle. Our results show that benchmark prompts may not be sufficient to validate all documented LLM safety behavior, and automated failure detection requires manual validation. LEST provides end-to-end traceability from natural-language safety documentation to executable tests and human-validated counterexamples.
- Abstract（参考訳）: モデルカード、システムカード、安全レポートは、LSMの安全性の振る舞いを文書化する傾向にあるが、安全評価は通常、どのベンチマークが実際にテストされているかという主張を文書化するよりも、事前に定義されたベンチマークから始まる。
LEST(LLM Evaluation through Specification-driven Testing)は、ブラックボックステストのための仕様として、文書化された安全性クレームを扱うフレームワークである。
LESTでは、各クレームがテストのプロンプトと、モデルがプロンプトを拒否するが変更バージョンに準拠するRefuse-to-Comply遷移を判断し、それに対するエビデンスとしてカウントする。
LESTはこれらのプロンプトを変更して、反例を検索し、各候補を手動で検証し、検証された反例を矛盾する主張に遡る。
The system card of Claude Opus 4.8 and GPT-5.5 with 97 seed prompts from SORRY-Bench across Mental Health and Self-Harm, Harmful and Violent Content, and Fairness and Bias。
56の安全クレームのうち29(51.8%)はプロンプトテスト可能であるが、17(58.6%)のみが適用可能なベンチマークプロンプトによって実行されている。
どちらのモデルもベンチマークプロンプトの95%を拒否する。
両方のモデルで1,836個の変更プロンプトを評価すると、312の候補であるRefuse-to-Complyトランジションが自動応答分類器によってフラグ付けされる。
しかしながら、人間の検証は意図的保存と真に適合しているとして19(6.1%)しか確認せず、自動評価は行動上の失敗をかなり過大評価している。
これらの19の主張をこの主張に戻すと、9つのうち6つが反例であることを示す。
この結果から, ベンチマークプロンプトは, LLMの安全性の検証に十分ではない可能性が示唆され, 自動故障検出には手動による検証が必要である。
LESTは、自然言語の安全ドキュメントから実行可能なテストや人間検証済みの反例まで、エンドツーエンドのトレーサビリティを提供する。
関連論文リスト
- TestJack: Should you trust the results in coding benchmarks? Agentic Coding Benchmarks Auditing via Evaluator Evolution [56.4111102268819]
大規模言語モデル(LLM)エージェントは、ソフトウェア工学を急速に再構築している。
しかし、既存のベンチマークのほとんどすべてが、同じ数十年前の基準に依存している。
固定テストを超えてパッチを評価するスケーラブルなフレームワークであるTestJackを紹介します。
論文 参考訳（メタデータ） (2026-10-07T07:58:04Z) - Functionally Equivalent or Not? Graph-Grounded Differential Surrogate Execution for Code Equivalence [10.45005458481016]
FEAgentは、型付きプログラムグラフエビデンスと差分代理実行を組み合わせた選択等価評価エージェントである。
そのオラクルに対する不一致はすべて、直接実行によって判断され、ベンチマークラベルと単体テストのみのスコアで見逃された振る舞いの相違が明らかになる。
EquiBenchでは、1200個の評価済みペアのうち216個(18.0%)、SWE-bench Verifiedでは331個のテストパスエージェントパッチ(28.4%)が参照パッチから分岐している。
論文 参考訳（メタデータ） (2026-10-03T08:19:45Z) - TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces [49.561879967469714]
TraceDanceは、ユーザが指定した望ましくない振る舞いのデプロイメントトレースからターゲットベンチマークを構築するエージェントシステムである。
効率的な構築のために、Anchor-and-Confirmはプログラム可能な検索と、Flash大言語モデルによる候補レベルの確認を組み合わせる。
コーディングと一般的なツールの実験では、252,557のセッションで描画され、ビルドターゲット要求の95.3%を満たす4,125のインスタンスで107のベンチマークを生成する。
論文 参考訳（メタデータ） (2026-09-27T06:58:39Z) - SWE-Proof: Can Language Models Resolve Real-World Issues with Machine-Checked Proofs? [39.004582663385364]
Benchprooferは、既知の正しいパッチでコーディングタスクを正式に認証されたパイプラインに変換するパイプラインです。
SWE-bench Verified に適用すると SWE-Proof が得られる。
論文 参考訳（メタデータ） (2026-09-18T01:16:53Z) - Faults in Our Formal Benchmarking: Dataset Defects and Evaluation Failures in Lean Theorem Proving [13.87786274932945]
リーンで証明されたLCM支援定理のベンチマークは、すべての解決されたインスタンスがマシンチェックされた証明を持ってくるため、本質的に信頼できるものとして扱われることが多い。
コーパススケールの静的チェッカーを用いて4,833個の結果を得た。
本稿では,フォールト分類法,自動チェッカーとリコール指向のセマンティック監査プロンプト,および公式な数学データセットの作成を導くための標準リリースを提案する。
論文 参考訳（メタデータ） (2026-06-28T16:46:36Z) - Hallucination as Exploit: Evidence-Carrying Multimodal Agents [10.441697487723568]
マルチモーダルエージェントはますます、スクリーンショットやドキュメント、Webページからツールコールを選択している。
本稿では,自由形式モデルテキストを不許容な証拠として扱うエビデンス搬送型マルチモーダルエージェント(ECA)を提案する。
ECAは不透明なモデルの信念を検証者、スキーマ、実装レベルで監査可能な残留物に変換する。
論文 参考訳（メタデータ） (2026-05-18T23:40:43Z) - Improving Dynamic Specification Inference with LLM-Generated Counterexamples [3.555888578860533]
本稿では,生成したアサーションを無効にしようとするテストを自動的に生成する大規模言語モデル(LLM)について検討する。
その結果,現在最先端のLCMは,SpecFuzzerが推定する無効なアサーションの最大11.68%を破棄する有効な反例を生成できることがわかった。
論文 参考訳（メタデータ） (2026-04-12T18:09:53Z) - Are Benchmark Tests Strong Enough? Mutation-Guided Diagnosis and Augmentation of Regression Suites [49.16055123488827]
十分に強力なテストスイートは、報告された成功率を膨らませながら、妥当だが意味的に正しくないパッチを認めることができる。
STINGは、意味的に変化するプログラムの変種を診断ストレス要因として利用する、ターゲットテスト拡張のためのフレームワークである。
STINGは211インスタンスにまたがる1014の検証テストを生成し、パッチリージョンラインとブランチカバレッジを10.8%、9.5%向上させた。
論文 参考訳（メタデータ） (2026-04-02T01:13:40Z) - CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。
数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。
我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
論文 参考訳（メタデータ） (2025-08-05T17:55:24Z) - SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal [64.9938658716425]
SORRY-Benchは、安全でないユーザ要求を認識し拒否する大規模言語モデル(LLM)能力を評価するためのベンチマークである。
まず、既存の手法では、安全でないトピックの粗い分類を使い、いくつかのきめ細かいトピックを過剰に表現している。
第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。
論文 参考訳（メタデータ） (2024-06-20T17:56:07Z) - LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。
ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。
最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
論文 参考訳（メタデータ） (2023-05-23T21:50:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。