論文の概要: SpecRead: A Benchmark for Measuring Whether Language Models Understand Hardware Specifications
- arxiv url: http://arxiv.org/abs/2609.33699v1
- Date: Sun, 27 Sep 2026 16:00:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-04 17:33:25.205454
- Title: SpecRead: A Benchmark for Measuring Whether Language Models Understand Hardware Specifications
- Title（参考訳）: SpecRead: 言語モデルがハードウェア仕様に適合するかどうかを測定するベンチマーク
- Abstract要約: 生成能力から仕様理解を分離するベンチマークであるSpecReadを提案する。
Icarus Verilog シミュレーションが観測可能な振る舞いを変えるために示す突然変異のみを保持する。
SpecReadは、決定論的チェックによって自動的に修正可能で、グレーゾーンのケースは保守的なメインスコアで誤算される。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing benchmarks for large language models (LLMs) in hardware design evaluate downstream artifacts such as generated RTL, assertions, or testbenches. When a model fails such a benchmark, the failure is ambiguous: it may have misread the specification, or it may have understood the specification and failed to write the code. We present SpecRead, a benchmark that isolates specification comprehension from generation ability. SpecRead v2.1 contains 385 questions over 10 open-source OpenTitan IP blocks: exact retrieval, cross-section reasoning, contradiction detection in mutated specifications, and spec-RTL consistency checking, plus 82 controls (41 distractor, 41 consistent-RTL). Type-4 items are built from real RTL mutations; we retain only mutations that Icarus Verilog simulation shows to change observable behavior. A with-spec vs. without-spec ablation suggests the questions require the excerpt, not training recall alone (without-spec accuracy 3/20 on the t1/t2 subset), though memorization of the source text may still help spot mutations. As an initial characterization with a small model, Ministral-3B scores 33.2% overall (128/385; macro average 39.0%): 55.2% on retrieval, 51.7% on cross-section reasoning. On the two contradiction-focused types, the verdict-plus-location measure gives 48.0% (t3) and 63.3% (t4), with a 51.2% false-positive rate on distractors and 100% on consistent-RTL controls. Layered scoring shows the model locates contradictions well (78.9-81.6% location accuracy) but scores lower on their category (43.9-49.7%). A structured "rule-table" prompting intervention lowers accuracy on every question type except t2 (tied). SpecRead is automatically scorable by deterministic checks, with gray-zone cases counted wrong under the conservative main scoring. The benchmark is regenerable for type-3 items via mutation injection, and built exclusively from public sources.
- Abstract（参考訳）: ハードウェア設計における大規模言語モデル(LLM)の既存のベンチマークは、生成されたRTL、アサーション、テストベンチなどの下流のアーティファクトを評価する。
モデルがそのようなベンチマークに失敗した場合、その失敗は曖昧である。仕様を誤読したかもしれないし、仕様を理解してコードを書かなかったかもしれない。
生成能力から仕様理解を分離するベンチマークであるSpecReadを提案する。
SpecRead v2.1には、正確な検索、断面推論、変更仕様の矛盾検出、Spec-RTL整合性チェック、82の制御(41のイントラクタ、41の整合性-RTL)という10のオープンソースOpenTitan IPブロックに対する385の質問が含まれている。
Icarus Verilog シミュレーションが観測可能な振る舞いを変えるために示す突然変異のみを保持する。
with-spec vs. without-spec ablation は、この疑問は抜粋が必要であり、リコールのみを訓練しない(t1/t2サブセットでは、特別な精度で3/20)ことを示唆している。
ミニストラール-3Bは、小さなモデルによる特徴付けとして、全体の33.2% (128/385;マクロ平均39.0%): 55.2% の検索、51.7% の断面積の推論である。
2つの矛盾に焦点を当てたタイプでは、判定余剰位置は48.0% (t3) と63.3% (t4) となり、イントラクタでは51.2%、一貫したRTL制御では100%である。
層式スコアリングでは矛盾点(位置精度78.9-81.6%)がよく示されるが、カテゴリ(43.9-49.7%)では低い。
構造化された「ルールテーブル」が介入を促すことで、t2 (tied)を除く全ての質問タイプにおける精度が低下する。
SpecReadは、決定論的チェックによって自動的に修正可能で、グレーゾーンのケースは保守的なメインスコアで誤算される。
ベンチマークは、ミュータントインジェクションを通じてタイプ3アイテムに再生成可能で、公開ソースからのみ構築される。
関連論文リスト
- SWE-Proof: Can Language Models Resolve Real-World Issues with Machine-Checked Proofs? [39.004582663385364]
Benchprooferは、既知の正しいパッチでコーディングタスクを正式に認証されたパイプラインに変換するパイプラインです。
SWE-bench Verified に適用すると SWE-Proof が得られる。
論文 参考訳（メタデータ） (2026-09-18T01:16:53Z) - State of Thought Enables Endogenous Reasoning [48.902117018115256]
大規模言語モデル(LLM)の能力向上のための主要なアプローチとして、テスト時推論が登場した。
LLMにおける内在的推論を可能にする新しい推論パラダイムであるState of Thoughtを提案する。
SoTは平均ベースライン精度を一貫して改善し,生成トークンを62.6%,エンドツーエンドのレイテンシを44.6%削減した。
論文 参考訳（メタデータ） (2026-09-13T05:55:03Z) - IdeaAMBIG: Benchmarking Implementation-Critical Gaps in Research-Idea Specifications [52.570108663867046]
研究のアイデアは、新しく、一貫性があり、科学的に妥当であるが、その提案された手法は、忠実な実装のために不十分に指定されている。
提案手法は,実装を対象とする研究手法仕様の体系化の可否を,有能な実装者やコーディングエージェントに十分な方法論的情報を提供して,前提条件を満たさずに目的とする手法を構築することができるかを検討する。
IdeaAMBIGは660のエビデンス基底インスタンスのベンチマークで、レポートとGitHubの問題から163の現実世界のギャップと、コーディフィケーション対応のリファレンスに注入される合成ギャップを497のコントロールで管理する。
論文 参考訳（メタデータ） (2026-09-09T17:59:04Z) - Measuring the Checker: Mutation Analysis for GPU-Kernel Benchmark Oracles [86.41218924166775]
LLM生成のGPUカーネルのベンチマークは、ランダムな入力とゆるやかな浮動小数点耐性で正確性を決定する。
最近の研究は、これらのチェッカーは弱く、手動でパッチを当てることに同意している。
本稿では,カーネルベンチマークの精度指標として突然変異解析を導入する。
論文 参考訳（メタデータ） (2026-09-02T10:30:05Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳（メタデータ） (2026-06-29T06:39:03Z) - A Hybrid Vision-Language Architecture for Automated Defect Reasoning and Report Generation in Industrial Inspection [0.42970700836450487]
本稿では,風力タービン羽根試験用分離・エッジ展開可能なパイプラインについて述べる。
The EyesはY26-x-obb指向のバウンディングボックスで、データセットネイティブの解像度で欠陥をローカライズする。
ブリッジは決定論的でパラメータフリーな符号化モジュールであり、検出された各バウンディングボックスをグリッド参照トークンにマップする。
論文 参考訳（メタデータ） (2026-05-26T04:27:38Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - PBT-Bench: Benchmarking AI Agents on Property-Based Testing [29.035258104995204]
PBT-Benchは、40の実際のPythonライブラリにまたがる100のプロパティベースのテスト問題のベンチマークである。
各問題は1つ以上のセマンティックなバグ(総数365、平均3.65)を注入し、デフォルトのストラテジーなランダムな入力がほとんど起こらないように設計する。
PBT指導によるバグリコールは42.1%から83.4%の範囲で、オープンエンドベースラインでは31.4%から76.7%である。
論文 参考訳（メタデータ） (2026-05-13T18:01:05Z) - Beyond Code Reasoning: Specification-Anchored Auditing of Multi-Implementation Distributed Protocols [1.5229705287183657]
SPECAは、明示的で分類されたセキュリティプロパティを自然言語仕様から導き出し、実装間で再利用する監査フレームワークである。
RepoAuditのベンチマークでは、SPECAは100%リコール(F1=0.94)で88.9%の精度に達し、著者が検証した12のバグを地上の真実を超えて表面化している。
Sherlock Fusaka Audit Contest(10のターゲット、366の応募)では、SPECAが専門家が強化した15の脆弱性をすべて回復し、4つの修正確認バグが浮上した。
論文 参考訳（メタデータ） (2026-04-29T09:57:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。