論文の概要: What Do RTL Repair Benchmarks Actually Measure?

• arxiv url: http://arxiv.org/abs/2610.28595v1
• Date: Tue, 20 Oct 2026 17:45:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.955859
• Title: What Do RTL Repair Benchmarks Actually Measure?
• Title（参考訳）: RTL修復ベンチマークは実際に何を測定するのか?
• Abstract要約: RTL修復ベンチマークは、モデルが仕様に従って壊れたRTLを修正することができるかどうかを測定する必要がある。 RTLRepairDataset,5,784(ブレーク,固定)トレーニングペア,RTLRepairBench,459例,構文解析374例,行動変異85例について検討した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: RTL repair benchmarks should measure whether a model can fix broken RTL given a specification. To this end, we construct and hash-bind RTLRepairDataset, 5,784 (broken, fixed) training pairs; RTLRepairBench, 459 held-out cases with 374 syntactic and 85 behavioral mutations; and an evaluation harness supporting simulation and formal equivalence. We then use this infrastructure to identify two measurement confounds. First, simulation and formal scoring give opposite signs for the apparent effect of providing a specification in one evaluated cohort; reset-aware rescoring attributes almost all of the simulation-formal disagreement to reset and first-cycle comparison semantics. Second, on 274 mined model failures, the specification-only minus specification-conditioned recovery point estimate ranges from -8.5 to +18.3 percentage points across six models. Thus, a conventional repair score need not isolate whether the model used the faulty RTL. We translate these findings into evaluation controls: report initialization, reset, first-cycle, and unknown-value semantics; disclose oracle coverage and undecided cases; and include a specification-only baseline. Together, the resources and audit provide both a benchmark for behavioral repair and a protocol for diagnosing what contributes to its measured score. We release the benchmark, the training set, construction code, sanitized aggregate evidence, and reproduction materials at https://github.com/Evaaaz/RTLRepairBench.
• Abstract（参考訳）: RTL修復ベンチマークは、モデルが仕様に従って壊れたRTLを修正することができるかどうかを測定する必要がある。 この目的のために, RTLRepairDataset, 5,784 のトレーニングペア, RTLRepairBench, 459 の保留例, 374 の構文変異, 85 の行動変異, シミュレーションと形式的等価性をサポートする評価手法を構築した。 次に、このインフラストラクチャを使って2つの測定結果を特定します。 第1に、シミュレーションと形式的スコアリングは、評価されたコホートに仕様を提供することの明らかな効果の反対の兆候を与える。 第二に、274のマイニングされたモデル故障では、仕様のみの仕様条件付きリカバリポイントの推定値は、6つのモデルで8.5から+18.3ポイントの範囲である。 したがって、従来の補修スコアは、モデルが欠陥RTLを使用しているかどうかを区別する必要はない。 我々はこれらの知見を,初期化,リセット,第一サイクル,未知値の意味論の報告,オラクルのカバレッジと未決定事例の開示,仕様のみのベースラインを含む評価制御に翻訳する。 リソースと監査は、行動修復のためのベンチマークと、その測定値に寄与するものを診断するためのプロトコルの両方を提供する。 ベンチマーク、トレーニングセット、ビルドコード、サニタイズされた集合証拠、および再生資料をhttps://github.com/Evaaaz/RTLRepairBench.comでリリースします。

関連論文リスト

• Repairing LLM-Generated Specifications with Deterministic Diagnosis [48.79311600023815]
  大型言語モデル (LLM) はフォーミュラライザとしてますます使われている。 LLMは、シンボリック・ソルバが解決できる形式的な仕様を作成し、その仕様に対して保証する。 多くの仕様は実行可能であるが、意味的に間違っている。誤った制約、ドメイン、目的、述語、目標を符号化する。 DRAGOは、この未解決の批判を決定論的、フォーマリズム固有の診断に置き換える修復フレームワークである。
  論文  参考訳（メタデータ） (2026-10-15T19:12:54Z)
• ReTAC: Residual Test-Time Agentic Computation for Video Spatial Reasoning [75.14564822108872]
  テストタイムエージェント計算は多モーダルな言語モデルを改善することができる。 ビデオ空間推論のためのトレーニング不要なマルチエージェントフレームワークであるReTACで、この定式化をインスタンス化する。
  論文  参考訳（メタデータ） (2026-10-12T07:39:58Z)
• Rethinking Circuit Evaluation: Do Circuits Explain Model Errors? [10.705929494771231]
  モデルの動作を説明する回路がほとんどのエラーを考慮できないことを示す。 多くの試験回路は、モデルのエラーの大半を見逃しながら、正確な動作を密に再現した。 これらの結果から,回路はモデルの故障を適切に説明せずにタスク成功を維持できることがわかった。
  論文  参考訳（メタデータ） (2026-09-28T17:34:45Z)
• Metrics Failure in LLM-Based Code Vulnerability Repair: An Empirical Study and a Change-Aware Screen [1.1666234644810893]
  コンパイル速度は単一機能脆弱性修復のための科学的に信頼性の低い指標であることを示す。 本研究は, LLMによる脆弱性修復の適応的, 実行的評価について論じる。
  論文  参考訳（メタデータ） (2026-09-22T17:32:05Z)
• MemToC: Benchmarking Memory-Tool Conflict Resolution in Large Language Models [49.47300047353726]
  MemToCは、実行時ツールによるポストツール-リターン仲裁のベンチマークである。 MemToCは、542の質制御された事実質問から構築された6,504回の評価エピソードで構成されている。 オープンウェイトな7-9Bモデルでは、ツールが強く支配的なクローズドブックの回答を返す。
  論文  参考訳（メタデータ） (2026-08-26T18:22:03Z)
• MechMem-RTL: Reusing Verified Mechanism Memories for LLM-Based RTL Repair [4.165666250634048]
  MechMem-RTLは、テキストの類似性の代わりに検証済みの修復記録を再利用する修復フレームワークである。 MechMem-RTLを6つの補修モデル間で48のパブリックシーケンシャルRTLタスクで評価した。
  論文  参考訳（メタデータ） (2026-07-19T03:45:25Z)
• CREDENCE: Claim Reduction for Decomposition & Enhanced Credibility -- Semantic Metrics and Convergence Analysis [0.0]
  複合文を原子的検証可能なクレームに分解することは、信頼性の高い自動事実チェックの前提条件である。 従来の作業は、パラフレーズ的クレームの分解品質を体系的に過小評価するトークンオーバーラップ(Jaccard)メトリクスに依存していました。 両欠点に対処するクレーム分解および評価フレームワークであるクレデンスについて述べる。
  論文  参考訳（メタデータ） (2026-06-18T05:48:37Z)
• HLE-Verified: A Systematic Verification and Structured Revision of Humanity's Last Exam [63.84155758655084]
  HumanityのLast Exam (HLE)は、フロンティアの大規模言語モデルを評価するために広く使われているベンチマークである。 HLE-Verifiedは,透過的検証プロトコルときめ細かい誤り分類法を備えたHLEの検証および改訂版である。 我々は,HLEとHLE-Verifiedの7つの最先端言語モデルを評価し,平均7～10ポイントの絶対精度を観測した。
  論文  参考訳（メタデータ） (2026-02-15T02:50:15Z)
• Specification-Guided Repair of Arithmetic Errors in Dafny Programs using LLMs [79.74676890436174]
  本稿では,障害の局所化と修復のためのオラクルとして形式仕様を用いたDafny用のAPRツールを提案する。 プログラム内の各ステートメントの状態を決定するために、Hoareロジックの使用を含む一連のステップを通じて、障害をローカライズします。 また, GPT-4o miniが74.18%と高い修理成功率を示した。
  論文  参考訳（メタデータ） (2025-07-04T15:36:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。