論文の概要: When Is RTL Better? Auditing Evaluation Stability with Tool-Grounded Requirement Profiles

• arxiv url: http://arxiv.org/abs/2610.17445v1
• Date: Mon, 12 Oct 2026 22:04:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 18:59:53.641112
• Title: When Is RTL Better? Auditing Evaluation Stability with Tool-Grounded Requirement Profiles
• Title（参考訳）: RTLはいつ改善されるか? ツール群要求プロファイルによる評価安定性の検討
• Abstract要約: セキュリティルール、プロトコル義務、ターゲットコンテキスト、実行可能性ゲート、不確実性ポリシー、または前例制約が省略された場合に、候補がより良く現れる。 機械可読契約は,各要件の意味をその実行可能なエビデンスと比較ルールに結びつける。 候補ペアを凍結し,評価プロファイルのみを摂動させることで評価器の安定性を評価する。
• 参考スコア（独自算出の注目度）: 1.503974529275767
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: RTL-generation studies increasingly report functional correctness and post-synthesis quality, yet the evaluator itself is rarely treated as an experimental variable. A candidate can appear better when a security rule, protocol obligation, target context, feasibility gate, uncertainty policy, or provenance constraint is omitted. We introduce tool-grounded requirement profiles: machine-readable contracts binding each requirement's meaning to its executable evidence and comparison rule, together with cross-requirement gates, uncertainty handling, and provenance. We audit evaluator stability by freezing candidate pairs and perturbing only their evaluation profile. In a preregistered controlled pilot with six designs, twelve pairs, three requirement families, six evaluator conditions, and 72 decisions, a generic cell-count evaluator reports unsupported improvement for 6/12 pairs (50%; Wilson 95% interval 25.4 to 74.6%; design-cluster bootstrap interval 25 to 75%). The matched evaluator detects all twelve injected regressions, whereas syntax, generic synthesis, context mismatch, and gate ablation each lose the required distinction for 12/12 pairs. In a separately frozen external validation of all 290 public RTLLM v1.1 text-only candidates, 81/215 evaluable comparisons (37.7%; task-cluster 95% interval 24.8 to 51.4%) yield unsupported scalar improvements, including 72 functional-gate reversals. Separately, 26 OpenROAD-flow-scripts runs show why timing context and activity qualification must be part of the contract. The study does not rank generators; it establishes evaluator configuration as a measurable, auditable source of conclusion instability.
• Abstract（参考訳）: RTL世代研究は機能的正当性と合成後の品質を報告するが、評価器自体が実験変数として扱われることは稀である。 セキュリティルール、プロトコル義務、ターゲットコンテキスト、実行可能性ゲート、不確実性ポリシー、または前例制約が省略された場合に、候補がより良く現れる。 各要件の意味を実行可能なエビデンスと比較ルールに結び付ける機械可読契約と、クロス要求ゲート、不確実性ハンドリング、証明などである。 候補ペアを凍結し,評価プロファイルのみを摂動させることで評価器の安定性を評価する。 6つの設計、6つの設計、12のペア、3つの要求ファミリー、6つの評価条件、72の判断で、一般的なセル数評価器は6/12対の改善(50%、ウィルソン95%間隔25.4から74.6%、設計クラスターブートストラップ間隔25から75%)を報告した。 一致した評価器は、すべての12のインジェクトレグレッションを検知するが、構文、ジェネリックシンセシス、コンテキストミスマッチ、ゲートアブレーションはそれぞれ、12/12ペアの必要な区別を失う。 290のパブリックRTLLM v1.1テキストのみの候補の別々に凍結された外部検証では、81/215の評価可能な比較(37.7%、タスククラスタの95%間隔24.8から51.4%)が72の関数ゲートリバーサルを含むスカラーの改善に留まった。 また、26のOpenROAD-flow-scriptsの実行は、なぜタイミングコンテキストとアクティビティの資格が契約の一部でなければならないのかを示している。 この研究はジェネレータをランク付けせず、測定可能で監査可能な結論の不安定性の源として評価器の構成を確立している。

関連論文リスト

• Bayesian Test-Time Inference of Task-Aligned Similarity from Weak Interactive Feedback [50.42640957891911]
  言語モデルシステムは、類似性を比較することで、繰り返しテスト時の決定を行う。 しかし、類似性はユニークではない:語彙、意味、構造、類似性はNの選択点を取得することができる。 本稿では,現在の意思決定を統括するトレーニングフリーベイズ手法であるAxis Interactive Signalsを紹介する。
  論文  参考訳（メタデータ） (2026-10-13T16:19:49Z)
• Are We Measuring Anticipation? Auditing Privileged Information in Procedural Video Evaluation [0.0]
  予測モデルのみでなく,評価プロトコルによってライセンスされた推論を監査する。 プロトコルは、特権のある中間表現を供給しながら、時間的に因果関係を保つことができる。
  論文  参考訳（メタデータ） (2026-10-02T09:13:22Z)
• Agent Error Dataset: Scaling 50,000 Error--Diagnosis Pairs for Failure Analysis and Error-Aware Post-Training [45.727227890697556]
  我々は,9,961のソースタスクから50,228のエラー診断ペアからなるエージェントエラーデータセット(AED)を紹介した。 5段階のAgenic Error-to-Trainingパイプラインは自然の故障を収集し、診断と修正案を生成し、記録された証拠と照合する。 アクタートレーニングのレシピの比較において、アクションオンリーの修復トレーニングは成功オンリーのトレーニングよりもWebShop-liteの方が6.67ポイント高い。
  論文  参考訳（メタデータ） (2026-09-30T16:40:22Z)
• Intrinsic Sequence-Likelihood Confidence in Retrieval-Dominated Extractive QA: Two Pre-Specified Negatives, and What They Do and Do Not Attribute [0.4310167974376404]
  オープン言語モデルを微調整すると、自身の信頼度が誘引制御信号であるモデルが得られる。 我々は,実行前の基準下での両使用量を評価した。 検索だけで92-99.8%のベストケースの組み合わせ精度が回復する。
  論文  参考訳（メタデータ） (2026-09-17T09:17:00Z)
• A Verifier Can Leak the Answer: Diagnosability Before Optimization in Closed-Loop Agent Debugging [0.39287497907611874]
  検証者は、そのプローブがターゲットのアイデンティティを符号化したり、述語化したりすると、解法の比較を空にする。 クローズドループ決定エージェントにおけるアグリゲートトレースデバッガーの障害を報告する。
  論文  参考訳（メタデータ） (2026-09-09T17:32:57Z)
• Abstention Errors and Segment Support in CUAD: An Auditable Contract-Extraction Case Study [0.0]
  本稿では,CUAD が発行した 102-contract test split に対する固定公開 RoBERTa チェックポイントの再現性評価について述べる。 30,464の返却候補文字列のうち19,562は注釈付き回答のない質問に現れる。 このシステムは2,938問のうち1,335問に答え、45.4%が偽陽性である。
  論文  参考訳（メタデータ） (2026-09-07T21:26:53Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• GATES: Self-Distillation under Privileged Context with Consensus Gating [89.62339954332248]
  我々は、監督が信頼できない環境で自己蒸留を研究する。 非対称な文脈で回答する文書に焦点をあてる。 複数の文書ベース推論トレースをサンプリングすることにより、教師のコンセンサスからオンラインでの監督を導出する。
  論文  参考訳（メタデータ） (2026-02-24T05:56:20Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。