論文の概要: Validation and Simulation Catch Different Errors: Four Levels of Evaluation for LLM-Generated Circuits
- arxiv url: http://arxiv.org/abs/2609.26830v1
- Date: Mon, 21 Sep 2026 05:36:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:17.688059
- Title: Validation and Simulation Catch Different Errors: Four Levels of Evaluation for LLM-Generated Circuits
- Title（参考訳）: 誤差の検証とシミュレーション:LCM回路の4レベル評価
- Abstract要約: シミュレーション成功は、LCM生成回路の構造的正しさと等価ではない。
スキーマの妥当性,トポロジ的妥当性,バックエンド実行可能性,コンポーネントセット合意の4つの評価レベルを測定した。
動作している回路は必ずしも構造的に有効ではなく、構造的に有効な回路は必ずしも実行可能であるとは限らない。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Simulation success is not equivalent to structural correctness for LLM-generated circuits. We define and measure four evaluation levels -- schema validity, topological validity, backend executability, and component-set agreement -- on a 150-circuit trilingual benchmark, through a deployed pipeline built on a typed circuit interchange representation. The levels are not nested. On gpt-4o-mini, 16 of 150 circuits (10.7%, 95% CI 6.7-16.6) were rejected by the topological validator but executed in ngspice with no error or warning; 12 of these contained exactly the requested components, with one terminal disconnected. Conversely, 7 circuits (4.7%) passed the validator and ngspice refused them. Ten failed both checks and 117 passed both, so each check detects a class the other misses. A minimal three-component divider shows the cost: a dangling resistor reports 5.00 V instead of 2.50 V while ngspice stays silent. A paired ablation, in which every arm is evaluated from the same model sample rather than a fresh one, separates each repair stage from sampling noise. On a stratified 45-circuit subsample, model repair raised topological validity from 40.0% to 84.4% (+20 circuits, no regressions) while moving executability by a net 6 (+7, -1), an effect this sample size does not resolve, and component agreement by 2. One circuit moved in opposite directions at two levels in a single repair step. Against a direct-netlist baseline the pipeline executed 88.7% against 47.3%, or 62.7% under an accounting that credits the baseline with every failure we cannot confidently attribute to the netlist. These results support a narrow methodological conclusion: structural validation and simulation should be reported as distinct evaluation stages for LLM-generated circuits. A circuit that runs is not necessarily structurally valid, and a structurally valid circuit is not necessarily executable.
- Abstract（参考訳）: シミュレーション成功は、LCM生成回路の構造的正しさと等価ではない。
入力された回路交換表現をベースとした配置パイプラインを用いて,150回路の3言語ベンチマークを用いて,スキーマの妥当性,トポロジカルな妥当性,バックエンドの実行可能性,コンポーネントセットの合意という4つの評価レベルを定義し,評価する。
レベルはネストされていない。
gpt-4o-miniでは、150個の回路のうち16個(10.7%、95% CI 6.7-16.6)がトポロジカルバリケータによって拒絶されたが、エラーや警告なしでngspiceで実行される。
逆に7つの回路(4.7%)がバリケータを通過し、ngspiceはそれらを拒否した。
どちらのチェックも10回失敗し、117回パスしたため、各チェックはクラスを検知し、他のチェックは失敗する。
ダングリング抵抗は、2.50Vではなく5.00Vを報告し、ngspiceは静かである。
ペアアブレーションでは、各アームが新しいものではなく同じモデルサンプルから評価され、各修理ステージがサンプリングノイズから分離される。
層状45回路サブサンプルでは、モデル修復は、網6(+7, -1)で実行性を動かしながら、40.0%から84.4%(+20回路、レグレッションなし)まで位相的妥当性を高め、このサンプルサイズでは解決できない効果と成分の合意が2。
1つの回路は、1つの修理ステップで2つのレベルで反対方向に移動した。
直接ネットリストのベースラインに対して、パイプラインは88.7%、47.3%、62.7%で実行された。
これらの結果は, 構造検証とシミュレーションをLCM生成回路の異なる評価段階として報告する, 狭い方法論的結論を支持する。
動作している回路は必ずしも構造的に有効ではなく、構造的に有効な回路は必ずしも実行可能であるとは限らない。
関連論文リスト
- Evidence-State Reliability Under Controlled Degradation: Parser-Validity Divergence in a Multi-Stage LLM Pipeline [1.6921396880325779]
下流のステージで利用可能な証拠が不完全になったり、圧縮されたり、矛盾したりしても、マルチステージのLSMパイプラインは構造的に有効である。
本稿では, 中間的証拠が十分に完全であり, 基礎的であり, 内部的整合性があり, ステージに割り当てられた機能に利用できるかどうかを評価するための評価層であるエビデンス・ステート・信頼性(ESR)を紹介し, 運用する。
GLM-5.2を4つの証拠条件 (清浄, 圧縮, 部分ドロップアウト, ノイズ・コンフリクト) で評価した。
論文 参考訳（メタデータ） (2026-08-21T18:50:13Z) - Looping Is Not Reliability: State-Bound Evidence and Typed Revision Contracts for Agentic Code Repair [36.56438114281786]
正しいパッチの発見と保持、検証、提出のギャップについて検討する。
我々はエビデンスバウンド型ループ契約を導出し、その機械的に強制可能なサブセットを参照実装でインスタンス化する。
論文 参考訳（メタデータ） (2026-07-27T16:05:23Z) - Reason, Reward, Refine: Step-Level Errors Corrections with Structured Feedback for Physics Reasoning in Small Language Models [32.7643564019866]
我々は,最初の推論誤差を特定し,対象とする構造化されたフィードバックを生成し,KL正則化によるポリシー勾配による解の修正を行うステップレベルの報酬フレームワークを提案する。
5つの物理ベンチマークで、我々のフレームワークはCoTのプロンプトよりも17-20%、最強のベースラインより10-16%の精度向上を実現し、計算誤差を56.9%から23.5%に削減し、最良のケースでは22.3%から12.0%に低減した。
論文 参考訳（メタデータ） (2026-07-06T15:16:10Z) - Context-Verified, Error-Budget-Aware Decomposition Selection for Toffoli Networks [0.0]
本稿では,Toffoli 毎の分解を選択する最初のコンパイラパスを提案する。
検証者フラグ66は、コンテキストチェックなしで非等価に展開されたライブラリを書き換え、12のベンチマーク回路のうち6のカウントグレーディ置換は静かに破損する。
論文 参考訳（メタデータ） (2026-06-30T15:11:28Z) - What Accuracy and Gradient Cosine Miss: Evaluating Feedback Alignment via Scale Stability, Reference Validity, and Depth Utility [48.10132234701036]
本稿では,3つのチェック(スケール安定性,参照妥当性,深度ユーティリティ)に基づく診断評価プロトコルを提案する。
複数のアーキテクチャや手法にまたがって、我々のプロトコルは広い校正マージンを持つ全ての障害を識別する。
論文 参考訳（メタデータ） (2026-06-19T06:04:17Z) - Layer-Isolated Evaluation: Gating the Deterministic Scaffold of a Production LLM Agent with a No-LLM, Regression-Locked Test Harness [45.148328075418156]
デプロイされた注文エージェントは、階層の固定された分類に分解される。
純粋なスイートは、ロックされたスライス単位のベースラインに対して、すべての変更でCIで動作する。
制御されたレグレッションインジェクションにより、安全でない7つの層に一度に1つの層を分解し、検証する。
論文 参考訳（メタデータ） (2026-06-10T05:55:13Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - ReFlect: An Effective Harness System for Complex Long-Horizon LLM Reasoning [5.523132953818281]
本稿では,LLM推論のためのシステムであるReFlectについて述べる。
6つの推論領域にまたがる制御された実験により、100個の監査された反射ブロックのうち90個の問題にフラグを付けない、プロンプトレベルの自己批判が公式テンプレートを生成することが示された。
我々のReFlectハーネスは, GPT-4o-miniで41%, Claude Sonnet 4.5で56%のタスク成功率を実現している。
論文 参考訳（メタデータ） (2026-05-07T06:29:34Z) - Decodable but Not Corrected by Fixed Residual-Stream Linear Steering: Evidence from Medical LLM Failure Regimes [4.738949927143789]
隠れ状態における線形デオード可能な故障信号が、それらの故障を修正するために活用できるかどうかを検討する。
固定されたリニアステアリングファミリーが修正に利用できない場合でも、デオード可能な故障構造がポストジェネレーションの信頼性評価をサポートすることがわかった。
論文 参考訳（メタデータ） (2026-05-07T05:58:38Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳（メタデータ） (2025-12-22T16:34:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。