論文の概要: NetlistBench: Evaluating LLM Reliability in SPICE Netlist Recognition and Manipulation
- arxiv url: http://arxiv.org/abs/2608.12197v1
- Date: Wed, 12 Aug 2026 15:51:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 19:07:54.631475
- Title: NetlistBench: Evaluating LLM Reliability in SPICE Netlist Recognition and Manipulation
- Title（参考訳）: NetlistBench: SPICE ネットリスト認識と操作における LLM 信頼性の評価
- Abstract要約: 大規模言語モデル (LLM) は回路設計においてますます使われているが、シミュレーター対応のSPICEネットリスト認識と操作に対する信頼性はいまだによく分かっていない。
我々はSPICEネットリスト認識と操作のための構造検証ベンチマークである textbfNetlistBench を提案する。
- 参考スコア（独自算出の注目度）: 8.591000057139125
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Large Language Models (LLMs) are increasingly used in circuit design workflows, yet their reliability on simulator-facing SPICE netlist recognition and manipulation remains poorly understood and is rarely separated from high-level design reasoning. Although netlists are textual, they encode structured circuit objects through topology and parameters. We present \textbf{NetlistBench}, a structure-verified benchmark for SPICE netlist recognition and manipulation. NetlistBench contains 2,342 cases across 24 task families, covering parameter and connectivity recognition and edits, hierarchical operations, equivalence judgment, and long-horizon compound editing. Model outputs are evaluated by a deterministic structure-aware oracle. Across six non-thinking LLMs, performance varies substantially with operation-level structural complexity. Simple local edits reach $96\%$--$100\%$ accuracy, while device addition drops to $41\%$--$83\%$ and equivalence judgment to $49\%$--$90\%$. Enabling reasoning substantially improves weaker models but does not eliminate structure-preservation failures, with performance still degrading sharply as the edit horizon increases. NetlistBench identifies netlist reliability as a distinct bottleneck for trustworthy LLM-based circuit design automation.
- Abstract（参考訳）: 大規模言語モデル (LLM) は回路設計のワークフローにおいてますます使われてきているが、シミュレーター対応のSPICEネットリストの認識と操作に対する信頼性は依然として十分に理解されておらず、高レベル設計の推論から分離されることはめったにない。
ネットリストはテキストだが、構造化回路オブジェクトをトポロジとパラメータでエンコードする。
本稿では,SPICE ネットリスト認識と操作のための構造検証ベンチマークである \textbf{NetlistBench} を提案する。
NetlistBenchには、24のタスクファミリーにわたる2,342のケースが含まれており、パラメータと接続認識と編集、階層的操作、等価判定、長距離複合編集をカバーしている。
モデル出力は決定論的構造認識オラクルによって評価される。
6つの非考えのLLMにおいて、性能は操作レベルの構造的複雑さと大きく異なる。
単純なローカル編集は960\%$-100\%$精度に到達し、デバイスの追加は411\%$-83\%$に減少し、同値判決は49\%$-90\%$に低下する。
推論の実施により、より弱いモデルが大幅に改善されるが、構造保存の失敗は排除されない。
NetlistBenchは、ネットリストの信頼性を信頼性の高いLCMベースの回路設計自動化のボトルネックとして認識している。
関連論文リスト
- Where vs What: Decomposing Structural and Content Failures in LLM-Generated Structured Outputs [15.823269213947347]
本稿では,構造忠実度と内容精度を計測するフレームワークであるStructure-Content Decomposition(SCD)を紹介する。
ネストされたタスクとテーブルタスクを6つのモデル(フロンティアに7B)に適用すると、一貫した現象が明らかになる。
我々は,SA-RLVRを提案し,SCDメトリクスを学習のための検証可能な報酬に変換する。
論文 参考訳（メタデータ） (2026-08-26T04:32:06Z) - NetConfArena: An Executable Benchmark for LLM Agents in Closed-Loop Network Configuration [14.126948395559987]
本稿では,大規模言語モデル (LLM) エージェントをクローズドループネットワーク構成で評価するためのベンチマークであるNetConfArenaを提案する。
このベンチマークは、人間指向のネットワーク材料を再利用可能なパラメータ化タスクテンプレートに変換するLLM支援エミュレーション地上パイプラインに依存している。
96のプロトコル中心のタスクテンプレートからインスタンス化された480のタスクインスタンス上で,代表的なLCMエージェントを評価し,エラーがコマンドエラーに制限されないことを示す。
論文 参考訳（メタデータ） (2026-08-24T12:26:37Z) - The Illusion of Multi-Agent Advantage [63.92466143571383]
専門家が設計したマルチエージェントシステム(MAS)は、生の性能とコスト効率において、自動生成されたアーキテクチャを一貫して上回っていることを示す。
既存の評価フレームワークは、計算コストの増加の限界効用を考慮せず、アーキテクチャ上の重要なギャップと非効率を隠蔽している。
論文 参考訳（メタデータ） (2026-06-11T07:39:24Z) - PRISMR: Overcoming Parse Collapse in Multimodal Listwise Ranking via Parameterized Representation Internalization [49.659739762240655]
LMM(Large Multimodal Models)を用いたジェネレーティブ・リストワイド・ランキングは,グローバル・リストのコンテキストを単一の前方通過で捉えることを目的としている。
自動回帰デコーダは、無音で候補を省略し、早期に終了することで、流動的で不完全なランク付けを発生させる。
PRISMRは、一貫したコンテキスト内リスト処理をパラメトリックな構造条件に置き換えるフレームワークである。
論文 参考訳（メタデータ） (2026-06-11T06:09:51Z) - Empirical Study for Structured Output Control in LLMs for Software Engineering [13.096361151631427]
期待されるフォーマットに反する意味論的に正しい出力は、システムの観点から、間違った答えと区別できないものである。
本報告では,4つのSEタスクにまたがる構造的信頼性の体系的評価を行う。
LLM駆動誤差における構造的忠実度と意味的正しさを両立させるアプローチの必要性を強調した。
論文 参考訳（メタデータ） (2026-06-08T12:13:58Z) - Wrong Code, Right Structure: Learning Netlist Representations from Imperfect LLM-Generated RTL [4.827201131867214]
大規模言語モデル(LLM)は大規模にレジスタ・トランスファー・レベル(RTL)を生成することができるが、その機能的誤りにより回路解析における使用が妨げられている。
ネットリスト表現学習のためのトレーニングデータとして不完全なRTLを利用する費用対効果のあるデータ拡張とトレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-10T03:52:41Z) - ScratchEval : A Multimodal Evaluation Framework for LLMs in Block-Based Programming [3.935975887408409]
スクラッチプログラムは、深くネストした非線形構造、イベント駆動のスプライト、およびコードとマルチメディアアセット間の密結合を示す。
ScratchEvalは、ScratchプログラムのLLMベースの修復を評価するために設計された最初の実行可能ベンチマークである。
このベンチマークは、自動プロジェクトマイニングとトリガーアウトカムセマンティクスのエキスパートバリデーションを組み合わせた、ヒューマン・イン・ザ・ループパイプラインを通じて構築されている。
論文 参考訳（メタデータ） (2026-01-31T14:44:22Z) - Task-Awareness Improves LLM Generations and Uncertainty [48.857040212979484]
ベイズ最適応答は、ビームサーチのような標準的な復号法より一貫して優れている。
我々の決定論的なフレームワークは、潜在応答構造を持つあらゆる問題に適用できる。
論文 参考訳（メタデータ） (2026-01-29T10:16:23Z) - Cost-Aware Contrastive Routing for LLMs [57.30288453580456]
我々は、プロンプトとモデルの両方を共有埋め込み空間にマッピングする軽量フレームワークであるコストスペクトルコントラストルーティング(CSCR)を紹介します。
CSCRはベースラインを一貫して上回り、精度とコストのトレードオフを最大25%改善した。
論文 参考訳（メタデータ） (2025-08-17T20:16:44Z) - CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。
数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。
我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
論文 参考訳（メタデータ） (2025-08-05T17:55:24Z) - A Large Language Model-Empowered Agent for Reliable and Robust Structural Analysis [14.754785659805869]
大規模言語モデル(LLM)は、様々なオープンドメインタスクにまたがる顕著な能力を示してきたが、土木工学のような専門分野への応用は、いまだに未解明のままである。
本稿では, ビーム構造解析におけるLCMの信頼性とロバスト性を評価することによって, このギャップを埋める。
実験の結果, エージェントはベンチマークデータセット上で99.0%を超える精度を達成し, 多様な条件で信頼性と堅牢性を示すことがわかった。
論文 参考訳（メタデータ） (2025-06-27T04:16:53Z) - ELDER: Enhancing Lifelong Model Editing with Mixture-of-LoRA [55.697627106315004]
大規模言語モデル(LLM)は、特定の知識を効率的に更新し、事実の誤りを避けるためにモデル編集を必要とする。
従来のアプローチでは、元のパラメータを凍結し、知識更新毎に新しいパラメータを個別に割り当てることで、シーケンシャルな編集を管理する。
本稿では,データとアダプタを連続的に関連付ける新しい手法であるELDERを提案する。
論文 参考訳（メタデータ） (2024-08-19T02:27:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。