論文の概要: CircuChain: Disentangling Competence and Compliance in LLM Circuit Analysis
- arxiv url: http://arxiv.org/abs/2602.15037v1
- Date: Thu, 29 Jan 2026 06:13:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-23 12:01:13.618376
- Title: CircuChain: Disentangling Competence and Compliance in LLM Circuit Analysis
- Title(参考訳): CircuChain: LLM回路解析におけるコンピテンスとコンプライアンスの両立
- Authors: Mayank Ravishankara,
- Abstract要約: 本稿では,電気回路解析における物理推論能力から命令コンプライアンスを遠ざけるように設計された診断ベンチマークであるCircuChainを紹介する。
シンボリック・ソルバ、SPICEシミュレーション、LLMに基づくエラー分類を組み合わせた多段階検証パイプラインは、エラーのきめ細かい帰属を可能にする。
評価された最強モデルは、ほぼ完全な物理的推論を示すが、Trap条件が意図的に自然のサインパターンを逆転させる場合、規約違反の頻度が高い。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As large language models (LLMs) advance toward expert-level performance in engineering domains, reliable reasoning under user-specified constraints becomes critical. In circuit analysis, for example, a numerically correct solution is insufficient if it violates established methodological conventions such as mesh directionality or polarity assignments, errors that can propagate in safety-critical systems. Yet it remains unclear whether frontier models truly apply first-principles reasoning or rely on entrenched training priors that conflict with explicit instructions. We introduce CircuChain, a diagnostic benchmark designed to disentangle instruction compliance from physical reasoning competence in electrical circuit analysis. CircuChain consists of counterbalanced Control/Trap problem pairs across five canonical circuit topologies, augmented with systematic variations in sign conventions, current orientations, and polarity definitions. A multi-stage verification pipeline, combining symbolic solvers, SPICE simulation, and an LLM-based error taxonomy, enables fine-grained attribution of failures to convention errors, physics errors, arithmetic mistakes, or hallucinations. Across 100 tasks per model, we observe a consistent Compliance-Competence Divergence. The strongest model evaluated exhibits near-perfect physical reasoning but a high rate of convention violations when Trap conditions deliberately invert natural sign patterns. Conversely, weaker models display lower physical fidelity yet superior adherence to explicit instructions. These results suggest that increased model capability does not guarantee improved constraint alignment and highlight the need for new evaluation frameworks that stress instruction-following under mathematically rigid domains. CircuChain provides one such framework and offers actionable insights for both engineering education and AI alignment research.
- Abstract(参考訳): 大規模言語モデル(LLM)が工学領域のエキスパートレベルのパフォーマンスに向かって進むにつれ、ユーザ指定制約下での信頼性の高い推論が重要になる。
例えば、回路解析では、メッシュの方向性や極性割り当てのような確立した方法論に反した場合、安全クリティカルなシステムで伝播するエラーが数値的に正しい解では不十分である。
しかし、フロンティアモデルが真に第一原理推論を適用しているのか、明示的な指示と矛盾する厳格な訓練先に依存しているのかは不明だ。
本稿では,電気回路解析における物理推論能力から命令コンプライアンスを遠ざけるように設計された診断ベンチマークであるCircuChainを紹介する。
CircuChainは、5つの標準回路トポロジーにまたがる逆平衡制御/トラップ問題ペアで構成され、符号規則、電流配向、極性定義の体系的なバリエーションで拡張される。
シンボリック・ソルバ、SPICEシミュレーション、LLMベースのエラー分類を組み合わせた多段階検証パイプラインは、エラー、物理誤差、算術ミス、幻覚を規定する失敗のきめ細かい帰結を可能にする。
1モデルにつき100タスクにわたって、一貫性のあるコンプライアンス・コンピテンス・ダイバージェンスを観察します。
評価された最強モデルは、ほぼ完全な物理的推論を示すが、Trap条件が意図的に自然のサインパターンを逆転させる場合、規約違反の頻度が高い。
逆に、より弱いモデルでは、物理的忠実度は低く、明示的な指示に忠実である。
これらの結果から, モデル能力の向上は制約アライメントの改善を保証せず, 数学的に厳密な領域下での命令追従を強調する新しい評価フレームワークの必要性を強調した。
CircuChainはそのようなフレームワークを提供し、エンジニアリング教育とAIアライメント研究の両方に実用的な洞察を提供する。
関連論文リスト
- The Emergence of Lab-Driven Alignment Signatures: A Psychometric Framework for Auditing Latent Bias and Compounding Risk in Generative AI [0.0]
本稿では,不確実性の下での潜在特性推定を定量化する新しい監査フレームワークを提案する。
この研究は最適化バイアス、Sycophancy、Status-Quo Legitimizationを含む9つの次元にわたる主要なモデルを監査している。
論文 参考訳(メタデータ) (2026-02-19T06:56:01Z) - Interpretable Logical Anomaly Classification via Constraint Decomposition and Instruction Fine-Tuning [0.17722218114340835]
我々は,単一推論ステップにおいて,異常検出ときめ細かい違反分類を統一するタスクである論理異常分類(LAC)を導入する。
LACに取り組むために,複雑な論理的制約を検証可能なサブクエリ列に分解する視覚言語フレームワークであるLogiClsを提案する。
論文 参考訳(メタデータ) (2026-02-03T13:48:09Z) - On the Paradoxical Interference between Instruction-Following and Task Solving [50.75960598434753]
次の命令は、大規模言語モデル(LLM)を、タスクの実行方法に関する明示的な制約を指定することで、人間の意図と整合させることを目的としている。
我々は,LLMのタスク解決能力にパラドックス的に干渉する命令に従うという,直感に反する現象を明らかにした。
本稿では,タスク解決に追従する命令の干渉を定量化する指標として,SUSTAINSCOREを提案する。
論文 参考訳(メタデータ) (2026-01-29T17:48:56Z) - CoG: Controllable Graph Reasoning via Relational Blueprints and Failure-Aware Refinement over Knowledge Graphs [53.199517625701475]
CoGはDual-Process Theoryにインスパイアされたトレーニング不要のフレームワークで、直観と熟考の相互作用を模倣している。
CoGは精度と効率の両方において最先端のアプローチを著しく上回っている。
論文 参考訳(メタデータ) (2026-01-16T07:27:40Z) - SciIF: Benchmarking Scientific Instruction Following Towards Rigorous Scientific Intelligence [60.202862987441684]
科学的妥当性を確立する制約に厳格に固執しながら、問題を解決する能力。
具体的には,大学レベルの問題と制約の固定されたカタログをペアにすることで,この能力を評価するマルチディシプリンのベンチマークであるSciIFを紹介する。
SciIFは、解の正当性と多拘束性の両方を測定することにより、構成的推論失敗のきめ細かい診断を可能にする。
論文 参考訳(メタデータ) (2026-01-08T09:45:58Z) - Dictionary-Transform Generative Adversarial Networks [11.62669179647184]
emphDictionary-Transform Generative Adversarial Networks (DT-GAN)を紹介する。
DT-GANは、ジェネレータがスパース合成辞書であり、判別器がエネルギーモデルとして機能する解析変換であるモデルベース対向フレームワークである。
DT-GAN対角ゲームは良好に提案され、少なくとも1つのナッシュ均衡が認められることを示す。
論文 参考訳(メタデータ) (2025-12-25T13:41:14Z) - Provable Benefit of Curriculum in Transformer Tree-Reasoning Post-Training [76.12556589212666]
学習後のカリキュラムは指数関数的複雑性のボトルネックを回避していることを示す。
結果のみの報酬信号の下では、強化学習の微調整は、サンプルの複雑さを高い精度で達成する。
カリキュラムを意識したクエリにより、報奨託書の呼び出しとサンプリングコストの両方を指数関数的に削減するテストタイムスケーリングの保証を確立する。
論文 参考訳(メタデータ) (2025-11-10T18:29:54Z) - AdvChain: Adversarial Chain-of-Thought Tuning for Robust Safety Alignment of Large Reasoning Models [62.70575022567081]
本稿では,逆CoTチューニングによる動的自己補正をモデルに教えるアライメントパラダイムであるAdvChainを提案する。
私たちの仕事は、より堅牢で信頼性の高い推論モデルを構築するための新しい方向性を確立します。
論文 参考訳(メタデータ) (2025-09-29T04:27:23Z) - RationAnomaly: Log Anomaly Detection with Rationality via Chain-of-Thought and Reinforcement Learning [27.235259453535537]
RationAnomalyは、Chain-of-Thoughtファインチューニングと強化学習を相乗化することにより、ログの異常検出を強化する新しいフレームワークである。
コードとデータセットを含む、対応するリソースをリリースしました。
論文 参考訳(メタデータ) (2025-09-18T07:35:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。