論文の概要: Gatekeepers and Hallucinations: A Layered Evaluation Framework for LLM-Driven Quantum Circuit Generation
- arxiv url: http://arxiv.org/abs/2606.18422v1
- Date: Tue, 16 Jun 2026 19:17:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 09:28:01.495929
- Title: Gatekeepers and Hallucinations: A Layered Evaluation Framework for LLM-Driven Quantum Circuit Generation
- Title（参考訳）: ゲートキーパーと幻覚: LLM駆動量子回路生成のための階層評価フレームワーク
- Authors: Christopher Coleman, Sharon Marfatia,
- Abstract要約: 材料インフォームド変分量子固有解器(VQE)回路生成のための階層評価フレームワークを提案する。
5つの異なるLCM障害モード(幾何学幻覚、存在しないAPI使用、統合障害、制約違反、検証不可能な出力)を分類する。
評価プラットフォーム自身のソースコードの法医学的な監査により、サイレントフォールバック・テンプレート置換によって、ハーネスに2つの明らかなモデル障害が生じたことが確認された。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As large language models (LLMs) become embedded in quantum simulation workflows (IDE copilots, notebook assistants, agentic pipelines), evaluation must move beyond functional correctness to anticipate and catch structured failures before they propagate through expensive pipelines. We present a layered evaluation framework for materials-informed Variational Quantum Eigensolver (VQE) circuit generation: (i) a gatekeeper screening rubric across seven physical and framework criteria; (ii) a circuit fidelity analysis comparing model outputs against analytical and reference-implementation values for H2/STO-3G/Jordan-Wigner/UCCSD, with ansatz classification and gate-composition breakdown; and (iii) design entropy, a run-to-run behavioral consistency metric. We surface a taxonomy of five distinct LLM failure modes (geometry hallucination, nonexistent API usage, runtime integration failures, constraint violations, and plausible-but-unverifiable output), each with distinct detectability profiles and structural to the task rather than to any one model. A forensic audit of the evaluation platform's own source code further establishes that two apparent model failures originated in the harness through silent fallback-template substitution, demonstrating that evaluation infrastructure belongs inside the same trust boundary as the models it tests. Applied across multiple foundation models on a Materials Project integrated pipeline, the framework shows that gatekeeper-style validation is necessary, not optional, for reliable deployment.
- Abstract（参考訳）: 大規模言語モデル(LLM)が量子シミュレーションワークフロー(IDEコピロ、ノートブックアシスタント、エージェントパイプライン)に組み込まれるようになると、評価は、高価なパイプラインを通過する前に構造的障害を予測およびキャッチするために、機能的正確性を超えて進む必要がある。
材料インフォームド変分量子固有解器(VQE)回路生成のための階層評価フレームワークを提案する。
一 七の身体的及び枠組み的基準によつてルーリックを検定する門番
2H2/STO-3G/Jordan-Wigner/UCCSDのモデル出力と基準実装値を比較した回路忠実度解析
三) 設計エントロピー(design entropy)は、実行時から実行時までの行動整合性尺度である。
我々は,5つの異なるLCM障害モード(幾何学幻覚,非存在API使用,実行時統合障害,制約違反,検証不可能なアウトプット)を分類し,それぞれが異なる検出可能性プロファイルと構造を持つ。
評価プラットフォーム自身のソースコードの法医学的な監査により、試験対象のモデルと同じ信頼境界内にあることを実証し、サイレント・フォールバック・テンプレートの置換によってハーネスに生じた2つの明らかなモデル障害が証明された。
Materials Project統合パイプライン上の複数のファンデーションモデルに適用されたこのフレームワークは、信頼できるデプロイメントには、ゲートキーパースタイルのバリデーションが必要であり、オプションではないことを示している。
関連論文リスト
- CellScientist: Dual-Space Hierarchical Orchestration for Closed-Loop Refinement of Virtual Cell Models [62.281480231694]
VCM(Virtual Cell Modeling)は、摂動応答を予測できるだけでなく、予測が失敗した場合にターゲットリビジョンをサポートするモデルを必要とする。
現在のLCM支援モデリングでは、予測誤差が実行可能実装を通して観測されるという改善ルーティング問題に直面している。
提案するCellScientistは,高レベル仮説空間と低レベル実行可能実装空間を結合した,二重空間階層型フレームワークである。
論文 参考訳（メタデータ） (2026-05-08T06:40:24Z) - LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。
CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
論文 参考訳（メタデータ） (2026-05-02T11:31:33Z) - ABLE: Representing and Mapping LLMs via Attribution-Based Large-model Embedding [23.27523995613204]
本稿では、解釈可能性空間を利用してモデル表現を構築するフレームワークであるABLE(Attribution-based Large-model Embedding)を提案する。
パラメーターに依存しない単語レベルのアライメントによって勾配に基づく特徴属性を集約することにより、ABLEはモデル固有の入力感度パターンをキャプチャする。
我々のトレーニングフリーアプローチは、関係予測、モデルルーティング、ベンチマークスコア予測において、競争力または優れた性能を達成する。
論文 参考訳（メタデータ） (2026-04-20T04:55:11Z) - From Perception to Autonomous Computational Modeling: A Multi-Agent Approach [0.0]
本稿では,協調型大言語モデル(LLM)エージェントが完全計算力学ワークフローを自律的に実行する,解法に依存しないフレームワークを提案する。
エージェントは、パイプライン層間の条件付きイテレーションを導入する品質ゲートを備えた共有コンテキスト空間上の条件付き演算子として形式化される。
論文 参考訳（メタデータ） (2026-04-08T07:56:34Z) - Automated Self-Testing as a Quality Gate: Evidence-Driven Release Management for LLM Applications [51.56484100374058]
我々は,エビデンスに基づくリリース決定を伴う品質ゲートを導入する自動自己テストフレームワークを提案する。
内部展開型多エージェント対話型AIシステムの縦型ケーススタディにより,本フレームワークの評価を行った。
論文 参考訳（メタデータ） (2026-03-13T20:44:15Z) - AgentFixer: From Failure Detection to Fix Recommendations in LLM Agentic Systems [7.429835301272413]
フレームワークには15の障害検出ツールと2つの根本原因分析モジュールが含まれている。
軽量なルールベースのチェックとLDM-as-a-judgeアセスメントを統合し、構造化インシデント検出、分類、修復をサポートする。
我々は、このフレームワークをIBM CUGAに適用し、AppWorldとWebArenaベンチマークのパフォーマンスを評価した。
論文 参考訳（メタデータ） (2026-02-18T14:55:35Z) - Veri-Sure: A Contract-Aware Multi-Agent Framework with Temporal Tracing and Formal Verification for Correct RTL Code Generation [4.723302382132762]
シリコングレードの正しさは、 (i) シミュレーション中心の評価の限られたカバレッジと信頼性、 (ii) 回帰と修復幻覚、 (iii) エージェントハンドオフ間で意図が再解釈される意味的ドリフトによってボトルネックが残っている。
エージェントの意図を整合させる設計契約を確立するマルチエージェントフレームワークであるVeri-Sureを提案する。
論文 参考訳（メタデータ） (2026-01-27T16:10:23Z) - Automatic Building Code Review: A Case Study [6.530899637501737]
建設担当者は、プロジェクトのサイズと複雑さが増大するにつれて、労働集約的で、エラーを起こし、コストがかかる設計文書のレビューに直面します。
本研究では,BIMに基づくデータ抽出と自動検証を統合したエージェント駆動型フレームワークを提案する。
論文 参考訳（メタデータ） (2025-10-03T00:30:14Z) - Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。
本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
論文 参考訳（メタデータ） (2025-10-02T06:25:10Z) - CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。
数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。
我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
論文 参考訳（メタデータ） (2025-08-05T17:55:24Z) - Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs [71.7892165868749]
LLM(Commercial Large Language Model) APIは基本的な信頼の問題を生み出します。
ユーザーは特定のモデルに課金するが、プロバイダが忠実に提供できることを保証することはない。
我々は,このモデル置換問題を定式化し,現実的な逆条件下での検出方法を評価する。
我々は,信頼された実行環境(TEE)を実用的で堅牢なソリューションとして使用し,評価する。
論文 参考訳（メタデータ） (2025-04-07T03:57:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。