論文の概要: Citation Discipline in Spec-Driven Development: A Cross-Model Empirical Study of Output Determinism and Automated Hallucination Detection in LLM-Generated Code
- arxiv url: http://arxiv.org/abs/2606.30689v1
- Date: Sun, 28 Jun 2026 19:38:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 18:27:18.952984
- Title: Citation Discipline in Spec-Driven Development: A Cross-Model Empirical Study of Output Determinism and Automated Hallucination Detection in LLM-Generated Code
- Title（参考訳）: スペック駆動開発におけるCitation Discipline: LLM生成コードにおける出力決定性と自動幻覚検出に関するクロスモデル実証研究
- Abstract要約: 仕様駆動開発(SDD)フレームワークは、公式仕様を通じてLLM(Large Language Model)によるコード生成をガイドする。
本稿では,REQ-XXX.Y を用いたライン毎の要求引用を強制的に実施する $traceDDDD という3つのフレームワークを比較した2つの研究結果を提案する。
OpenSpecSpec Kit – ユーザストーリと受け入れ基準によるアーティファクトレベルのトレーサビリティを使用する。
我々の分析では、一貫したクロスモデル複製トレードオフが明らかとなり、非励振条件は引用条件よりもはるかに高い決定性をもたらす。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Spec-Driven Development (SDD) frameworks guide Large Language Model (LLM)-powered code generation through formal specifications, yet they differ fundamentally in how they enforce traceability between requirements and generated code. This paper presents two controlled empirical studies comparing three SDD frameworks: $traceSDD$, which enforces mandatory per-line requirement citations using hierarchical REQ-XXX.Y.Z identifiers; $Spec Kit$, which uses artifact-level traceability through user stories and acceptance criteria; and $OpenSpec$, which relies on post-hoc external trace maps. We measure two primary outcomes across two frontier LLMs -- Claude Sonnet 4.6 (N=20, 4 conditions, 240 implementations) and GLM-5-turbo (N=50, 4 conditions, 600 implementations): $output$ $determinism$ (lexical similarity across independent LLM sessions) and $automated$ $hallucination$ $detection$ $rate$ (TDR). Our pre-registered analysis reveals a consistent, cross-model replicated trade-off: the uncited condition produces significantly higher determinism than the cited condition (Claude: $d=-0.76$, $p=0.003$; GLM: $d=-0.72$, $p<0.001$), while only the cited condition enables automated hallucination detection (TDR: Claude 86.4%, GLM 88.0%, vs 0% for all alternatives, FPR=0% across both studies). traceSDD (cited) significantly outperforms $Spec Kit$ on determinism (Claude: $d=0.47$, $p=0.049$; GLM: $d=0.42$, $p=0.003$) but not OpenSpec (Claude: $d=0.18$, $p=0.44$; GLM: $d=0.14$, $p=0.32$). These findings establish that citation annotations trade determinism for verifiability, and that this trade-off generalizes across model architectures.
- Abstract（参考訳）: 仕様駆動開発(SDD)フレームワークは、LLM(Large Language Model)を使ったコード生成を正式な仕様を通じてガイドするが、要求と生成されたコードの間のトレーサビリティをどのように強制するかは根本的に異なる。
本稿では,3つのSDDフレームワークを比較した2つの制御された実証的研究について述べる。
Z識別子、ユーザストーリーと受け入れ基準によるアーティファクトレベルのトレーサビリティを使用する$Spec Kit$、ポストホックな外部トレースマップに依存する$OpenSpec$。
我々は2つのフロンティアLCM(Claude Sonnet 4.6 (N=20, 4 条件, 240 実装)と GLM-5-turbo (N=50, 4 条件, 600 実装):$output$ $determinism$ (独立 LLM セッション間の語彙的類似性)と$automated$$$hallucination$$$detection$ $ $rate$ (TDR)の2つの主要な結果を測定する。
我々の事前登録された分析は、一貫したクロスモデル複製トレードオフを明らかにしている: 暗黙条件は、引用条件よりもはるかに高い決定性を生成する(Claude: $d=-0.76$, $p=0.003$, GLM: $d=-0.72$, $p<0.001$)が、引用条件だけが自動幻覚検出を可能にする(TDR: Claude 86.4%, GLM 88.0%, vs 0%)。
traceSDD (cited) は決定論において$Spec Kit$ (Claude: $d=0.47$, $p=0.049$; GLM: $d=0.42$, $p=0.003$; GLM: $d=0.18$, $p=0.44$; GLM: $d=0.14$, $p=0.32$; GLM: $p=0.32$) を大幅に上回っているが、OpenSpec (Claude: $d=0.18$, $p=0.44$; GLM: $d=0.14$) ではない。
これらの知見は、引用アノテーションが検証可能性に関する決定論を交換し、このトレードオフがモデルアーキテクチャ全体にわたって一般化されていることを証明している。
関連論文リスト
- An Interactive Agent for Requirement-Driven Candidate Sourcing [75.63902836826038]
最初の要件駆動型候補ソーシングエージェントであるsysを提示する。
それは、あいまいな人々の要求を正当化されたスレートに導き、検証し、回収し、検証する。
広さ (100%$カバレッジ 2.5times$ the yield) を支配し、フィールドに直交する。
論文 参考訳（メタデータ） (2026-08-24T17:04:16Z) - Which Defense Closes Which Threat? Attributing OWASP-LLM-Top-10 Coverage and Its Brittleness Under Paraphrasing [51.56484100374058]
プロダクションLLMアプリケーションは、いくつかの防衛ファミリを積み重ねる -- 拒絶フレーズフィルタ、トークンバッジコントロール、モデル許容度リスト、レート制限、ツール登録認証 -- が、BASベンチマークでは、単一の集計カバレッジ番号を報告している。
21エージェントベースラインスキャナに4つのLLM-Top-10対応エージェントを追加し、4つの合成LDMエンドポイントの格子をターゲットとした。
論文 参考訳（メタデータ） (2026-06-01T19:39:25Z) - Evolutionary Discovery of Bivariate Bicycle Codes with LLM-Guided Search [1.1038052779321077]
量子LDPC符号探索では、大きな代数的設計空間を探索し、発見される任意の候補のパラメータと等価クラスを確実に証明する必要がある。
言語モデルがPythonプログラムを変異させるLLM誘導進化ワークフローを提案する。
5回のキャンペーンで約1,650回の進化的なイテレーションを実行し、約2倍の105ドルの候補コードを実行し、計算時間に$sim140$とLLM推論コストに$sim$US$400を必要とした。
論文 参考訳（メタデータ） (2026-06-01T15:58:52Z) - Subtle Injection for Ground-truth Inference of LLM Training Data [0.2538209532048867]
SIGILは、認識不能なEmphcanary Sequenceを保護されたテキストとコードに埋め込むフレームワークである。
SIGILは、語彙規則、語彙句、構文、意味、コードパターンの5つのカナリア戦略を定義している。
論文 参考訳（メタデータ） (2026-05-18T14:48:44Z) - The Geometry of Forgetting: Temporal Knowledge Drift as an Independent Axis in LLM Representations [50.43168858368539]
大規模言語モデルは自信を持って時代遅れの回答を生成し、既存の方法では検出できない。
これは工学的な失敗ではなく構造的な失敗であり、時間的ドリフトは、幾何的に残留流の方向として、正確性と不確実性の両方に符号化される。
論文 参考訳（メタデータ） (2026-05-09T22:27:31Z) - Large Language Models as Optimization Controllers: Adaptive Continuation for SIMP Topology Optimization [4.365822392824561]
本稿では,SIMP最適化のためのオンラインコントローラとして,大規模言語モデルが機能するフレームワークを提案する。
ハードグレーネスゲートは未熟なバイナライゼーションを防止し、メタ最適化ループは第2パスを使用してエージェントの呼び出し周波数を調整する。
エージェントはすべてのベンチマークの最終的なコンプライアンスを達成する:$5.7%$から$-1%、すべてのソリューションが完全にバイナリである。
論文 参考訳（メタデータ） (2026-03-26T07:14:31Z) - ClaimFlow: Tracing the Evolution of Scientific Claims in NLP [67.23189226608389]
NLP文献のクレーム中心のビューである$texttClaimFlow$を紹介します。
新しいタスク $-$$textitClaim Relation Classification$$-$を定義する。
我々の分析によると、63.5$%の請求は決して再利用されない。
論文 参考訳（メタデータ） (2026-03-17T02:43:36Z) - Consistency-Guided Decoding with Proof-Driven Disambiguation for Three-Way Logical Question Answering [4.878198984786631]
3方向の論理的質問応答(QA)は、$True/False/Unknown$を前提セット$S$の仮説に割り当てる。
CGD-PDは1つの3ウェイ分類器を$H$と$H$の機械式の両方でクエリする軽量なテスト時間層である。
論文 参考訳（メタデータ） (2026-03-12T18:26:16Z) - $\nabla$-Reasoner: LLM Reasoning via Test-Time Gradient Descent in Latent Space [71.23672814629448]
$nabla$-Reasonerは、トークンログに対する差別化可能な最適化をデコードループに統合する反復生成フレームワークである。
$nabla$-Reasonerは、挑戦的な数学的推論ベンチマークで20%以上の精度の向上を実現している。
論文 参考訳（メタデータ） (2026-03-05T08:42:54Z) - Harmonic LLMs are Trustworthy [3.8119386967826294]
我々は,ブラックボックスLLMの強靭性を実時間でテストする直感的な手法を,その局所的な調和性偏差を$gamma$と表現して導入する。
WebQA、ProgrammingQA、TrthfulQAの3つのドメインで、数千のクエリにまたがる10の一般的なLCMで$gamma$を測定します。
論文 参考訳（メタデータ） (2024-04-30T17:00:32Z) - Can LLMs Separate Instructions From Data? And What Do We Even Mean By That? [60.50127555651554]
大規模言語モデル(LLM)は、多くの実用的なアプリケーションにおいて印象的な結果を示すが、基本的な安全性機能は欠如している。
これにより、間接的なプロンプトインジェクションのような操作に脆弱になり、一般に安全クリティカルなタスクには適さない。
モデル出力から計算可能な命令データ分離の形式的尺度と経験的変量を導入する。
論文 参考訳（メタデータ） (2024-03-11T15:48:56Z) - Improved Sample Complexity for Incremental Autonomous Exploration in
MDPs [132.88757893161699]
我々は $epsilon$-optimal 目標条件付きポリシーのセットを学び、$ L$ ステップ内で段階的に到達可能なすべての状態を達成します。
DisCoは、コストに敏感な最短経路問題に対して$epsilon/c_min$-optimalポリシーを返すことができる最初のアルゴリズムです。
論文 参考訳（メタデータ） (2020-12-29T14:06:09Z) - Model-Free Reinforcement Learning: from Clipped Pseudo-Regret to Sample
Complexity [59.34067736545355]
S$状態、$A$アクション、割引係数$gamma in (0,1)$、近似しきい値$epsilon > 0$の MDP が与えられた場合、$epsilon$-Optimal Policy を学ぶためのモデルなしアルゴリズムを提供する。
十分小さな$epsilon$の場合、サンプルの複雑さで改良されたアルゴリズムを示す。
論文 参考訳（メタデータ） (2020-06-06T13:34:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。