論文の概要: Diagnosing Sampled LLM Reasoning in Formal Geometry: Coverage, Realization, and Validity Evidence
- arxiv url: http://arxiv.org/abs/2609.32924v1
- Date: Sat, 26 Sep 2026 20:30:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 11:56:03.853038
- Title: Diagnosing Sampled LLM Reasoning in Formal Geometry: Coverage, Realization, and Validity Evidence
- Title（参考訳）: 形式幾何学におけるLLM推論の診断:カバー, 実現, 妥当性の検証
- Abstract要約: CRV(Coverage, Realization, and Validity Evidence)について紹介する。
CRVは,形式的幾何状態を考慮したサンプル付き大言語モデル(LLM)の評価プロトコルである。
正しい答えがプール内で1回か2回しか発生しない場合、読み出し精度は特に低い。
- 参考スコア（独自算出の注目度）: 0.5721241882795979
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Repeated sampling can reveal a correct numerical answer without yielding either a reliable system output or a supported derivation. We present Coverage, Realization, and Validity Evidence (CRV), an evaluation protocol for sampled large language model (LLM) reasoning over formal geometry states. Coverage is answer availability, realization is readout accuracy on the frozen candidate pool, and validity evidence is a label-blinded critic judgment of derivational support rather than a proof certificate. CRV freezes each candidate pool before comparing readouts and analyzes covered failures by correct-answer multiplicity and within-problem discrimination. On HardShift441, a 441-problem set for which a reference solver leaves 406 problems unsolved, a LoRA-adapted Qwen2.5-7B generator obtains 24.2% average single-sample accuracy and 68.9% pass@16, whereas verifier-weighted self-consistency (WSC) reaches 38.0%. Readout accuracy is particularly low when the correct answer occurs only once or twice in the pool. In a separate constructed audit of 195 covered problems, the critic labels 12 correct-answer representatives as supported, 181 as refuted, and two as uncertain. These results show that coverage, realization, and validity evidence from the critic are distinct quantities and should be reported separately.
- Abstract（参考訳）: 繰り返しサンプリングすることで、信頼性の高いシステム出力か、サポートされた導出のいずれかを得ることなく、正しい数値答えを明らかにすることができる。
本稿では,形式的幾何状態を考慮したサンプル大言語モデル(LLM)の評価プロトコルであるCoverage, Realization, and Validity Evidence(CRV)を提案する。
カバーは回答の可利用性、実現は凍結した候補プールの読み出し精度、検証証拠は証明証明書よりも派生的支援のラベル付き批評家の判断である。
CRVは、読み出し結果を比較する前に各候補プールを凍結し、正解乗数と確率内判別によってカバーされた障害を分析する。
HardShift441では、参照ソルバが406の問題を未解決に残す441プロブレムセットで、LoRA対応Qwen2.5-7Bジェネレータが平均24.2%のシングルサンプル精度と68.9%のパス@16を得る一方、検証器重み付き自己整合(WSC)は38.0%に達する。
正しい答えがプール内で1回か2回しか発生しない場合、読み出し精度は特に低い。
195件の問題を別々に調査した結果、批評家は12人の正解者、181人が反論、そして2人が不確実であると評価した。
これらの結果は、批評家によるカバレッジ、実現、および妥当性の証拠は、異なる量であり、別々に報告されるべきであることを示している。
関連論文リスト
- Truth for Believable AI: Expressed Doubt, Provenance, and Belief Revision as an Engineerable Stance [0.0]
定型言語モデル上での動作層として,不確実性,先入観を意識したアサーション,明示的信念のリビジョンを実装できるかどうかを検証した。
合成モデルとQwen2.5-0.5B-インストラクタを用いて,機械的に評価したマルチセッションベンチマークを用いて評価を行った。
論文 参考訳（メタデータ） (2026-09-22T11:34:53Z) - Auditing Bayesian Graph Alignment: Diagnostic Comparisons and Reference Failure [0.0]
3つのサンプルとスコア,限界,指標,カテゴリー,分類器に基づく診断を比較した。
また, 誤差が967に近づいたにもかかわらず, ほぼゼロに一致しない共通開始鎖も示している。
これらの結果は、有限予算の限界、診断ランク、基準合意を精度の証拠として識別しながら、割当感性監査を支援する。
論文 参考訳（メタデータ） (2026-09-19T22:19:09Z) - NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。
既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。
本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文 参考訳（メタデータ） (2026-09-10T08:34:56Z) - Claim-Level Reliability Assessment for Efficient Test-Time Reasoning [9.168249719115845]
テストタイムスケーリングの原則としてクレームレベルのファルシフィケーションを提案し、Claim-Level Reliability Assessment (CLR) を通じてそれをインスタンス化する。
CLRは、追加のソリューションサンプリングからターゲット検証まで、テスト時間計算を再配置する。
論文 参考訳（メタデータ） (2026-08-12T12:33:05Z) - R2VC: Modular Fact-Checking with Retrieval, Verification, and Confidence Calibration [0.0]
R2VCは、証拠を根拠とした事実チェックのためのモジュラー検索、理由、検証、アーキテクチャのキャリブレーションである。
FEVERでは、R2VCの8Bバックボーンはベースラインよりも13.74%高い精度を実現している。
論文 参考訳（メタデータ） (2026-08-06T03:35:05Z) - Relevant Is Not Warranted: Evidence-Force Calibration for Cited RAG [6.113159481005088]
我々は,エビデンス・フォース・キャリブレーションのためのコントラストストレステストであるForceBENCHを紹介する。
各項目は引用された節を固定し、エビデンス校正されたクレームと局所的な力評価された変種をペアに持つ。
ヘッドライン実験は固定された局所フィルター付き198ペア評価セットを使用する。
論文 参考訳（メタデータ） (2026-05-27T06:47:44Z) - HLE-Verified: A Systematic Verification and Structured Revision of Humanity's Last Exam [63.84155758655084]
HumanityのLast Exam (HLE)は、フロンティアの大規模言語モデルを評価するために広く使われているベンチマークである。
HLE-Verifiedは,透過的検証プロトコルときめ細かい誤り分類法を備えたHLEの検証および改訂版である。
我々は,HLEとHLE-Verifiedの7つの最先端言語モデルを評価し,平均7～10ポイントの絶対精度を観測した。
論文 参考訳（メタデータ） (2026-02-15T02:50:15Z) - On Calibration of Large Language Models: From Response To Capability [66.59139960234326]
大規模言語モデル(LLM)は汎用的な問題解決手段として広くデプロイされている。
本稿では,クエリ上でモデルが期待する精度を目標とするキャリブレーションを提案する。
我々の結果は、キャパシティ校正された信頼度がpass@$k$予測と推論予算割り当てを改善することを示している。
論文 参考訳（メタデータ） (2026-02-14T01:07:45Z) - CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。
ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
論文 参考訳（メタデータ） (2025-10-02T02:14:33Z) - Latent Veracity Inference for Identifying Errors in Stepwise Reasoning [78.29317733206643]
本稿では、精度割当てに対する離散探索アルゴリズムであるVeracity Search(VS)を紹介する。
その他の方法では、後続の精度値よりも後続の分布において難解な推論を行う。
VSを一般化し、新しいコンテキストで正確なゼロショットの精度推論を可能にする。
論文 参考訳（メタデータ） (2025-05-17T04:16:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。