論文の概要: SymboUQ: Symbolic Uncertainty Quantification for Spatial Reasoning in LLMs
- arxiv url: http://arxiv.org/abs/2608.00417v2
- Date: Sat, 08 Aug 2026 01:25:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.393454
- Title: SymboUQ: Symbolic Uncertainty Quantification for Spatial Reasoning in LLMs
- Title(参考訳): SymboUQ: LLMにおける空間推論のためのシンボリック不確かさの定量化
- Abstract要約: シンボル化可能性の識別により、推論トレースから最終回答信頼性を推定するシンボル的不確実性フレームワークであるSymboUQを紹介する。
その結果,SymboUQ は AUROC の約8% の相対的改善と,クラスバランスの強い Brier 損失の7% の相対的減少を達成できた。
- 参考スコア(独自算出の注目度): 5.676157325165344
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Although large language models (LLMs) can produce fluent spatial reasoning traces, their intermediate relations may fail to support the final conclusion, making token-level confidence insufficient for final-answer reliability estimation. Existing formal verifiers provide stronger semantic evidence, but their applicability is partial: a parsed claim need not yield a definite semantic verdict. To address this issue, we introduce SymboUQ, a symbolic uncertainty quantification framework that estimates final-answer reliability from reasoning traces by distinguishing symbolizability, whether a claim can be represented in the verifier's formal language, from semantic determinacy, whether its execution yields an entailed or contradicted verdict rather than an unknown or not-evaluable outcome. SymboUQ comprises (i) a Layout Auditor that executes ordered spatial claims and extracts feasibility, conflict, and repair evidence; (ii) a label-free Determinacy Profile that characterizes effective executable coverage; and (iii) a Determinacy-Aware Reliability Composer that integrates constraint-based, representation-based, and decoding-based scores according to verifier applicability. Extensive experiments on five spatial reasoning benchmarks with four frozen LLM backbones show that SymboUQ achieves approximately an 8% relative improvement in AUROC and a 7% relative reduction in class-balanced Brier loss over the strongest baseline.
- Abstract(参考訳): 大規模言語モデル (LLMs) は、流動的な空間的推論トレースを生成することができるが、その中間関係は最終的な結論を支持できず、最終回答の信頼性推定にはトークンレベルの信頼性が不十分である。
既存の形式的検証はより強力な意味的証拠を提供するが、その適用性は部分的である。
この問題を解決するためにSymboUQという記号的不確実性定量化フレームワークを導入する。このフレームワークは,シンボル化可能性,請求項を検証者の形式言語で表現できるかどうか,その実行が未知あるいは未評価の結果ではなく,関連するあるいは矛盾した判定を得られるかどうかを識別することによって,最終的な問合せ信頼性を推定する。
SymboUQ の構成
一 秩序ある空間的クレームを実行し、可能性、紛争及び証拠を抽出するレイアウト監査人
(二 有効実行可能範囲を特徴付けるラベルフリー決定プロファイル
三 検証可能性に応じて制約ベース、表現ベース及び復号ベースのスコアを統合する決定性対応信頼性コンポジション。
4つの冷凍LDMバックボーンを用いた5つの空間推論ベンチマークの大規模な実験により、SymboUQはAUROCの約8%の相対的な改善を達成し、最も高いベースラインに対するクラスバランスのBrier損失の7%の相対的な減少を達成した。
関連論文リスト
- Autoformalizing Argumentative Material Inferences [26.35292656634472]
我々は、ガード補完として議論材料推論のための自己形式化を開発する。
GUARDは、証明された信条を大幅に改善する。
シンボル的ソフトな批判と明示的な仮定層がこれらの利益の大部分を担っていることを示す。
論文 参考訳(メタデータ) (2026-09-15T11:05:26Z) - From Tokens to Semantics: Leveraging Complementary Signals for Hallucination Detection in Black-Box LLMs [0.9751538234290761]
偽のアラームが人間の視認能力に限られているのに対して、偽のアラームはユーザーや機関に害を与える可能性がある。
ブラックボックスモデルAPIを通じてアクセス可能な2つの信号:意味エントロピーとトークンログ確率から導出される不確実性について検討する。
トークンレベルの信号をTopK法によるサンプル応答に集約することでトークンベースの不確実性検出を拡張した。
論文 参考訳(メタデータ) (2026-09-02T14:50:24Z) - IntroConformal: Conformal Factuality Guarantees for Large Vision-Language Models via Introspective Signals [2.623527845999313]
モデル自体から派生したイントロスペクティブ信号を用いて,信頼性の高い事実性制御を実現することができると論じる。
IntroConformalはトレーニングフリーのコンフォーマルリスクコントロールフレームワークで、有限サンプルで配布不要な事実保証を提供する。
論文 参考訳(メタデータ) (2026-09-01T15:09:56Z) - Beyond Semantic Equivalence: Logical Graphs for LLM Uncertainty Quantification [30.900501335481184]
我々は,回答間の含意と非互換性を明示的にモデル化するフレームワークである,論理グラフ不確実性(LGU)を提案する。
複数の質問応答ベンチマークにおいて、LGUは既存の手法に対する不確実性評価を一貫して改善している。
論文 参考訳(メタデータ) (2026-07-18T16:14:08Z) - Quantifying Consistency in LLM Logical Reasoning via Structural Uncertainty [5.839104770457067]
大規模な言語モデルは、不安定で矛盾し、一貫してランク付けするのが困難である推論パスを通じて、同じ答えに達することができる。
自己参照によるランク付けの安定性から導かれる一貫性を考慮した構造的不確実性を提案する。
論文 参考訳(メタデータ) (2026-06-15T21:39:47Z) - BALTO: Balanced Token-Level Policy Optimization for Hallucination Mitigation [51.22170603236523]
幻覚緩和のためのバランスドトークンレベルの政策最適化フレームワークを提案する。
BalTOはチェック可能な事実クレームを抽出し、参照コンテキストに対して検証し、トークンレベルのラベルに対するクレームレベルの判断をプロジェクトする。
ConFiQA、RAGTruth、FinLLM-Evalの実験では、BALTOは6つのモデルで最高の忠実さを達成している。
論文 参考訳(メタデータ) (2026-06-14T16:25:59Z) - I Know What I Don't Know: Latent Posterior Factor Models for Multi-Evidence Probabilistic Reasoning [0.0]
本稿では,遅延後続因子 (LPF) をSum-Product Network (SPN) 推論のソフトな可能性因子に変換するフレームワークとして紹介する。
LPF を LPF-SPN (structured Factor-based inference) と LPF-Learned (end-to-end learned aggregate) とみなす。
8つのドメイン(7つの合成およびFEVERベンチマーク)で、LPF-SPNは高い精度(最大97.8%)、低い校正誤差(ECE 1.4%)、強い確率適合を達成する。
論文 参考訳(メタデータ) (2026-03-13T10:05:14Z) - Pushing the Boundaries of Natural Reasoning: Interleaved Bonus from Formal-Logic Verification [49.506412445511934]
大きな言語モデル(LLM)は目覚ましい能力を示すが、その次は論理的不整合と報奨ハックを生み出す。
本稿では,自然言語生成プロセスと形式的記号的検証を動的にインターリーブする形式論理検証誘導フレームワークを提案する。
我々はこのフレームワークを,形式論理検証誘導制御による微調整とポリシー最適化の相乗効果を生かした,新しい2段階のトレーニングパイプラインを通じて運用する。
論文 参考訳(メタデータ) (2026-01-30T07:01:25Z) - VIRO: Robust and Efficient Neuro-Symbolic Reasoning with Verification for Referring Expression Comprehension [51.76841625486355]
Referring Expression (REC) は、自然言語クエリに対応する画像領域をローカライズすることを目的としている。
最近のニューロシンボリックRECアプローチは、大規模言語モデル(LLM)と視覚言語モデル(VLM)を利用して構成推論を行う。
推論ステップ内に軽量な演算子レベルの検証器を組み込む,ニューロシンボリックなフレームワークであるVIROを紹介する。
論文 参考訳(メタデータ) (2026-01-19T07:21:19Z) - FaithCoT-Bench: Benchmarking Instance-Level Faithfulness of Chain-of-Thought Reasoning [62.452350134196934]
FaithCoT-Benchは、インスタンスレベルのCoT不信検出のための統一ベンチマークである。
我々の枠組みは差別的な決定問題として不誠実検出を定式化している。
FaithCoT-Bench は LLM のより解釈可能で信頼性の高い推論に向けた将来の研究の基盤となる。
論文 参考訳(メタデータ) (2025-10-05T05:16:54Z) - Latent Veracity Inference for Identifying Errors in Stepwise Reasoning [78.29317733206643]
本稿では、精度割当てに対する離散探索アルゴリズムであるVeracity Search(VS)を紹介する。
その他の方法では、後続の精度値よりも後続の分布において難解な推論を行う。
VSを一般化し、新しいコンテキストで正確なゼロショットの精度推論を可能にする。
論文 参考訳(メタデータ) (2025-05-17T04:16:36Z) - TokUR: Token-Level Uncertainty Estimation for Large Language Model Reasoning [27.449948943467163]
token-level Uncertainty Estimation framework for Reasoning (TokUR)を提案する。
TokURは、大規模言語モデルにおいて、数学的推論における応答を自己評価し、自己改善することを可能にする。
様々な難易度を持つ数学的推論データセットの実験により、TokURは答えの正しさとモデルロバストネスと強い相関を示すことが示された。
論文 参考訳(メタデータ) (2025-05-16T22:47:32Z) - Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。
本稿では,LLMのための不確実性分解フレームワークについて述べる。
提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
論文 参考訳(メタデータ) (2023-11-15T05:58:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。