論文の概要: Truth for Believable AI: Expressed Doubt, Provenance, and Belief Revision as an Engineerable Stance

• arxiv url: http://arxiv.org/abs/2609.26035v1
• Date: Tue, 22 Sep 2026 11:34:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.345291
• Title: Truth for Believable AI: Expressed Doubt, Provenance, and Belief Revision as an Engineerable Stance
• Title（参考訳）: 信じられるAIの真実 - エンジニア可能なスタンスとしての疑念、証明、信念の修正
• Abstract要約: 定型言語モデル上での動作層として,不確実性,先入観を意識したアサーション,明示的信念のリビジョンを実装できるかどうかを検証した。 合成モデルとQwen2.5-0.5B-インストラクタを用いて,機械的に評価したマルチセッションベンチマークを用いて評価を行った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conversational agents often express answers in a uniformly confident register. We test whether expressed uncertainty, provenance-aware assertion, and explicit belief revision can be implemented as a behavior layer over a fixed language model; we do not test believability or trust. The layer combines three epistemic states, per-claim confidence and typed provenance, a provenance-gated expression rule, and a persistent revision store with auditable acknowledgments and partial resistance to false corrections. We evaluate it on a constructed, mechanically scored multi-session benchmark using a synthetic model and Qwen2.5-0.5B-Instruct. The synthetic instrument passes all five checks. On the real model, acknowledgment soundness, a by-construction guarantee, holds in 100% of cases, and true corrections are accepted more often than false ones (0.44 vs. 0.15 on held beliefs; 0.875 vs. 0.420 including rule-accepted corrections of unheld facts), but the pre-specified expression-fidelity, contradiction-separation, and provenance margins fail. A disclosed post hoc analysis shows that expression gated on mean answer-token probability ranks correctness below chance end to end (AUC 0.41, conversation-clustered), whereas gating on sampling consistency discriminates (AUC 0.66). A consistency-gated configuration selected from this finding and evaluated under a separately committed protocol meets the conversation-level manipulation and capability-equivalence criteria and replicates on a redrawn conversation set. The manipulation result is selection-dependent, and both criteria remain unresolved when uncertainty is clustered over the 60 facts. The supported conclusions are limited to the by-construction audit guarantee, store-dependent partial correction discrimination, and a benchmark- and model-specific failure of token-probability gating; scaling the fact base is required before human evaluation.
• Abstract（参考訳）: 会話エージェントは、一様に自信のあるレジスターで回答を表現することが多い。 確定した言語モデル上での行動層として表現された不確実性、証明を意識したアサーション、明示的な信念修正が実装可能かどうかを検証し、信頼性や信頼をテストしない。 この層は、3つのてんかん状態(per-claim confidence and typed provenance)、profence-gated expression rule、および聴覚学的認識と偽訂正に対する部分的抵抗を持つ永続的リビジョンストアを結合する。 合成モデルとQwen2.5-0.5B-インストラクタを用いて,機械的に評価したマルチセッションベンチマークを用いて評価を行った。 人工楽器は5つの小切手を全て通過します。 実モデルでは、非建設的保証である承認音性は100%のケースに収まり、真正の修正は偽のものよりも頻繁に受け入れられる(0.44対0.15、既約事実の規則付き修正を含む0.875対0.420)が、事前に特定された表現の忠実さ、矛盾分離、前兆マージンは失敗する。 公開後ホック分析では、平均解答確率でゲーティングされた表現が、終末から終末(AUC 0.41、会話クラスタリング)より下位の正しさをランク付けし(AUC 0.66)、サンプリング一貫性に関するゲーティングが判別する(AUC 0.66)。 この発見から選択され、別々にコミットされたプロトコルで評価された一貫性付き構成は、会話レベルの操作と能力等価性基準を満たし、再描画された会話セット上で複製する。 操作結果は選択に依存しており、不確実性が60事実にわたってクラスタ化されている場合、どちらの基準も未解決のままである。 支持された結論は、非構成監査保証、ストア依存部分修正識別、およびトークン確率ゲーティングのベンチマークおよびモデル固有の失敗に限られる。

関連論文リスト

• Intrinsic Sequence-Likelihood Confidence in Retrieval-Dominated Extractive QA: Two Pre-Specified Negatives, and What They Do and Do Not Attribute [0.4310167974376404]
  オープン言語モデルを微調整すると、自身の信頼度が誘引制御信号であるモデルが得られる。 我々は,実行前の基準下での両使用量を評価した。 検索だけで92-99.8%のベストケースの組み合わせ精度が回復する。
  論文  参考訳（メタデータ） (2026-09-17T09:17:00Z)
• Claim-Level Confidence Calibration for Reliable Decision Making with Large Language Models [7.714704554667688]
  大規模言語モデル(LLM)は、ハイテイクドメインにおける意思決定をますますサポートします。 LLMはしばしば、事実の正しさと不一致した自信を幻覚し表現する。 判定関連不確実性信号としてのクレームレベル信頼度校正について検討する。
  論文  参考訳（メタデータ） (2026-08-23T16:09:54Z)
• Reported Confidence in LLMs Tracks Commitment More Than Correctness [0.7783842564949857]
  信頼とは、選択された答えが正しい確率の見積もりである。 我々は、知覚的意思決定の神経科学から2段階の棄権パラダイムを用いてこれを検証した。 言語的自信は、その答えが正しいかどうかよりも、コミット/アビデンスの判断がかなり良いと予測した。
  論文  参考訳（メタデータ） (2026-06-28T16:39:18Z)
• Trust but Verify: Prover-Verifier Deliberation for Selective LLM Prediction [4.273094752480624]
  本稿では,対話的証明理論に基づく推論時間プロトコルであるPVDを導入する。 PVDは回答と構造化された信頼判定の両方を生成し、システムは不確実なケースを棄却しながら高信頼の回答を報告できる。
  論文  参考訳（メタデータ） (2026-05-24T15:23:27Z)
• What Single-Prompt Accuracy Misses: A Multi-Variant Reliability Audit of Language Models [0.0]
  シングルプロンプト精度は、言語モデルをベンチマークする主要な方法であるが、重要な信頼性障害を見逃す可能性がある。 15モデルオープンウェイトコーパスの評価を行い,5つの分類と推論ベンチマークによる10のインストラクトモデルに着目した信頼性解析を行った。 まず、評価設計は結論を根本的に変えることができる。 第2に、信頼信号は脆弱である。MMLU-Proでは、各プライマリモデルは、その精度と同一行上のトークン確率信頼の両方よりもかなり高い信頼度を言語的に報告し、単一のプロンプト変種における単一のモデルに対して、動詞のパースレートが崩壊する可能性がある。
  論文  参考訳（メタデータ） (2026-05-03T20:05:08Z)
• FACT-E: Causality-Inspired Evaluation for Trustworthy Chain-of-Thought Reasoning [49.65751420291115]
  CoT(Chain-of-Thought)プロンプトはLSM推論を改善したが、モデルはしばしば不誠実な中間ステップを含むコヒーレントな説明を生成する。 我々は、CoTの品質を評価するための因果性に着想を得たフレームワークであるFACT-Eを提案する。 FACT-Eは推論・軌道選択を改善し、文脈内学習を強くすることを示す。
  論文  参考訳（メタデータ） (2026-04-12T15:35:08Z)
• COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
  COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。 リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
  論文  参考訳（メタデータ） (2025-06-25T07:04:49Z)
• Latent Veracity Inference for Identifying Errors in Stepwise Reasoning [78.29317733206643]
  本稿では、精度割当てに対する離散探索アルゴリズムであるVeracity Search(VS)を紹介する。 その他の方法では、後続の精度値よりも後続の分布において難解な推論を行う。 VSを一般化し、新しいコンテキストで正確なゼロショットの精度推論を可能にする。
  論文  参考訳（メタデータ） (2025-05-17T04:16:36Z)
• Zero-shot Faithful Factual Error Correction [53.121642212060536]
  事実の誤りを忠実に訂正することは、テキストの知識基盤の整合性を維持し、シーケンス・ツー・シーケンス・モデルにおける幻覚を防ぐために重要である。 提案するゼロショットフレームワークは,入力クレームに関する質問を定式化し,与えられたエビデンスにおける正しい回答を求め,そのエビデンスとの整合性に基づいて各補正の忠実さを評価する。
  論文  参考訳（メタデータ） (2023-05-13T18:55:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。