論文の概要: Beyond Calibration: Temporal LLM Confidence Assessment Across Languages and Local Settings
- arxiv url: http://arxiv.org/abs/2610.27702v1
- Date: Tue, 20 Oct 2026 06:19:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.671953
- Title: Beyond Calibration: Temporal LLM Confidence Assessment Across Languages and Local Settings
- Title（参考訳）: 校正を超えて - 言語とローカル設定の時間的LCM信頼度評価
- Abstract要約: 問題解決の時間的な異なる段階で測定された信頼信号が、異なる情報の形式を符号化するかどうかを検討する。
2つのフロンティア LLM 、複数の推論領域、翻訳されたマラーティのベンチマーク、そして真に局所的なマラーティーの事実質問のベンチマークでこれらの信号を評価する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models are expected to estimate their own uncertainty, with confidence signals used to guide retrieval, adaptive compute allocation, routing, and selective abstention. We investigate whether confidence signals measured at different temporal stages of problem solving encode distinct forms of epistemic information and remain reliable beyond English-centric settings. Inspired by classical meta-memory theory, we distinguish anticipatory pre-solve confidence (Feeling-of-Knowing, FOK) from retrospective post-solve confidence (Judgement-of-Learning, JOL). We evaluate these signals across two frontier LLMs, multiple reasoning domains, translated Marathi benchmarks, and a newly constructed benchmark of genuinely local Marathi factual questions. Across settings, the cheaper pre-solve signal remains weakly calibrated, while post-solve confidence generally provides stronger epistemic alignment despite its additional inference cost. Confidence behaviour transfers surprisingly well under direct language translation, with calibration trends largely preserved between English and Marathi, but degrades substantially on local Marathi knowledge, suggesting that linguistic transfer alone is insufficient for region-specific information needs. Finally, hallucinated responses maintain persistently elevated confidence after answer generation, highlighting important limitations of current LLM self-assessment mechanisms.
- Abstract（参考訳）: 大規模言語モデルは、検索、適応的な計算割り当て、ルーティング、選択的な棄権を導くために信頼信号を用いて、自身の不確実性を推定することが期待されている。
問題解決の時間的異なる段階で測定された信頼信号が、異なる形態のてんかん情報を符号化し、英語中心の設定を超えて信頼性を維持しているかどうかを検討する。
古典的メタメモリ理論に触発された予測事前信頼(FOK,Feeling-of-Knowing)とレトロスペクティブ後信頼(JOL,Judgement-of-Learning)を区別する。
2つのフロンティア LLM 、複数の推論領域、翻訳されたマラーティのベンチマーク、そして真に局所的なマラーティーの事実質問のベンチマークでこれらの信号を評価する。
設定全体では、安価なプリゾルト信号は弱い校正を保ち、一方、ポストゾルト信頼性は、追加の推論コストにもかかわらず、一般的により強力なてんかんアライメントを提供する。
信頼行動は、直接言語翻訳の下で驚くほど良好に伝達され、キャリブレーションの傾向は主に英語とマラタイの間で維持されるが、現地のマラタイの知識に大きく依存する。
最後に、幻覚応答は応答生成後に持続的に高信頼を維持し、現在のLCM自己評価機構の重要な限界を強調している。
関連論文リスト
- Inference-Time Steering for Cross-Lingual Factual Consistency in LLMs [51.56484100374058]
大規模言語モデル(LLM)は目覚ましい多言語流布を示すが、その内部知識表現はハイリソース言語に対して不均等に偏っている。
我々は,これらのバイアスを推論時に緩和できるかどうかを考察し,対象言語でクエリされたかのように,英語の確率モデルに答えるように強制する。
Gemma 3 12Bの実験では、最も強い全体的な介入、効率性のバランス、安全性、ドメイン外の一般化を促すペルソナが明らかにされている。
論文 参考訳（メタデータ） (2026-07-21T16:15:05Z) - Can LLMs Use Linguistic Uncertainty Markers to Reliably Reflect Intrinsic Confidence? [50.17126900886782]
モデルが、安定かつ一般化可能な方法でマーカーと特定の信頼レベルを関連付けるために、独自の言語的信頼フレームワークを適用できるかどうかは不明である。
我々は,与えられたタスク領域において,モデルが特定のてんかんマーカーと関連付ける内在的信頼度として,_marker internal confidence_(MIC)を定式化する。
分析フレームワークを多種多様なモデルやタスクに適用すると、LLMはマーカーの意味のモデル中心の解釈の下でも、忠実に誤解される。
論文 参考訳（メタデータ） (2026-05-27T17:38:00Z) - Retrieval-Augmented Linguistic Calibration [57.41519309308438]
我々は,言語的信頼度を,文が正しいと認識される確率値の分布としてモデル化する。
Retrieval-Augmented Linguistic truth (RALC)は、信頼性信号を自然言語に伝達する軽量なポストホックパイプラインである。
論文 参考訳（メタデータ） (2026-05-19T04:31:38Z) - Instinct vs. Reflection: Unifying Token and Verbalized Confidence in Multimodal Large Models [11.878003218072765]
MLLM(Multimodal Large Language Models)は、様々な知覚や推論タスクにおいて例外的な機能を示す。
二重チャネル信号とチャネル間の整合性を融合して正当性を推定するモノトーン信頼融合フレームワークを提案する。
各種オープンソースおよびクローズドソースMLLMの実験結果から,本手法は信頼性の高い推定値が得られることがわかった。
論文 参考訳（メタデータ） (2026-04-19T06:07:39Z) - Identifying Influential N-grams in Confidence Calibration via Regression Analysis [53.95767806659635]
回帰法を適用することにより,言語表現が信頼とどのような関係があるかを明らかにする。
我々は,大言語モデル (LLM) が推論に関わる場合,過度に信頼されていることを示す。
性能低下を伴わずに過信表現を単純に抑えることで、信頼度校正が可能であることを明らかにした。
論文 参考訳（メタデータ） (2026-04-07T11:58:49Z) - Wired for Overconfidence: A Mechanistic Perspective on Inflated Verbalized Confidence in LLMs [31.99173240336646]
大規模言語モデルにおける言語過信は、識別可能な内部回路によって駆動されることを示す。
以上の結果から, LLMにおける言語過信は, 識別可能な内部回路によって駆動され, 目的の介入によって緩和される可能性が示唆された。
論文 参考訳（メタデータ） (2026-04-01T23:06:58Z) - Recurrent Confidence Chain: Temporal-Aware Uncertainty Quantification in Large Language Models [0.0]
答えの不確かさは、ユーザーにとって誤解を招くことや深刻な幻覚を防ぐのに役立つ。
現在の方法では、無関係なトークンをフィルタリングし、近くのトークンや文間の潜在的な接続を調べることで、長い推論シーケンスを分析する。
本稿では,ステップ間の意味的相関を解析するために,ステップ間注意を取り入れた新しい手法を提案する。
論文 参考訳（メタデータ） (2026-01-19T20:04:34Z) - Can Large Language Models Express Uncertainty Like Human? [71.27418419522884]
我々は,人間に注釈を付けた信頼スコアを持つヘッジ式の最初の多種多様な大規模データセットをリリースする。
現代大言語モデルにまたがる言語信頼に関する最初の体系的研究を行う。
論文 参考訳（メタデータ） (2025-09-29T02:34:30Z) - Can LLMs Detect Their Confabulations? Estimating Reliability in Uncertainty-Aware Language Models [24.72990207218907]
LLM(Large Language Models)は、畳み込み(confabulation)として知られる、流動的だが不正なコンテンツを生成する傾向にある。
本研究では、文脈内情報がモデル行動にどのように影響するか、LLMが信頼できない応答を識別できるかを検討する。
論文 参考訳（メタデータ） (2025-08-11T16:12:36Z) - MetaFaith: Faithful Natural Language Uncertainty Expression in LLMs [66.14178164421794]
メタファイト(MetaFaith)は、ヒトのメタ認知に触発された新規なプロンプトベースのキャリブレーション手法である。
MetaFaithは多種多様なモデルやタスク領域における忠実なキャリブレーションを強力に改善し、忠実度を最大61%向上させることができることを示す。
論文 参考訳（メタデータ） (2025-05-30T17:54:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。