論文の概要: Gray-Box Hallucination Detection in LLMs with Token Identities

• arxiv url: http://arxiv.org/abs/2610.19996v1
• Date: Wed, 14 Oct 2026 11:12:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.119413
• Title: Gray-Box Hallucination Detection in LLMs with Token Identities
• Title（参考訳）: トークン密度のLLMにおけるグレイボックス幻覚検出
• Abstract要約: グレーボックス検出器は、生成中に放出されるトークン確率統計から幻覚を識別する。 本稿では,候補トークンと各トークンベクトル識別子を組み合わせた軽量グレーボックス幻覚検出器GURIを紹介する。 GURIは18の有向クロスモデル転送のうち17の確率のみのベースラインを上回る。
• 参考スコア（独自算出の注目度）: 26.05667478094713
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models often produce fluent but factually incorrect output. Gray-box detectors identify such hallucinations from the token-probability statistics emitted during generation, avoiding the need for white-box access to hidden states that frontier models do not provide. These detectors, however, typically rely only on probability-derived representations and ignore the identities of the candidate tokens. They can therefore observe how uncertain the model is, but not what it is uncertain about. Consequently, they cannot distinguish between a model that is torn between "big" and "small" and one that is torn between "big" and "huge" when the two pairs receive the same probability distribution. We introduce GURI (Gray-box Uncertainty Representations with Identity), a lightweight gray-box hallucination detector that combines candidate-token probabilities with per-token vector identifiers. This exposes which alternatives the model considered while preserving the accessibility and transferability of the gray-box setting. Across three open-weight models and three question-answering benchmarks, GURI increases mean test ROC-AUC from 72.09% to 79.09% over a probability-only baseline. On the closed-source GPT-4.1 model, mean ROC-AUC increases from 67.39% to 71.84%. Among the three open-weight models, GURI outperforms transferred probability-only baseline in 17 of 18 directed cross-model transfers without fine-tuning. For the three open-weight models, cross-dataset transfer between HotpotQA and TriviaQA with the model held fixed improves mean ROC-AUC over transferred LOS-Net by 3.76 points.
• Abstract（参考訳）: 大規模な言語モデルは、しばしば流動的だが事実的に誤った出力を生成する。 グレーボックス検出器は、生成時に放出されるトークン確率統計からそのような幻覚を識別し、フロンティアモデルが提供しない隠蔽状態へのホワイトボックスアクセスを避ける。 しかし、これらの検出器は一般に確率由来の表現にのみ依存し、候補トークンのアイデンティティを無視する。 したがって、モデルがどの程度不確実かは観察できるが、何について不確実かは観察できない。 したがって、2つのペアが同じ確率分布を受けるとき、「大」と「小」の間に引き裂かれたモデルと「大」と「大」の間に引き裂かれたモデルとを区別することはできない。 本稿では,GURI(Gray-box Uncertainty Representations with Identity)について紹介する。 これは、グレーボックス設定のアクセシビリティと転送可能性を維持しながら、モデルが考慮する代替手段を公開する。 3つのオープンウェイトモデルと3つの質問回答ベンチマークで、GURIは平均テストROC-AUCを72.09%から79.09%に引き上げた。 クローズドソースのGPT-4.1モデルでは、ROC-AUCは67.39%から71.84%に増加した。 3つのオープンウェイトモデルの中で、GURIは微調整なしで18の方向のクロスモデル転送のうち17の確率のみのベースラインを上回ります。 3つのオープンウェイトモデルにおいて,HotpotQAとTriviaQAの相互データセット転送は,移動したLOS-Netを3.76ポイント上回る平均ROC-AUCを改善する。

関連論文リスト

• Probability is Not Enough: Exploring and Counting Divergent Tokens for Reasoning Uncertainty Quantification in LLMs [19.305400976811107]
  大規模言語モデルの信頼性を推定する現在の手法は、一般に選択されたキートークンの確率に基づいている。 2つのモデルが強く反対するトークンを数えることによって信頼性を推定するフレームワークであるDivergent Token Confidence(DTC)を紹介する。
  論文  参考訳（メタデータ） (2026-09-29T17:33:36Z)
• Surrogate Fidelity: When Can Open LLMs Explain Closed Ones? [6.786301369955054]
  予測,属性,表現レベルでの代理的忠実度を評価する。 注意パターンや大きさのようなホワイトボックス信号は、モデル間で非常に安定しているが、因果属性の弱い予測しかできない。
  論文  参考訳（メタデータ） (2026-06-30T17:43:44Z)
• CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
  隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。 ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
  論文  参考訳（メタデータ） (2025-10-02T02:14:33Z)
• Confidence Elicitation: A New Attack Vector for Large Language Models [32.22764815262567]
  数十億のパラメータを持つ大規模言語モデル(LLM)は、以前の小さな言語と同様、敵攻撃に苦しむ。 クローズドソースモデルの導入により、生成された出力とは別に、モデルに関する情報は得られない。 これは、現在のブラックボックス攻撃が最終予測を利用して攻撃が成功したかどうかを検出することを意味する。 本研究は,ブラックボックスアクセスのみを分類した状態で,出力確率を用いた攻撃誘導の可能性について検討し,実証する。
  論文  参考訳（メタデータ） (2025-02-07T04:07:36Z)
• Confidence-Based Model Selection: When to Take Shortcuts for Subpopulation Shifts [119.22672589020394]
  モデル信頼度がモデル選択を効果的に導くことができるConfidence-based Model Selection (CosMoS)を提案する。 我々はCosMoSを,データ分散シフトのレベルが異なる複数のテストセットを持つ4つのデータセットで評価した。
  論文  参考訳（メタデータ） (2023-06-19T18:48:15Z)
• GLENet: Boosting 3D Object Detectors with Generative Label Uncertainty Estimation [70.75100533512021]
  本稿では,対象物の潜在的可算有界箱の多様性として,ラベルの不確実性問題を定式化する。 本稿では,条件付き変分オートエンコーダを応用した生成フレームワークであるGLENetを提案する。 GLENetが生成するラベルの不確実性はプラグアンドプレイモジュールであり、既存のディープ3D検出器に便利に統合することができる。
  論文  参考訳（メタデータ） (2022-07-06T06:26:17Z)
• Tractable Inference in Credal Sentential Decision Diagrams [116.6516175350871]
  確率感性決定図は、解離ゲートの入力が確率値によってアノテートされる論理回路である。 我々は、局所確率を質量関数のクレーダル集合に置き換えることができる確率の一般化である、クレーダル感性決定図を開発する。 まず,ノイズの多い7セグメント表示画像に基づく簡単なアプリケーションについて検討する。
  論文  参考訳（メタデータ） (2020-08-19T16:04:34Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。