論文の概要: Density Ridge Selective Prediction for LLM and VLM Hallucination Detection under Calibration Label Scarcity
- arxiv url: http://arxiv.org/abs/2606.10198v2
- Date: Wed, 10 Jun 2026 01:25:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-11 14:23:44.38045
- Title: Density Ridge Selective Prediction for LLM and VLM Hallucination Detection under Calibration Label Scarcity
- Title(参考訳): キャリブレーション実験によるLLMおよびVLM幻覚検出のための密度リッジ選択予測
- Authors: Nina I. Shamsi,
- Abstract要約: 大規模言語と視覚言語モデルにおける幻覚検出は、選択的な予測としてますますフレーム化されている。
教師なしサンプリング検出器(セマンティックエントロピー)はラベルは避けるが、質は高い。
監督型プローブは、キャリブレーションラベルが不足している場合には、より強力な分布スコアを得るが、急激に劣化する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Hallucination detection in large language and vision-language models is increasingly framed as selective prediction, where a detector assigns a confidence score and abstains when confidence is low. Unsupervised sampling detectors (Semantic Entropy) avoid labels but plateau in quality, while supervised probes attain stronger in-distribution scores yet degrade sharply when calibration labels are scarce. We recover the response manifold of an LLM as the density ridge of a kernel density estimate built on a six-dimensional kinematic feature map of hidden state generation trajectories. A test generation is scored by the negated Euclidean distance from its projected feature point to the nearest ridge vertex, yielding a low-dimensional geometric skeleton of the stochastic output distribution. We evaluate against Semantic Entropy, topological methods, and log-probability on six QA benchmarks (HaluEval-QA, TriviaQA, GSM8K, POPE, ScienceQA, A-OKVQA) using eight text and vision LLMs in a deliberately label-scarce protocol ($n_{\text{cal}}{=}200$ queries, $N{=}5$ generations). Our ridge-based score beats on AUROC with 5-20 points gain, while demonstrating tempered degradation under calibration-label scarcity.
- Abstract(参考訳): 大規模言語と視覚言語モデルにおける幻覚検出は、信頼度スコアを割り当て、信頼度が低い場合には無視するという選択的な予測として、ますますフレーム化されている。
教師なしサンプリング検出器(Semantic Entropy)はラベルは避けるが、教師付きプローブはキャリブレーションラベルが不足する場合には、より強力な分配スコアを得る。
隠れ状態生成軌道の6次元キネマティック特徴写像上に構築されたカーネル密度推定値の密度リッジとしてLLMの応答多様体を復元する。
テスト生成は、投影された特徴点から最も近い尾根頂点までの負のユークリッド距離によってスコアされ、確率出力分布の低次元の幾何学的骨格が得られる。
本研究では,6つのQAベンチマーク(HaluEval-QA,TriviaQA,GSM8K,POPE,ScienceQA,A-OKVQA)に対して,意図的にラベルスカースプロトコル(n_{\text{cal}}{=}200$クエリ,$N{=}5$ジェネレーション)を用いてセマンティックエントロピー,トポロジカル手法,対数確率,対数確率を評価する。
AUROCでは5~20ポイント上昇し, キャリブレーション・ラベルの不足下での温度劣化を示した。
関連論文リスト
- Reading Calibrated Uncertainty from Language Model Trajectories [46.663987199083245]
モデルの内部アクティベーションを調査する手法は、生の隠れた状態を不透明なスナップショットにフィードし、表現が形成される層回りの軌跡を暗黙的に残す。
我々は11のスケール不変な幾何学的特徴を抽出し、層ごとの更新の累積経路をトレースし、それらをスパース線形プローブに供給する。
このプローブは、最大21のAURCポイントでベースラインスケーリングを行い、選択的な棄権下でMPPより優れる。
論文 参考訳(メタデータ) (2026-05-19T19:24:29Z) - Mind the Unseen Mass: Unmasking LLM Hallucinations via Soft-Hybrid Alphabet Estimation [1.1230191950153754]
ブラックボックスアクセス下の大規模言語モデルの不確実性定量化について検討する。
効果的な意味的アルファベットサイズ - すなわち、サンプルされた応答で表される異なる意味の数 - を推定すると、下流のリスクに有用なプロキシを提供する。
そこで我々は,Good-Turingカバレッジと正規化ラプラシアンの熱カーネルトレースを組み合わせた簡易かつ解釈可能な推定器SHADEを提案する。
論文 参考訳(メタデータ) (2026-04-21T07:16:05Z) - Sharpness-aware Dynamic Anchor Selection for Generalized Category Discovery [61.694524826522205]
既知のクラスのラベル付きデータを考えると、GCDは既知のクラスと未知のクラスの両方を含むラベルなしデータをクラスタ化することを目的としている。
大規模な事前学習モデルでは、特定の視覚的パターンが好まれ、ラベルのないデータに対して刺激的な相関を符号化する。
LSP(Los Sharpness Penalty)とDAS(Dynamic Anchor Selection)の2つのモジュールを含む新しい手法を提案する。
論文 参考訳(メタデータ) (2025-12-15T02:24:06Z) - Reliable Active Learning from Unreliable Labels via Neural Collapse Geometry [5.1511135538176]
アクティブラーニング(AL)は、情報的なサンプルを優先順位付けすることでアノテーションのコストを削減することを約束するが、ラベルがうるさい場合やデータ分散がシフトした場合、その信頼性は低下する。
本稿では,深層ネットワークの創発的幾何学的規則性を活用し,信頼できない監視に対処するフレームワークである能動学習(NCAL-R)を提案する。
論文 参考訳(メタデータ) (2025-10-10T17:50:31Z) - CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。
ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
論文 参考訳(メタデータ) (2025-10-02T02:14:33Z) - Sparse Generation: Making Pseudo Labels Sparse for Point Weakly Supervised Object Detection on Low Data Volume [2.3567948266496774]
従来の擬似ラベル生成手法は、低データボリュームや高密度オブジェクト検出タスクでは不十分である。
弱教師付き擬似ラベルの生成をモデルのスパース出力とみなし、擬似ラベルをスパースにするための解決策としてスパース生成を提案する。
論文 参考訳(メタデータ) (2024-03-28T10:42:49Z) - Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。
我々はLSMに答えを自己評価するように指示する。
自己評価に基づくスコアリング手法をベンチマークする。
論文 参考訳(メタデータ) (2023-12-14T19:09:22Z) - DSLA: Dynamic smooth label assignment for efficient anchor-free object
detection [18.043176234010517]
アンカーフリー検出器は、基本的にオブジェクト検出を密な分類と回帰として定式化する。
局所化の質を推定するために、個別の予測分岐を導入するのが一般的である。
分類と品質評価の実践を掘り下げると、以下の矛盾が観測される。
論文 参考訳(メタデータ) (2022-08-01T12:56:44Z) - GLENet: Boosting 3D Object Detectors with Generative Label Uncertainty Estimation [70.75100533512021]
本稿では,対象物の潜在的可算有界箱の多様性として,ラベルの不確実性問題を定式化する。
本稿では,条件付き変分オートエンコーダを応用した生成フレームワークであるGLENetを提案する。
GLENetが生成するラベルの不確実性はプラグアンドプレイモジュールであり、既存のディープ3D検出器に便利に統合することができる。
論文 参考訳(メタデータ) (2022-07-06T06:26:17Z) - Rethinking Pseudo Labels for Semi-Supervised Object Detection [84.697097472401]
物体検出に適した確実な擬似ラベルを導入する。
我々は,クラス不均衡問題を緩和するために,各カテゴリの擬似ラベルと再重み付き損失関数を生成するために使用する閾値を動的に調整する。
提案手法では,COCOのラベル付きデータのみを用いて,教師付きベースラインを最大10%改善する。
論文 参考訳(メタデータ) (2021-06-01T01:32:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。