論文の概要: When Do Supervised UQ Ensembles Improve LLM Hallucination Detection? A Robustness Study

• arxiv url: http://arxiv.org/abs/2608.24492v1
• Date: Tue, 25 Aug 2026 12:43:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.986573
• Title: When Do Supervised UQ Ensembles Improve LLM Hallucination Detection? A Robustness Study
• Title（参考訳）: 監視されたUQアンサンブルはLLM幻覚検出を改善するか? : ロバストネススタディ
• Abstract要約: 大規模言語モデル(LLM)における幻覚検出には、不確かさ定量化(UQ)法が広く用いられている。 不均一なUQベースのスコアラー出力に対して、分類器を訓練する教師付きアンサンブルフレームワークについて検討する。 教師付きアンサンブルは32設定中30のスコアで最高のスコアを上回り、100のラベル付きインスタンスからゲインを得られることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Uncertainty quantification (UQ) methods are widely used for hallucination detection in large language models (LLMs) in closed-book settings where ground-truth evidence is unavailable at inference time. Prior work has proposed combining UQ signals via learned ensembles, but empirical investigations into the robustness of these ensembles are limited. We study a supervised ensembling framework that trains a classifier over heterogeneous UQ-based scorer outputs on a small, domain-specific dataset of labeled LLM responses, then applies it to out-of-sample hallucination classification without retrieval, tools, or reference documents. Across four LLMs, nine datasets, and three generation regimes (short-form QA, long-form generation, and code generation), we provide a systematic robustness analysis along three axes: sample efficiency, in-domain dataset transfer, and generation regime dependence. We find that supervised ensembles outperform the best individual scorer in 30 of 32 settings, with gains realized from as few as 100 labeled instances. Ensembles retain most of their advantage in cases of in-domain transfer under distribution shift, outperforming the best non-ensemble scorer in 23 of 28 transfer settings. Sampling-based black-box ensembles are nearly as effective as full ensembles, while single-generation white-box ensembles offer limited benefit.
• Abstract（参考訳）: 不確かさ定量化(UQ)法は,大規模言語モデル (LLM) における幻覚検出に広く用いられている。 以前の研究では、学習アンサンブルによるUQ信号の組み合わせが提案されていたが、これらのアンサンブルの堅牢性に関する実証的研究は限られている。 我々は,ラベル付きLDM応答の小さな領域固有のデータセット上で,不均一なUQベースのスコアラー出力に対して分類器を訓練する教師付きアンサンブルフレームワークについて検討し,検索やツール,参照文書を使わずに幻覚分類に適用する。 4つのLCM、9つのデータセット、および3つの世代体制(ショートフォームQA、ロングフォーム生成、コード生成)にまたがって、サンプル効率、ドメイン内データセット転送、生成状態依存という3つの軸に沿って体系的なロバストネス分析を提供する。 教師付きアンサンブルは32設定中30のスコアで最高のスコアを上回り、100のラベル付きインスタンスからゲインを得られることがわかった。 アンサンブルは、分配シフト中のドメイン内の転送において、その利点の大部分を保ち、28の転送設定のうち23の非アンサンブルスコアよりも優れている。 サンプリングベースのブラックボックスアンサンブルはフルアンサンブルと同じくらい効果的であるが、単一世代のホワイトボックスアンサンブルは限られた利益をもたらす。

関連論文リスト

• Unsupervised Transfer Clustering for Mitigating Cold Start in Active Prompt Learning [1.5539424546888112]
  VLM(Vision-Language Models)は、視覚的およびテキスト的表現を整列させることで、印象的なゼロショット分類性能を達成することができる。 新しいタスクには手作りのプロンプトがまだ必要だ。 Active Prompt Learning(APL)は、Active Learning(AL)とPrompt Learning(PL)を1つのフレームワークに統合する。
  論文  参考訳（メタデータ） (2026-09-04T18:14:44Z)
• LLM-based Schema-Guided Extraction and Validation of Missing-Person Intelligence from Heterogeneous Data Sources [0.7734726150561088]
  行方不明者や子どもの安全に関する調査は、構造化フォーム、掲示板スタイルのポスター、物語ウェブプロファイルなど、異種ケース文書に依存している。 レイアウト、用語、データ品質の変化は、急激なトリアージ、大規模分析、探索計画を妨げる。 本稿では、AIによる解析および正規化パイプラインであるGuardian Packを紹介し、マルチソース調査文書を統一されたスキーマ準拠の表現に変換する。
  論文  参考訳（メタデータ） (2026-04-08T01:35:56Z)
• Benchmarking Few-shot Transferability of Pre-trained Models with Improved Evaluation Protocols [123.73663884421272]
  より強力な事前訓練モデルと改良された適応アルゴリズムによって、わずかなショット転送が革新されている。 FEWTRANSは10種類のデータセットを含む総合的なベンチマークである。 FEWTRANS をリリースすることにより,数発の転写学習研究において再現性の向上を合理化するための厳密な "ルーラー" の提供を目指す。
  論文  参考訳（メタデータ） (2026-02-28T05:41:57Z)
• Fine-Grained Uncertainty Quantification for Long-Form Language Model Outputs: A Comparative Study [0.0]
  長周期LLM出力におけるきめ細かい不確実性定量化のための分類法を提案する。 一貫性に基づくブラックボックススコアラーのいくつかのファミリを形式化し、既存のメソッドの一般化と拡張を提供する。 2)クレームレベルのスコアリングは一般的に文レベルのスコアリングよりも優れた結果が得られ,3)不確実性を考慮したデコーディングは,長文形式のアウトプットの事実性向上に極めて有効である。
  論文  参考訳（メタデータ） (2026-02-19T15:02:29Z)
• Test-time Verification via Optimal Transport: Coverage, ROC, & Sub-optimality [53.03186946689658]
  検証によるテストタイムのスケーリングは、大規模言語モデルのパフォーマンス向上を約束している。 検証の効果は、(i)ジェネレータのカバレッジ、(ii)検証器の収束領域(ROC)、(iii)サンプリングアルゴリズムの準最適性の3つの相互作用を通して現れる。 本稿では,輸送問題として検証可能なテストタイムスケーリングの枠組みを定め,カバレッジ,ROC,サブ最適性の相互作用を特徴付ける。
  論文  参考訳（メタデータ） (2025-10-21T18:05:42Z)
• Learned Hallucination Detection in Black-Box LLMs using Token-level Entropy Production Rate [0.19676943624884313]
  大きな言語モデル(LLM)における幻覚は、質問回答タスクの出力が現実世界の信頼性を著しく損なう。 本稿では,データアクセスに制限のあるシナリオに特化して設計された,ロバストでワンショットの幻覚検出のための応用手法を提案する。 提案手法は,非グリーディ復号時に生成したこれらのログ確率から直接不確実性指標を導出する。
  論文  参考訳（メタデータ） (2025-09-01T13:34:21Z)
• Uncertainty Quantification for Language Models: A Suite of Black-Box, White-Box, LLM Judge, and Ensemble Scorers [0.0]
  幻覚はLarge Language Models(LLM)における永続的な問題である 実践者が実世界のユースケースに適用できるゼロリソース幻覚検出のための多用途フレームワークの概要を述べる。 柔軟性を高めるために,個々の信頼度スコアの組み合わせを組み込んだ調整可能なアンサンブルアプローチを提案する。
  論文  参考訳（メタデータ） (2025-04-27T14:24:45Z)
• Project-Probe-Aggregate: Efficient Fine-Tuning for Group Robustness [61.45587642780908]
  画像テキスト基礎モデルのパラメータ効率向上のための3段階のアプローチを提案する。 本手法は, マイノリティ標本同定とロバストトレーニングアルゴリズムの2つの重要な要素を改良する。 我々の理論分析は,PPAが少数群の識別を向上し,バランスの取れたグループエラーを最小限に抑えるためにベイズが最適であることを示している。
  論文  参考訳（メタデータ） (2025-03-12T15:46:12Z)
• Add-One-In: Incremental Sample Selection for Large Language Models via a Choice-Based Greedy Paradigm [50.492124556982674]
  本稿では,新しい選択型サンプル選択フレームワークを提案する。 個々のサンプル品質の評価から、異なるサンプルのコントリビューション値の比較へと焦点をシフトする。 われわれのアプローチをより大きな医療データセットで検証し、現実の応用における実用性を強調した。
  論文  参考訳（メタデータ） (2025-03-04T07:32:41Z)
• A Systematic Examination of Preference Learning through the Lens of Instruction-Following [83.71180850955679]
  新たな合成データ生成パイプラインを用いて48,000の命令追従プロンプトを生成する。 合成プロンプトでは、リジェクションサンプリング(RS)とモンテカルロ木探索(MCTS)の2つの選好データセットキュレーション手法を用いる。 実験により、MCTSが生成した選好ペアにおける共有プレフィックスは、限界はあるが一貫した改善をもたらすことが明らかになった。 高コントラストの選好ペアは一般的に低コントラストのペアよりも優れているが、両者を組み合わせることで最高のパフォーマンスが得られることが多い。
  論文  参考訳（メタデータ） (2024-12-18T15:38:39Z)
• A Framework for Fine-Tuning LLMs using Heterogeneous Feedback [69.51729152929413]
  ヘテロジニアスフィードバックを用いた大規模言語モデル(LLM)の微調整フレームワークを提案する。 まず、不均一なフィードバックデータをSFTやRLHFなどの手法と互換性のある単一の監視形式にまとめる。 次に、この統合されたフィードバックデータセットから、性能向上を得るために高品質で多様なサブセットを抽出する。
  論文  参考訳（メタデータ） (2024-08-05T23:20:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。