論文の概要: Neighborhood Elites: Quality-Diversity Search for Uncertainty Quantification in Question Answering
- arxiv url: http://arxiv.org/abs/2610.40278v1
- Date: Thu, 29 Oct 2026 15:32:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-01 01:32:10.107083
- Title: Neighborhood Elites: Quality-Diversity Search for Uncertainty Quantification in Question Answering
- Title（参考訳）: 近隣のエリート:質問応答における不確実性定量化のための品質多様性探索
- Abstract要約: 大規模言語モデルは、正しい解と区別できない間違った解を生成する。
摂動に基づく不確実性定量化は、入力書き直しのセット上でモデルを探索することでこの問題に対処する。
本研究では,2つの軸に回答保存リライトを広げる近隣コンストラクタであるEmphneighborhood elites (NE)を提案する。
- 参考スコア（独自算出の注目度）: 3.376844646279808
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large language models (LLMs) are increasingly capable, yet they produce wrong answers indistinguishable from correct ones. In question answering (QA), such an error propagates unnoticed into downstream tasks. Perturbation-based uncertainty quantification (UQ) addresses this by probing a model over a set of input rewrites and reading uncertainty from how much its predictions vary. Yet this set is usually built generically, by free paraphrasing, token-level perturbation, or adversarial search. Such rewrites leave two things uncontrolled that matter in QA: what kind of change is made to the context, and how explicitly the context supports the answer. When neither is controlled, the composition of the set is determined by the generator rather than by design, and the estimate inherits whatever that generator happens to produce. Quality-diversity (QD) search is built to cover a predefined exploration space, so we recast input perturbation as a QD problem and propose \emph{neighborhood elites (NE)}, a neighborhood constructor that spreads answer-preserving rewrites across two axes, the kind of edit and the explicitness of support. We compare NE against three other neighborhood constructors, holding the editor, QA model, uncertainty measure and search objective fixed, and against three scores read from the original context. Across five extractive-QA datasets and five instruction-tuned LLMs, NE improves failure detection against every other constructor in at least 24 of the 25 dataset-model pairs, reaching 0.726 AUROC and 0.211 AUPRC lift over the base rate. Additionally, NE detects failure better than semantic entropy computed over decoder samples, by 0.074 AUROC and 0.062 AUPRC lift, and this advantage widens as the neighborhood grows.
- Abstract（参考訳）: 大規模言語モデル(LLM)はますます有能になるが、正しいものとは見分けがつかなくなる。
質問応答(QA)では、そのようなエラーは下流のタスクに通知されない。
摂動に基づく不確実性定量化(UQ)は、入力書き直しのセットにモデルを探索し、その予測がどの程度異なるかから不確実性を読み取ることによって、この問題に対処する。
しかし、この集合は通常、フリーパラフレーズ、トークンレベルの摂動、あるいは逆探索によって構築される。
このような書き直しは、QAで重要なことをコントロールしていない2つのことを残します。
どちらも制御されない場合、セットの構成は設計ではなくジェネレータによって決定され、見積もりはそのジェネレータが生成したものを継承する。
品質多様性(QD)探索は,事前定義された探索空間をカバーするために構築され,入力摂動をQD問題として再放送し,回答保存リライトを2つの軸に広げる近隣コンストラクタである「emph{neighborhood elites(NE)」を提案する。
NEはエディタ,QAモデル,不確実性尺度,探索対象を固定し,元の文脈から読み取った3つのスコアと比較する。
5つの抽出QAデータセットと5つの命令チューニングLDMに対して、NEは25のデータセットモデルペアのうち少なくとも24の他のコンストラクタに対する障害検出を改善し、ベースレートを超える0.726 AUROCと0.211 AUPRCリフトに達した。
さらに、NEはデコーダサンプル上で計算されたセマンティックエントロピーよりも、0.074 AUROCと0.062 AUPRCリフトの故障を検知し、この利点は近隣が大きくなるにつれて拡大する。
関連論文リスト
- Never the Number: Structural Abstention for AI Systems Whose Answers Are Consumed as Fact [0.0]
大規模言語モデルは、データベースに対する自然言語インターフェースを新たに信頼できるものにしたが、キャリブレーションされたテキストから集約されたシステムは、デプロイメントにおいて重要な方法で失敗している。
本稿では、生成シェルを持つ信頼カーネルである、そのようなシステムのためのアーキテクチャパターンを1つの不変量に基づいて提案する。
生成シェルは入力とフレーズの応答を解釈し、決定論的カーネルは、完全に指定された質問と解答可能な質問形状の有界集合とを一致させる。
この2つは、ユーザが何らかの値が計算される前に読む確認で一致し、カーネルが表現できない要求は、近似されるよりも減少する。
論文 参考訳（メタデータ） (2026-08-14T03:53:21Z) - Diversity is Not Ambiguity: Toward Accurate and Efficient Ambiguity Detection for Open-Domain QA [20.772897408550275]
本稿では,論理的衝突によるあいまいさを検出するフレームワークARCHIVEを提案する。
ARCHIVEは、表面検出可能なケースのための軽量の早期出力エンコーダとコンフリクト推論モジュールを組み合わせる。
実験の結果、ARCHIVEはライバルより優れており、F1アンブは最大10.4%、F1アンブは最大21.6%向上している。
論文 参考訳（メタデータ） (2026-08-04T06:13:41Z) - The Role of Ambiguity in Error Prediction via Uncertainty Quantification [6.973934615085226]
本稿では,UQ信号からの入力あいまいさを解消し,Large Language Models(LLMs)の誤り予測を改善する手法を提案する。
質問回答(QA)を6つのUQ指標を用いて実施し、UQ指標が複数の答えを持つ質問よりも曖昧なインスタンス上のエラーを予測可能であることを示す。
論文 参考訳（メタデータ） (2026-06-01T11:20:57Z) - Knowledge Dependency Estimation for Reliable Question Answering [11.800158247203312]
我々はemphknowledge依存性の推定について研究する
構造化されたランク認識型知識依存度推定器である textbfKnot を提案する。
論文 参考訳（メタデータ） (2026-05-27T06:48:57Z) - The Deterministic Horizon: Impossibility Results as Design Specifications for Trustworthy AI Systems [0.0]
この論文は、好奇心から不合理性の結果を設計規則に変える。
そのフラッグシップとなる結果は、アーキテクチャだけで設定された精度の高い天井を証明している。
同じ引数がサブフィールドにまたがって再キャストされる。
論文 参考訳（メタデータ） (2026-05-21T20:48:35Z) - The Illusion of Certainty: Uncertainty quantification for LLMs fails under ambiguity [48.899855816199484]
そこで本研究では,第1の曖昧な質問応答(QA)データセットであるMAQA*とAmbigQA*を紹介する。
予測分布とアンサンブルに基づく推定器は、あいまいさの下では基本的に限定的であることを示す。
論文 参考訳（メタデータ） (2025-11-06T14:46:35Z) - Sample Smart, Not Hard: Correctness-First Decoding for Better Reasoning in LLMs [72.82403830490084]
我々は、復号規則は正確さによって校正されるべきであり、自信だけではならないと論じている。
Greedy-Threshold はこの目標を達成するための単純な戦略を提案します。
この結果から,不確実性の下での復号化が問題視され,数学や一般推論のベンチマークで有意な差がみられた。
論文 参考訳（メタデータ） (2025-10-07T14:46:12Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z) - Certainly Uncertain: A Benchmark and Metric for Multimodal Epistemic and Aleatoric Awareness [106.52630978891054]
視覚言語AIシステムに特有の不確実性の分類法を提案する。
また、精度と校正誤差の両方によく相関する新しい計量信頼度重み付き精度を導入する。
論文 参考訳（メタデータ） (2024-07-02T04:23:54Z) - Uncertainty-aware Language Modeling for Selective Question Answering [107.47864420630923]
本稿では,不確実性を考慮したLLMを生成するLLM変換手法を提案する。
我々のアプローチはモデルとデータに依存しず、計算効率が高く、外部モデルやシステムに依存しない。
論文 参考訳（メタデータ） (2023-11-26T22:47:54Z) - Robust Question Answering Through Sub-part Alignment [53.94003466761305]
我々はアライメント問題として質問応答をモデル化する。
私たちは、SQuAD v1.1でモデルをトレーニングし、いくつかの逆および外ドメインデータセットでそれをテストします。
論文 参考訳（メタデータ） (2020-04-30T09:10:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。