Fugu-MT 論文翻訳(概要): POOL: Propagated Uncertainty Over Lookalikes

論文の概要: POOL: Propagated Uncertainty Over Lookalikes

arxiv url: http://arxiv.org/abs/2608.23086v1
Date: Mon, 24 Aug 2026 10:51:44 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-25 13:29:44.022502
Title: POOL: Propagated Uncertainty Over Lookalikes
Title（参考訳）: POOL:外見上の不確かさ
Abstract要約: textscPOOL(emphPropagated Uncertainty Over Lookalikes)は、このトレードオフに対処する費用効率のよいフレームワークです。我々はこのフレームワークをtextscHy@$p$ でインスタンス化する。 textscHy@5は、半分のサンプルをtextscVn@10として使用しながら、動詞の信頼度やtextscVn@10サンプリングよりも平均的なAUROCを達成する。
参考スコア（独自算出の注目度）: 17.512476090072028
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Black-box large language models need confidence scores that can separate likely-correct from likely-incorrect outputs, enabling systems to prioritize human review, route uncertain cases to stronger models, or choose abstention thresholds on development data. Yet existing confidence estimators face a cost-quality trade-off: verbal confidence is cheap but is often overconfident, while sampling-based uncertainty is more informative but scales linearly with the number of samples per query. We propose \textsc{POOL} (\emph{Propagated Uncertainty Over Lookalikes}),a cost-efficient framework that addresses this trade-off taking inspiration from group-testing.\textsc{POOL} clusters query stems with overlaps, evaluates a base estimator on representative medoids, softly propagates confidence scores to nearby queries, and selectively evaluates high-disagreement cases. We instantiate this framework with \textsc{Hy@}$p$, a hybrid estimator that combines verbal confidence with spectral answer diversity computed from the negative von Neumann entropy of sampled answer embeddings.Across six domains from three datasets and five black-box LLMs, \textsc{Hy@}5 achieves higher average AUROC than verbal confidence and \textsc{Vn@}10 sampling while using half as many samples as \textsc{Vn@}10. \textsc{POOL}-\textsc{Hy@}5 retains 93.5--97.9\% of its AUROC while saving 19.3--39.3\% of generations. On paraphrase-dense workloads, generation savings rise to 73-76\%, showing that semantic redundancy can be leveraged to lower confidence-estimation costs.
Abstract（参考訳）: ブラックボックスの大規模言語モデルは、潜在的に誤りの可能性のあるアウトプットを区別する信頼性スコアを必要としており、システムは人間のレビューを優先順位付けしたり、不確実なケースをより強力なモデルにルートしたり、開発データに対する棄権しきい値を選択することができる。しかし、既存の信頼度推定器は、コスト品質のトレードオフに直面している: 言語的信頼は安価だが、しばしば過度に信頼されるが、サンプリングベースの不確実性はより有益であるが、クエリ毎のサンプル数と線形にスケールする。本稿では,グループテストから着想を得て,このトレードオフに対処する費用効率の高いフレームワークであるtextsc{POOL}(\emph{Propagated Uncertainty Over Lookalikes})を提案する。 \textsc{POOL}クラスタクエリは重なり合い、代表的なメドイドに対するベース推定器の評価、付近のクエリへの信頼スコアの軟化、高分解率のケースの選択的評価を行う。このフレームワークを,3つのデータセットと5つのブラックボックス LLM から6つの領域にまたがって,動詞の信頼度よりも平均 AUROC を高くし,また \textsc{Vn@}10 のサンプルの半分を \textsc{Vn@}10 として使用しながら,動詞の信頼度とスペクトルの多様性を組み合わせたハイブリッド推定器である \textsc{Hy@}$p$ でインスタンス化する。 \textsc{POOL}-\textsc{Hy@}5はAUROCの93.5-97.9\%を保持し、19.3-39.3\%を節約している。パラフレーズ依存のワークロードでは、ジェネレーションの節約率は73-76\%に上昇し、セマンティックな冗長性を活用して信頼性推定コストを低減できることを示した。

関連論文リスト

Can You Trust the Confidence? ConfBench for Vision-Language Models on Document Extraction [13.176724997257802]
既存のドキュメントベンチマークはクリーンで高品質なサンプルによって支配されています。鍵情報抽出のための最初のキャリブレーション特化ベンチマークであるConfBenchを紹介する。我々は,言語的および対数確率的信頼度推定法により,プロプライエタリな4つのVLMとオープンウェイトな3つのVLMを評価した。
論文参考訳（メタデータ） (2026-08-03T07:03:51Z)
AB-RAG: Adaptive Budgeted Retrieval-Augmented Generation for Reliable Question Answering [0.0]
AB-RAGはトレーニングフリーでバックボーンに依存しないフレームワークで、答えを生成する。信頼度を3つの信号の組み合わせから推定する。そして、停止するか、より多くの証拠を回収するかを決定する。
論文参考訳（メタデータ） (2026-06-27T21:08:14Z)
The Score Granularity Gap in Black-Box LLM Classification: A Comparative Study of Confidence Constructions [2.5613469613039075]
単発の言語化された信頼度は驚くほど高いが、いくつかの異なる価値しか持たないことを示す。どの構造がこのギャップを広げるか、どの推論コスト、ランキングにどのような影響があるかを示す。これらのトレードオフを具体的なデプロイメントガイダンスに変換します。
論文参考訳（メタデータ） (2026-06-20T18:20:43Z)
A Semi-Supervised Framework for Speech Confidence Detection using Whisper [3.3994598883947496]
本稿では,Whisperエンコーダの深いセマンティック埋め込みを解釈可能な音響特徴ベクトルと融合する半教師付きハイブリッドフレームワークを提案する。地盤の真理データへの依存を軽減するため,不確実性に配慮した擬似ラベル戦略を導入する。実験の結果,提案手法はマクロF1スコアが0.751であり,自己教師付きベースラインよりも優れていた。
論文参考訳（メタデータ） (2026-05-12T16:50:54Z)
Locally Confident, Globally Stuck: The Quality-Exploration Dilemma in Diffusion Language Models [52.61023005303122]
低信頼度再マッシングは、誘導配列分布のエントロピーを制約しながら、品質のプロキシを改善することを示す。我々は,デコード時に,この分布をほぼ対象とする簡易なインディペンデント・ハスティングス・サンプリング器を開発した。
論文参考訳（メタデータ） (2026-04-01T02:01:30Z)
Know When You're Wrong: Aligning Confidence with Correctness for LLM Error Detection [0.0]
大規模言語モデル(LLM)は、ますます重要な意思決定システムにデプロイされている。出力アンカートークン確率に基づく正規化信頼スコアを導入する。これにより、最小限のオーバーヘッドでエラーや幻覚を直接検出できる。
論文参考訳（メタデータ） (2026-02-18T07:05:12Z)
Mind the Generation Process: Fine-Grained Confidence Estimation During LLM Generation [63.49409574310576]
大規模言語モデル(LLM)は自信過剰を示し、信頼度の高いスコアを誤った予測に割り当てる。本研究では,テキスト生成中に高精度できめ細かな信頼スコアを提供する信頼度推定手法であるFineCEを紹介する。論文で使用されたコードとすべてのベースラインはGitHubで公開されている。
論文参考訳（メタデータ） (2025-08-16T13:29:35Z)
Confidence Aware Learning for Reliable Face Anti-spoofing [52.23271636362843]
本稿では,その能力境界を意識した信頼認識顔アンチスプーフィングモデルを提案する。各サンプルの予測中にその信頼性を推定する。実験の結果,提案したCA-FASは予測精度の低いサンプルを効果的に認識できることがわかった。
論文参考訳（メタデータ） (2024-11-02T14:29:02Z)
A3Rank: Augmentation Alignment Analysis for Prioritizing Overconfident Failing Samples for Deep Learning Models [2.6499018693213316]
拡張アライメント解析を用いた新しいテストケース優先順位付け手法を提案する。 A3$Rankは、信頼ベースのリジェクタのチェックから逃れた失敗するサンプルを効果的にランク付けすることができる。また、これらの故障したサンプルを保護するために、これらのリジェクタを増強する専用の検出器を構築するためのフレームワークも提供する。
論文参考訳（メタデータ） (2024-07-19T08:32:10Z)
Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文参考訳（メタデータ） (2024-06-05T16:35:30Z)
Just Ask for Calibration: Strategies for Eliciting Calibrated Confidence Scores from Language Models Fine-Tuned with Human Feedback [91.22679548111127]
信頼できる現実世界の予測システムは、よく校正された信頼スコアを生成するべきである。出力トークンとして出力される言語的信頼度は、通常、モデルの条件付き確率よりも良く校正されていることを示す。
論文参考訳（メタデータ） (2023-05-24T10:12:33Z)
An evaluation of word-level confidence estimation for end-to-end automatic speech recognition [70.61280174637913]
エンドツーエンド自動音声認識(ASR)における信頼度推定の検討 4つのよく知られた音声データセットにおける信頼度手法の広範なベンチマークを提供する。以上の結果から,ロジットを学習温度でスケーリングすることで,強いベースラインが得られることが示唆された。
論文参考訳（メタデータ） (2021-01-14T09:51:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。