Fugu-MT 論文翻訳(概要): Localize-Then-Decide Guarantees for LLM Judgments

論文の概要: Localize-Then-Decide Guarantees for LLM Judgments

arxiv url: http://arxiv.org/abs/2608.25824v1
Date: Wed, 26 Aug 2026 14:04:37 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-27 14:15:15.854034
Title: Localize-Then-Decide Guarantees for LLM Judgments
Title（参考訳）: LLM判断のための局部的決定保証
Abstract要約: 大規模言語モデル(LLM)は、出力品質と好みのアライメントを評価するための評価器として、ますます使われている。そこで我々は,高確率な合意保証を実現するためのLocalize-Then-Decideフレームワークを提案する。我々のフレームワークは、一段のベースラインよりも高い保証成功率とかなり高いカバレッジを継続的に達成します。
参考スコア（独自算出の注目度）: 20.020682117057238
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large language models (LLMs) are increasingly used as evaluators to assess output quality and preference alignment, yet providing reliable guarantees of agreement with human judgments remains challenging. Recent work introduces confidence-thresholding methods that provide such guarantees for pairwise comparisons, relying on the assumption that higher estimated confidence implies lower disagreement risk with humans. However, this assumption can break down when the number of candidate responses increases, since distributing probability mass across many alternatives can distort confidence estimates. To address this issue, we propose a Localize-Then-Decide framework. First, conformal prediction localizes a small shortlist that contains the human-preferred response with high probability. Then, a calibrated confidence-based rule selectively chooses a single response from this shortlist or abstains. This design restores the monotonic relationship between confidence and disagreement risk and enables high-probability agreement guarantees. Experiments with multiple candidate sizes across several datasets and judge LLMs demonstrate that our framework consistently achieves higher guarantee success rates and substantially higher coverage than single-stage baselines.
Abstract（参考訳）: 大規模言語モデル (LLM) は、出力品質と嗜好の整合性を評価するための評価器としてますます使われているが、人間の判断との整合性を保証することは困難である。近年の研究では、高い信頼度が人間との意見の不一致のリスクを減少させるという仮定に依拠して、ペア比較の保証を提供する信頼維持手法が導入されている。しかし、この仮定は、多くの選択肢にまたがる確率質量の分布が信頼推定を歪ませる可能性があるため、候補応答の数が増えると崩壊する可能性がある。この問題に対処するため,我々はLocalize-Then-Decideフレームワークを提案する。第一に、共形予測は、高い確率でヒトが優先する応答を含む小さなショートリストをローカライズする。そして、キャリブレーションされた信頼ベースのルールは、このショートリストから1つの応答を選択的に選択するか、棄権するかを選択する。この設計は、信頼と不一致リスクのモノトニックな関係を復元し、高い確率の合意を保証する。複数のデータセットにまたがる複数の候補サイズの実験とLCMの判断により、我々のフレームワークは一貫して高い保証成功率と、シングルステージベースラインよりもかなり高いカバレッジを実現している。

関連論文リスト

Uncertainty-Aware Abstention in Large Language Models with Provable Alignment Guarantees [0.5371337604556311]
大規模言語モデル (LLM) は質問応答システム (QA) に徐々にデプロイされている。信頼度を見積もることなく、幻覚または不一致の応答を生成することができる。我々は、任意の不確実性スコアをリスク制御された選択応答規則に変換する信頼区間に基づくキャリブレーションフレームワークであるCICを提案する。
論文参考訳（メタデータ） (2026-07-05T17:50:32Z)
Margin-Adaptive Confidence Ranking for Reliable LLM Judgement [19.892445164810987]
Jung et al. (2025)は、大きな言語モデルと人間の判断の一致を保証する仮説テストフレームワークを導入した。我々は、信頼信号に頼るのではなく、専用の信頼度推定器を学ぶ。固定シーケンステストに統合されると、学習された信頼度推定器はランキング精度を改善し、信頼度と不一致リスクの間の単調な関係を実証的に強化する。
論文参考訳（メタデータ） (2026-05-14T21:01:05Z)
ORCE: Order-Aware Alignment of Verbalized Confidence in Large Language Models [17.761630515662947]
本稿では,言語的信頼度校正のための疎結合・秩序対応フレームワークを提案する。提案手法は,まず回答を生成し,固定された質問対に条件付き信頼度を推定する。実験により,本手法は解答精度を大きく保ちながらキャリブレーションと故障予測性能を向上させることが示された。
論文参考訳（メタデータ） (2026-05-12T17:39:43Z)
Less Approximates More: Harmonizing Performance and Confidence Faithfulness via Hybrid Post-Training for High-Stakes Tasks [52.81286869496811]
大規模な言語モデルは、自信を持って不正確な推論が現実世界の害を引き起こすような、ハイテイクなタスクにますますデプロイされている。内的フィードバックからの教師なし強化学習と推論・トラス誘導型推論蒸留を併用して協調的に最適化することを提案する。 PRG方式のメトリクスを用いてRDとRLIFを適応的に重み付けするハイブリッドポストトレーニングフレームワークであるHyTuningを紹介する。
論文参考訳（メタデータ） (2026-04-09T16:50:11Z)
Confidence Before Answering: A Paradigm Shift for Efficient LLM Uncertainty Estimation [47.91529693614168]
既存の方法は、主に回答ファーストであり、回答を生成した後のみ信頼を生み出す。モデルが答える前に信頼を出力する信頼第一パラダイムについて検討し、このスコアを正解する確率として解釈する。我々は,信頼度校正と正解精度をセグメント化された信用代入を通じて協調的に最適化する強化学習フレームワークであるCoCAを提案する。
論文参考訳（メタデータ） (2026-03-06T04:03:13Z)
Calibrating Verbalized Confidence with Self-Generated Distractors [24.56911906044891]
DINCO(Distractor-Normalized Coherence)を紹介する。 DINCOは、LLMの予測可能性バイアスを推定し、いくつかの自己生成障害に対してモデルに独立して信頼性を持たせることによって説明している。我々は、自己整合性の一般的なアプローチを、サンプル世代間でのコヒーレンスを活用すること、および非互換なクレーム上での検証におけるコヒーレンスを活用することとして、言語化された信頼を正規化したものである。
論文参考訳（メタデータ） (2025-09-29T21:41:22Z)
Can Large Language Models Express Uncertainty Like Human? [71.27418419522884]
我々は,人間に注釈を付けた信頼スコアを持つヘッジ式の最初の多種多様な大規模データセットをリリースする。現代大言語モデルにまたがる言語信頼に関する最初の体系的研究を行う。
論文参考訳（メタデータ） (2025-09-29T02:34:30Z)
Mind the Generation Process: Fine-Grained Confidence Estimation During LLM Generation [63.49409574310576]
大規模言語モデル(LLM)は自信過剰を示し、信頼度の高いスコアを誤った予測に割り当てる。本研究では,テキスト生成中に高精度できめ細かな信頼スコアを提供する信頼度推定手法であるFineCEを紹介する。論文で使用されたコードとすべてのベースラインはGitHubで公開されている。
論文参考訳（メタデータ） (2025-08-16T13:29:35Z)
COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
論文参考訳（メタデータ） (2025-06-25T07:04:49Z)
Trust or Escalate: LLM Judges with Provable Guarantees for Human Agreement [49.15348173246146]
人間の合意を厳格に保証したLCMに基づく評価を提供するための原則的アプローチを提案する。まず、信頼度評価手法は、ペア評価にモデル選好を不クリティカルに頼ってはならないことを提案する。そして、この選択的な評価枠組みの下で、人的合意が確実に保証されることを示す。
論文参考訳（メタデータ） (2024-07-25T20:04:59Z)
When to Trust LLMs: Aligning Confidence with Response Quality [49.371218210305656]
我々はconfidence-Quality-ORDer保存アライメントアプローチ(CONQORD)を提案する。品質報酬と秩序保存アライメント報酬機能を統合する。実験により,CONQORDは信頼性と応答精度のアライメント性能を著しく向上することが示された。
論文参考訳（メタデータ） (2024-04-26T09:42:46Z)
Think Twice Before Trusting: Self-Detection for Large Language Models through Comprehensive Answer Reflection [90.71323430635593]
本稿では, LLM生成解を超える包括的解答空間を考察した, 新たな自己検出パラダイムを提案する。このパラダイムに基づいて、2段階のフレームワークを導入し、まずまずLLMに各候補の回答を反映し、正当化するように指示する。このフレームワークは、優れた自己検出のための既存のアプローチとシームレスに統合できる。
論文参考訳（メタデータ） (2024-03-15T02:38:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。