論文の概要: Semantic Uncertainty Quantification Needs Factual Equivalence

• arxiv url: http://arxiv.org/abs/2609.34967v1
• Date: Mon, 28 Sep 2026 11:48:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:28:03.512438
• Title: Semantic Uncertainty Quantification Needs Factual Equivalence
• Title（参考訳）: 意味的不確かさの定量化は現実的等価性を必要とする
• Abstract要約: 大きな言語モデルのセマンティック不確実性は、共通のテンプレートにあります。 このテンプレートを,2つの回答を比較する演算子とアグリゲータという,2つの異なる役割として形式化する。 セマンティックUQの主なボトルネックは、既成の演算子に依存することにある。
• 参考スコア（独自算出の注目度）: 10.212763020484092
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Semantic uncertainty quantification for large language models rests on a common template: sample several answers, measure how much they agree, and treat disagreement as uncertainty. We first formalize this template as two separate roles: an operator that compares two answers, and an aggregator that combines all pairwise comparisons into a scalar. Existing methods differ almost entirely in how they aggregate, while taking the operator off the shelf, typically an NLI model or a generic sentence encoder. We show that this reliance on off-the-shelf operators is the primary bottleneck of semantic UQ: they do not accurately measure factual equivalence of multiple answers to the same question. We resolve this with a deliberately simple recipe: a single encoder trained contrastively to isolate the targeted fact, utilizing synthetic data generated by an LLM and dataset both disjoint from all evaluation settings. Integrating the resulting operator into existing methods improves performance on 120 of 126 evaluation settings (95%) spanning 18 model dataset combinations across language and vision-language models. The best variant reaches 0.76 mean AUROC against 0.68 for the strongest baseline, while replacing the quadratic cross-encoder comparisons of entailment-based operators with one encoder pass per answer. The uniformity of the improvement supports the view that the operator, not the aggregator, is the limiting factor. The same operator also improves single generation token-level estimators: the norm it assigns to each token measures how much that token bears on the answer, and reweighting token log-likelihoods accordingly sharpens the estimate.
• Abstract（参考訳）: 大規模言語モデルの意味的不確実性定量化は、いくつかの回答をサンプリングし、それらがどの程度一致しているかを測定し、不確かさを不確実性として扱う。 まず、このテンプレートを、2つの回答を比較する演算子と、全てのペア比較をスカラーに組み合わせるアグリゲータの2つの異なる役割として定式化する。 既存の方法は、操作子を棚から取り除き、通常NLIモデルやジェネリック文エンコーダなど、ほとんど完全に異なる。 既成演算子へのこの依存が意味的UQの主要なボトルネックであることを示し、同じ質問に対する複数の回答の事実的等価性を正確に測定することができない。 単一エンコーダは、LLMが生成した合成データを利用して、全ての評価設定から切り離されたデータをデータセット化し、対象の事実の分離を対照的に訓練する。 結果として得られた演算子を既存のメソッドに統合することで、言語とビジョン言語モデルにまたがる18のモデルデータセットの組み合わせにまたがる126の評価設定(95%)の120のパフォーマンスが向上する。 最良の変種は0.76に到達し、最強のベースラインに対して0.68に対してAUROCは0.76となり、エンテーメントベースの演算子の2次クロスエンコーダ比較を1回答あたり1エンコーダパスに置き換える。 改善の均一性は、アグリゲータではなくオペレータが制限要因である、という見方を支持する。 それぞれのトークンに割り当てるノルムは、そのトークンが答えにどれだけ耐えられるかを測定し、それに応じてトークンのログライクな部分を再重み付けする。

関連論文リスト

• Legible-by-Construction: Attention and End-to-End Transformers [0.2663471820643486]
  トランスのフィードフォワード層は明示的なファジィ集合演算から再構築することができる。 隠れたユニットは言語モデルの品質を犠牲にすることなく、名前付き論理演算子として読み上げられた。 125Mパラメータの5つの特別なアテンション設計において、44から62%の値チャネルが正当性を持つ。
  論文  参考訳（メタデータ） (2026-07-05T14:08:59Z)
• Interpretability Without Tradeoffs: Disentangling Polysemanticity At Equal Predictive Performance [58.49623467782041]
  ELUDeはディープニューラルネットワークの解釈可能性を改善する方法である。 潜在表現を、解釈可能な機能のように振る舞う透明で検査可能なサブユニットに分解する。 明示的なトレーニングもラベルも必要とせず、事前訓練されたモデルにも適用できる。
  論文  参考訳（メタデータ） (2026-05-29T13:39:09Z)
• Towards Human-Like Interactive Speech Recognition With Agentic Correction and Semantic Evaluation [53.844308305341166]
  単一パスのASRフロントエンドと意味的訂正,意図のルーティング,推論に基づく編集を組み合わせた閉ループフレームワークである textbfAgentic ASR を提案する。 複数言語、名前付き集中型、コードスイッチングベンチマークの実験は、反復的相互作用が意味的誤りを一貫して減少させることを示している。
  論文  参考訳（メタデータ） (2026-05-28T06:23:31Z)
• Decomposing Reasoning Efficiency in Large Language Models [2.4149105714758545]
  我々はトークン効率を、固定されたトークン予算の下での完了、与えられた完了条件の正確性、冗長性といった、解釈可能な要因に分解する。 推論トレースが利用可能であれば、冗長だが拡張された推論からループを分離するために決定論的トレース品質尺度を追加します。 我々の分解は、異なる効率の介入を示唆する異なるボトルネックプロファイルを明らかにします。
  論文  参考訳（メタデータ） (2026-02-10T14:09:18Z)
• CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
  評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。 数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。 我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
  論文  参考訳（メタデータ） (2025-08-05T17:55:24Z)
• Broken Tokens? Your Language Model can Secretly Handle Non-Canonical Tokenizations [83.93566096400723]
  ランダムにサンプリングされたトークン化が与えられた場合、命令調整されたモデルは元の性能の最大93.4%を維持している。 文字レベルのセグメンテーションは文字列操作とコード理解タスクを最大+14%改善する。 右列桁のグルーピングは、大数の算術を+33%向上させる。
  論文  参考訳（メタデータ） (2025-06-23T18:02:26Z)
• ConsistencyChecker: Tree-based Evaluation of LLM Generalization Capabilities [14.13459302125202]
  大きな言語モデル(LLM)の一貫性を評価することは、信頼性を確保するために不可欠である。 従来の自己整合性メソッドは、自然言語の微妙な意味的変化や、コードや方程式の関数的シフトを見逃すことが多い。 可逆変換のシーケンスによる一貫性の測定を目的とした木に基づく評価フレームワークであるConsistencyCheckerを提案する。
  論文  参考訳（メタデータ） (2025-06-14T07:18:33Z)
• EquiBench: Benchmarking Large Language Models' Reasoning about Program Semantics via Equivalence Checking [58.15568681219339]
  大規模言語モデル(LLM)を評価するための新しいベンチマークであるEquiBenchを紹介する。 このタスクは、プログラムのセマンティクスについて推論するモデルの能力を直接テストする。 19の最先端LCMを評価し、最も難しいカテゴリでは、最高の精度は63.8%と76.2%であり、50%のランダムベースラインよりわずかに高い。
  論文  参考訳（メタデータ） (2025-02-18T02:54:25Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。