論文の概要: Semantic Token Clustering for Efficient Uncertainty Quantification in Large Language Models

• arxiv url: http://arxiv.org/abs/2603.20161v1
• Date: Fri, 20 Mar 2026 17:37:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 19:48:39.259292
• Title: Semantic Token Clustering for Efficient Uncertainty Quantification in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける効率的な不確実性定量化のための意味的トークンクラスタリング
• Authors: Qi Cao, Andrew Gambardella, Takeshi Kojima, Yutaka Matsuo, Yusuke Iwasawa,
• Abstract要約: 大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な能力を示している。 不確実性定量化は、潜在的に信頼できない出力を特定するための有望な方法を提供する。 本稿では,効率的な不確実性定量化手法であるセマンティックトークンクラスタリング(STC)を提案する。
• 参考スコア（独自算出の注目度）: 46.44117909405577
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have demonstrated remarkable capabilities across diverse tasks. However, the truthfulness of their outputs is not guaranteed, and their tendency toward overconfidence further limits reliability. Uncertainty quantification offers a promising way to identify potentially unreliable outputs, but most existing methods rely on repeated sampling or auxiliary models, introducing substantial computational overhead. To address these limitations, we propose Semantic Token Clustering (STC), an efficient uncertainty quantification method that leverages the semantic information inherently encoded in LLMs. Specifically, we group tokens into semantically consistent clusters using embedding clustering and prefix matching, and quantify uncertainty based on the probability mass aggregated over the corresponding semantic cluster. Our approach requires only a single generation and does not depend on auxiliary models. Experimental results show that STC achieves performance comparable to state-of-the-art baselines while substantially reducing computational overhead.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な能力を示している。 しかし、アウトプットの真偽は保証されておらず、過信傾向は信頼性をさらに制限している。 不確実性定量化は、潜在的に信頼できない出力を特定するための有望な方法を提供するが、既存のほとんどの手法は繰り返しサンプリングや補助的なモデルに依存しており、かなりの計算オーバーヘッドをもたらす。 これらの制約に対処するために,LLMに固有の意味情報を活用する効率的な不確実性定量化手法であるSemantic Token Clustering (STC)を提案する。 具体的には,トークンを埋め込みクラスタリングとプレフィックスマッチングを用いてセマンティック一貫性のあるクラスタに分類し,対応するセマンティッククラスタ上に集約された確率質量に基づいて不確実性を定量化する。 我々のアプローチは1世代しか必要とせず、補助モデルに依存しない。 実験の結果, STCは, 計算オーバーヘッドを大幅に低減しつつ, 最先端のベースラインに匹敵する性能を実現していることがわかった。

関連論文リスト

• Improving Semantic Uncertainty Quantification in LVLMs with Semantic Gaussian Processes [60.75226150503949]
  本稿では,解答埋め込みの幾何学的構造を解析し,意味的不確実性を定量化するベイズ的枠組みを提案する。 S GPUは、生成した回答を密接なセマンティック空間にマッピングし、セマンティック埋め込みのグラム行列を計算し、セマンティック構成を要約する。 我々は,SGPUがモデルとモダリティをまたいで転送されることを示し,そのスペクトル表現が意味的不確実性の一般的なパターンを捉えていることを示す。
  論文  参考訳（メタデータ） (2025-12-16T08:15:24Z)
• Efficient semantic uncertainty quantification in language models via diversity-steered sampling [46.23327887393273]
  本稿では,デコード中に意味的に冗長な出力を回避できるダイバーシティステアリング・サンプリング手法を提案する。 主要なアイデアは、モデルの提案分布に連続的な意味-類似性ペナルティを注入することである。 モジュラーであり、ベースLSMへの勾配アクセスを必要としないため、このフレームワークは不確実性評価のためのドロップインエンハンスメントとして機能することを約束している。
  論文  参考訳（メタデータ） (2025-10-24T10:06:21Z)
• Efficient Latent Semantic Clustering for Scaling Test-Time Computation of LLMs [14.34599799034748]
  テスト時間計算のスケールは、大規模言語モデルの信頼性と品質を改善するための有望な戦略となっている。 主要な共有コンポーネントはセマンティッククラスタリング(セマンティッククラスタリング)である。 本稿では,ジェネレータLSMの内部隠蔽状態をクラスタリングに利用する軽量でコンテキストに敏感なLatent Semantic Clustering (LSC)を提案する。
  論文  参考訳（メタデータ） (2025-05-31T02:08:32Z)
• Improving Uncertainty Quantification in Large Language Models via Semantic Embeddings [11.33157177182775]
  大規模言語モデル(LLM)における正確な不確実性の定量化は、信頼性の高いデプロイメントに不可欠である。 LLMにおける意味的不確実性を測定するための現在の最先端手法は、厳密な双方向の包含基準に依存している。 本研究では,意味的不確実性のよりスムーズでロバストな推定を実現するためにセマンティックな埋め込みを利用する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-10-30T04:41:46Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Semantic Equitable Clustering: A Simple and Effective Strategy for Clustering Vision Tokens [57.37893387775829]
  我々はSemantic Equitable Clustering(SEC)という,高速かつバランスの取れたクラスタリング手法を導入する。 SECは、グローバルなセマンティックな関連性に基づいてトークンを効率的かつ直接的な方法でクラスタ化する。 視覚言語コネクタとして機能する汎用視覚バックボーンであるSECViTを提案する。
  論文  参考訳（メタデータ） (2024-05-22T04:49:00Z)
• Rethinking Clustering-Based Pseudo-Labeling for Unsupervised Meta-Learning [146.11600461034746]
  教師なしメタラーニングのメソッドであるCACTUsは、擬似ラベル付きクラスタリングベースのアプローチである。 このアプローチはモデルに依存しないため、教師付きアルゴリズムと組み合わせてラベルのないデータから学習することができる。 このことの核となる理由は、埋め込み空間においてクラスタリングに優しい性質が欠如していることである。
  論文  参考訳（メタデータ） (2022-09-27T19:04:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。