論文の概要: Embedding Semantic Entropy: NLI-Free Semantic Uncertainty Estimation with Geometry-Aware Clustering
- arxiv url: http://arxiv.org/abs/2611.03876v1
- Date: Mon, 02 Nov 2026 19:48:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 10:37:56.711079
- Title: Embedding Semantic Entropy: NLI-Free Semantic Uncertainty Estimation with Geometry-Aware Clustering
- Title(参考訳): セマンティックエントロピーの埋め込み:幾何学的クラスタリングによるNLIフリーセマンティック不確実性推定
- Abstract要約: セマンティックエントロピーは, セマンティックエントロピー空間において, エンテーメントベースのクラスタリングをK-メドイドに置き換える。
The method on TriviaQA, SQuAD, NQ-Open, SVAMP, BioASQ using Falcon-7B-Instruct, LLaMA-2-7B, LLaMA-2-7B-Chat, and Gemma-7B。
- 参考スコア(独自算出の注目度): 0.8928205089779694
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) often generate fluent yet incorrect responses, making un- certainty estimation important for reliable deployment. Semantic Entropy (SE) estimates uncertainty by clustering responses based on semantic equivalence, but it relies on hard entailment-based clustering. We propose Embedding Semantic Entropy, which replaces entailment-based clustering with K-Medoids in semantic embedding space and uses dynamic cluster selection to account for intra-cluster compactness and inter-cluster separation. We evaluate the method on TriviaQA, SQuAD, NQ-Open, SVAMP, and BioASQ using Falcon- 7B-Instruct, LLaMA-2-7B, LLaMA-2-7B-Chat, and Gemma-7B. Results show competitive AUROC and AUARC performance, suggesting that NLI-based entailment clustering can be replaced with embedding-space clustering with limited degradation while improving the inspectability of semantic grouping. This matters because semantic uncertainty scores depend on underlying semantic groups; by making these groups explicit, compact, and separable in embedding space, Emb-SE turns uncertainty estimation from a black-box en- tailment decision into an inspectable clustering problem.
- Abstract(参考訳): 大規模言語モデル(LLM)は、しばしば流動的で誤った応答を生成するため、信頼性の高いデプロイメントにおいて不確実性推定が重要である。
セマンティック・エントロピー(SE)は意味的等価性に基づくクラスタリング応答によって不確実性を推定するが、それはハードエンテーメントに基づくクラスタリングに依存している。
本研究では,包摂型クラスタリングをK-メドイドに置き換えるエンベディング・セマンティック・エントロピーを提案し,クラスタ内コンパクト性とクラスタ間分離を考慮した動的クラスタ選択手法を提案する。
The method on TriviaQA, SQuAD, NQ-Open, SVAMP, BioASQ using Falcon-7B-Instruct, LLaMA-2-7B, LLaMA-2-7B-Chat, and Gemma-7B。
その結果, セマンティックグルーピングの検査性を改善しつつ, 競合するAUROCとAUARCの性能を示し, NLIをベースとしたエンターメントクラスタリングを, 限定的な劣化を伴う埋め込み空間クラスタリングに置き換えることが示唆された。
これは意味的不確実性スコアが下層の意味群に依存しているためであり、これらの群を埋め込み空間において明示的でコンパクトで分離可能にすることにより、Emb-SEはブラックボックスのen-テール決定から不確実性推定を検査可能なクラスタリング問題に変換する。
関連論文リスト
- A Generalized Sparse Fuzzy Clustering Framework with Automated Cluster Cardinality Estimation Ability [0.0]
汎用スパースファジィクラスタリング(GSFC)フレームワークはファジィ目的関数に連続的なスパーシリティペナルティを組み込む。
GSFCは,クラスタ濃度を自律的に解きながら,従来のファジィベンチマークを効果的に上回ることを示す。
ライン検出タスクにおいて、既存のスパース確率と確率的ソフトクラスタリングの選択肢よりも大幅に優れています。
論文 参考訳(メタデータ) (2026-10-30T08:54:27Z) - Instability in Patient Clustering: A Multiverse Analysis of Unsupervised Clustering in the CENTER-TBI cohort [0.4592965637622503]
教師なしクラスタリングは、サブグループを定義する可能性がある患者の特性のパターンを探索するために広く用いられている。
本研究の目的は,これらの選択がクラスタリングソリューションにどのように影響するかを検討することである。
論文 参考訳(メタデータ) (2026-09-08T11:12:59Z) - Weight-Informed Self-Explaining Clustering for Mixed-Type Tabular Data [63.62853416081748]
WISEは表現、特徴重み付け、クラスタリング、解釈を統一するフレームワークである。
クラスタリングを駆動する同じプリミティブに根ざした、忠実で人間解釈可能な説明を生成する。
論文 参考訳(メタデータ) (2026-04-07T13:18:31Z) - Semantic Token Clustering for Efficient Uncertainty Quantification in Large Language Models [46.44117909405577]
大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な能力を示している。
不確実性定量化は、潜在的に信頼できない出力を特定するための有望な方法を提供する。
本稿では,効率的な不確実性定量化手法であるセマンティックトークンクラスタリング(STC)を提案する。
論文 参考訳(メタデータ) (2026-03-20T17:37:33Z) - Bridging the Semantic Gap for Categorical Data Clustering via Large Language Models [64.58262227709842]
ARISE(Attention-weighted Representation with Integrated Semantic Embeddings)が紹介される。
正確なクラスタリングのためにカテゴリデータのメトリック空間を補完するセマンティックアウェア表現を構築する。
8つのベンチマークデータセットの実験では、7つの代表的なデータセットよりも一貫した改善が示されている。
論文 参考訳(メタデータ) (2026-01-03T11:37:46Z) - ESMC: MLLM-Based Embedding Selection for Explainable Multiple Clustering [79.69917150582633]
MLLM(Multi-modal large language model)は、ユーザ主導のクラスタリングを実現するために利用することができる。
本手法はまず,MLLMのテキストトークンの隠蔽状態が対応する特徴と強く関連していることを明らかにする。
また、擬似ラベル学習を付加した軽量クラスタリングヘッドを採用し、クラスタリング精度を大幅に向上させた。
論文 参考訳(メタデータ) (2025-11-30T04:36:51Z) - Imputation-free and Alignment-free: Incomplete Multi-view Clustering Driven by Consensus Semantic Learning [65.75756724642932]
不完全なマルチビュークラスタリングでは、欠落したデータがビュー内のプロトタイプシフトとビュー間のセマンティック不整合を誘導する。
コンセンサスセマンティクス学習(FreeCSL)のためのIMVCフレームワークを提案する。
FreeCSLは、最先端の競合他社と比較して、IMVCタスクの信頼性と堅牢な割り当てを実現している。
論文 参考訳(メタデータ) (2025-05-16T12:37:10Z) - Self-Supervised Graph Embedding Clustering [70.36328717683297]
K-means 1-step dimensionality reduction clustering method は,クラスタリングタスクにおける次元性の呪いに対処する上で,いくつかの進歩をもたらした。
本稿では,K-meansに多様体学習を統合する統一フレームワークを提案する。
論文 参考訳(メタデータ) (2024-09-24T08:59:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。