論文の概要: CLUE: Non-parametric Verification from Experience via Hidden-State Clustering

• arxiv url: http://arxiv.org/abs/2510.01591v1
• Date: Thu, 02 Oct 2025 02:14:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.95045
• Title: CLUE: Non-parametric Verification from Experience via Hidden-State Clustering
• Title（参考訳）: CLUE: 隠れ状態クラスタリングによる経験からの非パラメトリック検証
• Authors: Zhenwen Liang, Ruosen Li, Yujun Zhou, Linfeng Song, Dian Yu, Xinya Du, Haitao Mi, Dong Yu,
• Abstract要約: 隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。 ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
• 参考スコア（独自算出の注目度）: 64.50919789875233
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Assessing the quality of Large Language Model (LLM) outputs presents a critical challenge. Previous methods either rely on text-level information (e.g., reward models, majority voting), which can overfit to superficial cues, or on calibrated confidence from token probabilities, which would fail on less-calibrated models. Yet both of these signals are, in fact, partial projections of a richer source of information: the model's internal hidden states. Early layers, closer to token embeddings, preserve semantic and lexical features that underpin text-based judgments, while later layers increasingly align with output logits, embedding confidence-related information. This paper explores hidden states directly as a unified foundation for verification. We show that the correctness of a solution is encoded as a geometrically separable signature within the trajectory of hidden activations. To validate this, we present Clue (Clustering and Experience-based Verification), a deliberately minimalist, non-parametric verifier. With no trainable parameters, CLUE only summarizes each reasoning trace by an hidden state delta and classifies correctness via nearest-centroid distance to ``success'' and ``failure'' clusters formed from past experience. The simplicity of this method highlights the strength of the underlying signal. Empirically, CLUE consistently outperforms LLM-as-a-judge baselines and matches or exceeds modern confidence-based methods in reranking candidates, improving both top-1 and majority-vote accuracy across AIME 24/25 and GPQA. As a highlight, on AIME 24 with a 1.5B model, CLUE boosts accuracy from 56.7% (majority@64) to 70.0% (top-maj@16).
• Abstract（参考訳）: LLM(Large Language Model)のアウトプットの品質を評価することは、重要な課題である。 従来の方法はテキストレベルの情報(報酬モデル、過半数投票など)に依存しており、表面的な手がかりに過度に適合する。 しかし、これらの信号はどちらも、実際にはよりリッチな情報源である内部の隠れ状態の部分投影である。 トークンの埋め込みに近い初期のレイヤは、テキストベースの判断の基礎となる意味的および語彙的な特徴を保ち、後期レイヤは出力ロジットと整合し、信頼性関連の情報を埋め込む。 本稿では,隠れ状態を直接検証するための統一基盤として検討する。 解の正しさは、隠れた活性化の軌跡内で幾何学的に分離可能なシグネチャとして符号化されていることを示す。 これを検証するために、故意に最小限の非パラメトリック検証であるClue (Clustering and Experience-based Verification)を提案する。 トレーニング可能なパラメータがないため、CLUEは、隠れ状態デルタによって各推論トレースを要約し、最も近いセントロイド距離を介して、過去の経験から形成された‘success’と‘failure’のクラスタに分類する。 この手法の単純さは、基礎となる信号の強度を強調する。 経験的に、CLUE は LLM-as-a-judge のベースラインを一貫して上回り、候補者の再評価において近代的な信頼に基づく手法に適合または超え、AIME 24/25 と GPQA でトップ-1 と多数投票の精度を改善している。 AIME 24の1.5Bモデルでは、CLUEの精度は56.7%(majority@64)から70.0%(top-maj@16)に向上している。

関連論文リスト

• Trusted Uncertainty in Large Language Models: A Unified Framework for Confidence Calibration and Risk-Controlled Refusal [31.458406135473805]
  異種不確実性証拠を正当性の校正確率に変換する統一フレームワークUniCRを提案する。 UniCRは、温度スケーリングと適切なスコアリングを備えた軽量なキャリブレーションヘッドを学習する。 ショートフォームQA、実行テスト付きコード生成、検索強化ロングフォームQAの実験は、キャリブレーションメトリクスの一貫性のある改善を示している。
  論文  参考訳（メタデータ） (2025-09-01T13:14:58Z)
• TOPLOC: A Locality Sensitive Hashing Scheme for Trustless Verifiable Inference [7.103455333148043]
  大規模言語モデル(LLM)は非常に有能であることが証明されているが、現在フロンティアモデルへのアクセスは推論プロバイダに依存している。 本研究では,この問題に対処する検証可能な新しい手法であるTOPLOCを提案する。
  論文  参考訳（メタデータ） (2025-01-27T12:46:45Z)
• Typicalness-Aware Learning for Failure Detection [26.23185979968123]
  ディープニューラルネットワーク(DNN)は、しばしば自信過剰な問題に悩まされる。 そこで本研究では,本問題に対処し,故障検出性能を向上させるために,S typicalness-Aware Learning (TAL) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-11-04T11:09:47Z)
• Binary Classification with Confidence Difference [100.08818204756093]
  本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。 本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。 また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
  論文  参考訳（メタデータ） (2023-10-09T11:44:50Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [49.15931834209624]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised Learning [101.86916775218403]
  本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。 トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。 実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
  論文  参考訳（メタデータ） (2023-01-26T03:53:25Z)
• Towards Semi-Supervised Deep Facial Expression Recognition with An Adaptive Confidence Margin [92.76372026435858]
  Ada-CM(Adaptive Confidence Margin)を学習し、ラベルのないすべてのデータを半教師付き深層表情認識に活用する。 すべてのラベルなしサンプルは、信頼スコアと適応的に学習された信頼マージンを比較して、2つのサブセットに分割される。 提案手法は最先端の性能,特に半教師付きベースラインを超越した性能を実現する。
  論文  参考訳（メタデータ） (2022-03-23T11:43:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。