論文の概要: Learned Readout Tokens for Extracting Large Language Model Confidence

• arxiv url: http://arxiv.org/abs/2610.27566v1
• Date: Tue, 20 Oct 2026 03:30:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.616156
• Title: Learned Readout Tokens for Extracting Large Language Model Confidence
• Title（参考訳）: 大規模言語モデルの信頼性を抽出するための学習された読み出しトークン
• Abstract要約: 我々は、新しい読み出しトークンを学習し、その隠れ状態を利用してプローブを訓練する信頼性プローブに新しいアプローチを導入する。 学習した読み出しアプローチであるScratchProbeは、さまざまなデータセットやLLM上で、既存の処理能力よりも優れています。
• 参考スコア（独自算出の注目度）: 6.030547219660949
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models (LLMs) are increasingly used within everyday applications where their responses have significant downstream impacts. For responsible deployment of such systems, we desire insight into how much we can trust their individual outputs. A popular approach for estimating LLM confidence is to train probes on the hidden states of the LLM's tokens to predict the correctness of the model's output. These probes typically read hidden states from tokens that are already in the model's vocabulary. In this work, we introduce a new approach to confidence probes that learn a new readout token and utilize its hidden states to train the probe. We show that our learned readout approach ScratchProbe outperforms its existing-token counterpart on a variety of datasets and LLMs. We also extend our method to a multi-token approach which we show provides further performance improvements. Finally, since the learned readout changes only the position a probe reads from, any existing probe can adopt it. Applied to a state-of-the-art probe, it improves AUROC on every backbone, in domain and out of domain.
• Abstract（参考訳）: 大規模な言語モデル(LLM)は、その応答が下流に多大な影響を及ぼす日々のアプリケーションでますます使われています。 このようなシステムに責任あるデプロイを行うためには、個々のアウトプットをどの程度信頼できるか、という洞察を欲しがります。 LLMの信頼性を推定するための一般的なアプローチは、LLMのトークンの隠れた状態のプローブを訓練し、モデルの出力の正確性を予測することである。 これらのプローブは一般的に、既にモデルの語彙にあるトークンから隠れた状態を読み取る。 本研究では、新しい読み出しトークンを学習し、その隠れ状態を利用してプローブを訓練する信頼性プローブの新しいアプローチを提案する。 学習した読み出しアプローチであるScratchProbeは、さまざまなデータセットやLLM上で、既存の処理能力よりも優れています。 また,提案手法をマルチトークンアプローチに拡張することで,さらなる性能向上が期待できる。 最後に、学習された読み出しは、プローブが読み取った位置だけを変えるため、既存のプローブでもそれを採用することができる。 最先端のプローブに適用すると、各バックボーン、ドメイン内およびドメイン外におけるAUROCが改善される。

関連論文リスト

• SCOPE: Saliency-Coverage Oriented Token Pruning for Efficient Multimodel LLMs [59.415473779171315]
  textbfSaliency-textbfCoverage textbfOriented token textbfPruning for textbfEfficient MLLMs。
  論文  参考訳（メタデータ） (2025-10-28T09:29:37Z)
• Hyperdimensional Probe: Decoding LLM Representations via Vector Symbolic Architectures [12.466522376751811]
  超次元プローブは、大規模言語モデルベクトル空間から情報を復号するための新しいパラダイムである。 シンボリック表現とニューラルプローブのアイデアを組み合わせて、モデルの残留ストリームを解釈可能な概念に投影する。 我々の研究は、LLMベクトル空間における情報復号化を進め、神経表現からより情報的、解釈可能、構造化された特徴を抽出することを可能にする。
  論文  参考訳（メタデータ） (2025-09-29T16:59:07Z)
• Beyond Next Token Probabilities: Learnable, Fast Detection of Hallucinations and Data Contamination on LLM Output Distributions [60.43398881149664]
  LLM出力シグナチャの効率的な符号化を訓練した軽量アテンションベースアーキテクチャであるLOS-Netを紹介する。 非常に低い検出レイテンシを維持しながら、さまざまなベンチマークやLLMで優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-03-18T09:04:37Z)
• Forking Paths in Neural Text Generation [14.75166317633176]
  テキスト生成の個々のトークンにまたがる不確実性のダイナミクスを表現するための新しいアプローチを開発する。 4つの領域にわたる7つのタスクにおけるLLM応答の解析に本手法を用いる。 句読点などの驚くべきものを含む、トークンをフォークする多くの例を見出す。
  論文  参考訳（メタデータ） (2024-12-10T22:57:57Z)
• FIRP: Faster LLM inference via future intermediate representation prediction [54.897493351694195]
  FIRPはデコードステップ毎に1つではなく複数のトークンを生成する。 いくつかのモデルとデータセットで1.9x-3xのスピードアップ比を示す広範な実験を行った。
  論文  参考訳（メタデータ） (2024-10-27T15:53:49Z)
• ControlMLLM: Training-Free Visual Prompt Learning for Multimodal Large Language Models [73.34709921061928]
  マルチモーダル大言語モデル(MLLM)に視覚的プロンプトを注入する学習自由手法を提案する。 我々は,エネルギー関数に基づいて学習可能な潜伏変数を最適化し,注目マップにおける参照領域の強度を高める。 提案手法は,参照能力のMLLMへの統合に有望な方向を与え,ボックス,マスク,スクリブル,ポイントによる参照を支援する。
  論文  参考訳（メタデータ） (2024-07-31T11:40:29Z)
• Adaptive Pre-training Data Detection for Large Language Models via Surprising Tokens [1.2549198550400134]
  大きな言語モデル(LLM)は広く使われているが、プライバシー、セキュリティ、著作権については不透明なトレーニングデータのために懸念されている。 この問題に対する現在の解決策は、メンバーシップ推論攻撃(MIA)のような機械学習プライバシで探索されたテクニックを活用する。 本稿では、この信頼性を軽減し、同定を効果的に増幅する適応型事前学習データ検出法を提案する。
  論文  参考訳（メタデータ） (2024-07-30T23:43:59Z)
• Aligning Language Models with Demonstrated Feedback [58.834937450242975]
  Demonstration ITerated Task Optimization (DITTO)は、言語モデルの出力とユーザの実証された振る舞いを直接調整する。 我々は,DITTOがニュース記事やメール,ブログ記事などのドメイン間できめ細かいスタイルやタスクアライメントを学習する能力を評価する。
  論文  参考訳（メタデータ） (2024-06-02T23:13:56Z)
• Detecting Hallucinations in Large Language Model Generation: A Token Probability Approach [0.0]
  LLM(Large Language Models)は、幻覚と呼ばれる不正確な出力を生成する。 本稿では,トークンから得られる4つの数値的特徴と,他の評価者から得られる語彙的確率を用いた教師付き学習手法を提案する。 この方法は有望な結果をもたらし、3つの異なるベンチマークで複数のタスクで最先端の結果を上回る。
  論文  参考訳（メタデータ） (2024-05-30T03:00:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。