論文の概要: Do small language models know what they don't know?
- arxiv url: http://arxiv.org/abs/2609.20824v1
- Date: Tue, 21 Jul 2026 18:23:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-05 14:48:16.094672
- Title: Do small language models know what they don't know?
- Title（参考訳）: 小さな言語モデルは、彼らが知らないことを知っていますか?
- Abstract要約: 小言語モデル(SLM)の精度を向上させるためにエントロピーに基づく信頼信号を利用することができる
トークンレベルのエントロピー早期停止、セマンティックエントロピー推定、より大規模なエキスパートモデルへの不確実性を考慮したルーティングを含む7つの異なるアプローチを評価する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We explore whether entropy-based confidence signals can be leveraged to improve the accuracy of Small Language Models (SLMs) with fewer than 3 billion parameters, running entirely on consumer hardware. We evaluate seven distinct approaches, including token-level entropy early stopping, semantic entropy estimation, and uncertainty-aware routing to larger expert models, across 7 model pairs and 5 standard NLU benchmarks. Our key finding is that token-level entropy is effectively blind in SLMs: in 91% of dataset-model combinations, mean token entropy is near zero regardless of answer correctness, rendering token-based confidence signals unusable at this scale. We demonstrate that semantic entropy, computed by generating multiple samples, clustering answers by meaning, and measuring distributional uncertainty, recovers a viable confidence signal. Using semantic entropy to selectively route uncertain queries to a larger expert model yields accuracy improvements of up to +50 percentage points. Notably, cross-family routing (e.g., SmolLM 360M to Phi-3.5-mini) averages +22.0% improvement compared to +6.8% for same-family routing, revealing that expert model quality matters more than architectural compatibility. Our results suggest that the value proposition for entropy-based methods in SLMs is not computational savings but intelligent compute allocation: spending more tokens where they matter most.
- Abstract（参考訳）: エントロピーに基づく信頼信号を用いて,30億以上のパラメータを持つSLM(Small Language Models)の精度を向上させることができるかを検討する。
トークンレベルのエントロピー早期停止、セマンティックエントロピー推定、より大規模な専門家モデルへの不確実性を考慮したルーティングを含む7つの異なるアプローチを、7つのモデルペアと5つの標準NLUベンチマークで評価した。
データセットモデルの組み合わせの91%では、平均トークンエントロピーは回答の正しさに関わらずほぼゼロであり、このスケールではトークンベースの信頼信号は使用できない。
複数のサンプルを生成し,意味による回答をクラスタリングし,分布の不確実性を測定することで計算されたセマンティックエントロピーが,信頼性を回復することを示す。
意味エントロピーを用いて、不確実なクエリをより大きなエキスパートモデルに選択的にルーティングすることで、最大50パーセントの精度向上が得られる。
特に、クロスファミリールーティング(例えば、SmolLM 360MからPhi-3.5-mini)の平均は、同じドメインルーティングの+6.8%に比べて22.0%改善している。
以上の結果から,SLMにおけるエントロピーに基づく手法の価値提案は,計算の節約ではなく,知的な計算割り当てである可能性が示唆された。
関連論文リスト
- When Uncertainty Isn't Enough: An Empirical Study of Self-Correction in Code Generation [3.657882835504143]
本研究では、自然言語からコード生成への変換のために開発された不確実性推定手法と、選択的な自己補正によるコード生成を改善できるかどうかを検討する。
我々は,平均トークンエントロピー,言語的信頼度,$P(textTrue)$,エントロピーアンサンブル,意味エントロピープローブの5つの不確実性を評価した。
マルチサンプル$P(textTrue)$は正しさと最も強い相関を達成でき、セマンティックエントロピープローブを含む他のすべての手法は弱い相関しか得られない。
論文 参考訳（メタデータ） (2026-07-31T21:13:02Z) - Bigger or Cheaper? Scale and Quantization Effects on Uncertainty Signals in Vision-Language Models Under Image Degradation [0.0]
モデルスケールと4ビット量子化がQwen2-VLファミリーの2つの信頼信号にどのように影響するかを同一の入力で測定する。
スケールはモデルの内部不確実性信号を大幅に改善する。
誤差検出AUROCは校正誤差ではなく、2つの信号の差を露呈する計量であると主張する。
論文 参考訳（メタデータ） (2026-07-27T13:47:44Z) - DiscoUQ: Structured Disagreement Analysis for Uncertainty Quantification in LLM Agent Ensembles [5.647839536820347]
著者間の不一致構造を抽出し活用し,信頼度を良好に推定するフレームワークであるDiscoUQを紹介する。
DiscoUQ-LLM の平均 AUROC は 0.802 であり、最高のベースラインを上回っている。
学習した機能は、ほぼゼロに近いパフォーマンス劣化を伴うベンチマークで一般化される。
論文 参考訳（メタデータ） (2026-03-21T23:24:12Z) - Reliability Under Randomness: An Empirical Analysis of Sparse and Dense Language Models Across Decoding Temperatures [0.0]
スパースMoEモデルにおける条件計算がデコードによるランダム性を増幅し、温度上昇とともに信頼性を低下させるかを検討する。
その結果、スパース命令調整モデルでは、全ての復号温度で高密度命令調整モデルに匹敵する安定性を示すことが示された。
信頼性クリティカルなアプリケーションにスパース言語モデルを展開する上で,これらの結果がもたらす意味について論じる。
論文 参考訳（メタデータ） (2026-01-02T18:10:10Z) - CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。
ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
論文 参考訳（メタデータ） (2025-10-02T02:14:33Z) - Theoretical Insights in Model Inversion Robustness and Conditional Entropy Maximization for Collaborative Inference Systems [89.35169042718739]
協調推論により、クラウドサーバに機密データを公開することなく、エンドユーザは強力なディープラーニングモデルを活用することができる。
近年の研究では、これらの中間機能は、情報が漏洩し、生データをモデル反転攻撃(MIA)によって再構築できるため、プライバシーを十分に保持できないことが判明している。
この研究はまず、与えられた中間特徴の入力の条件エントロピーが、任意のMIAの下での再構成平均二乗誤差(MSE)の保証された下界を与えることを理論的に証明する。
そして、ガウス混合推定に基づいて、この条件付きエントロピーを有界化するための微分可能かつ可解な尺度を導出し、逆ロバスト性を高める条件付きエントロピーアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-03-01T07:15:21Z) - Entropy Adaptive Decoding: Dynamic Model Switching for Efficient Inference [0.0]
本稿では,効率的な言語モデル推論のための新しいアプローチであるEntropy Adaptive Decoding (EAD)を提案する。
EADは予測の不確実性に基づいて、異なるサイズのモデル間で切り替える。
異なるモデルファミリー間で顕著な効率向上を示す。
論文 参考訳（メタデータ） (2025-02-05T22:15:21Z) - Kernel Language Entropy: Fine-grained Uncertainty Quantification for LLMs from Semantic Similarities [79.9629927171974]
大規模言語モデル(LLM)の不確実性は、安全性と信頼性が重要であるアプリケーションには不可欠である。
ホワイトボックスとブラックボックス LLM における不確実性評価手法である Kernel Language Entropy (KLE) を提案する。
論文 参考訳（メタデータ） (2024-05-30T12:42:05Z) - Fast Uncertainty Quantification for Deep Object Pose Estimation [91.09217713805337]
深層学習に基づくオブジェクトポーズ推定は、しばしば信頼できない、自信過剰である。
本研究では,6-DoFオブジェクトのポーズ推定のための,シンプルで効率的かつプラグアンドプレイなUQ手法を提案する。
論文 参考訳（メタデータ） (2020-11-16T06:51:55Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。