論文の概要: Query-Level Uncertainty in Large Language Models

• arxiv url: http://arxiv.org/abs/2506.09669v1
• Date: Wed, 11 Jun 2025 12:39:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 06:35:02.960997
• Title: Query-Level Uncertainty in Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるクエリレベル不確実性
• Authors: Lihu Chen, Gaël Varoquaux,
• Abstract要約: 我々は,レイヤやトークン間の自己評価を活用する,emphInternal Confidenceと呼ばれる新しい,トレーニング不要な手法を導入する。 事実的QAと数学的推論の両タスクに関する実証的な結果は、我々の内的信頼度がいくつかの基準線を上回ることを示す。 提案手法は,効率のよいRAGとモデルカスケードに利用でき,性能を維持しながら推論コストを低減できる。
• 参考スコア（独自算出の注目度）: 13.195074492564332
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: It is important for Large Language Models to be aware of the boundary of their knowledge, the mechanism of identifying known and unknown queries. This type of awareness can help models perform adaptive inference, such as invoking RAG, engaging in slow and deep thinking, or adopting the abstention mechanism, which is beneficial to the development of efficient and trustworthy AI. In this work, we propose a method to detect knowledge boundaries via Query-Level Uncertainty, which aims to determine if the model is able to address a given query without generating any tokens. To this end, we introduce a novel and training-free method called \emph{Internal Confidence}, which leverages self-evaluations across layers and tokens. Empirical results on both factual QA and mathematical reasoning tasks demonstrate that our internal confidence can outperform several baselines. Furthermore, we showcase that our proposed method can be used for efficient RAG and model cascading, which is able to reduce inference costs while maintaining performance.
• Abstract（参考訳）: 大規模言語モデルは、その知識の境界、既知のクエリと未知のクエリを識別するメカニズムに気付くことが重要である。 この種の認識は、RAGの呼び出し、遅くて深い思考への関与、あるいは、効率的で信頼性の高いAIの開発に有益な禁制のメカニズムの採用など、モデルが適応的な推論を行うのに役立つ。 本研究では,モデルがトークンを生成することなく,与えられたクエリに対処できるかどうかを判断することを目的とした,Query-Level Uncertaintyによる知識境界検出手法を提案する。 この目的のために,レイヤやトークン間の自己評価を活用する,‘emph{Internal Confidence}’という,新規かつトレーニング不要な手法を導入する。 事実的QAと数学的推論の両タスクに関する実証的な結果は、我々の内的信頼度がいくつかの基準線を上回ることを示す。 さらに,提案手法は効率のよいRAGとモデルカスケードに利用でき,性能を維持しながら推論コストを低減できることを示した。

関連論文リスト

• Dancing with Critiques: Enhancing LLM Reasoning with Stepwise Natural Language Self-Critique [66.94905631175209]
  我々は、段階的に自然言語の自己批判(PANEL)を行う新しい推論時間スケーリング手法を提案する。 ステップレベルの探索プロセスのガイドとして、自己生成の自然言語批判をフィードバックとして採用している。 このアプローチは、タスク固有の検証と関連するトレーニングオーバーヘッドの必要性を回避します。
  論文  参考訳（メタデータ） (2025-03-21T17:59:55Z)
• Enhancing LLM Reliability via Explicit Knowledge Boundary Modeling [48.15636223774418]
  大きな言語モデル(LLM)は、不一致の自己認識のためにしばしば幻覚する。 既存のアプローチは、不確実性推定やクエリの拒否を通じて幻覚を緩和する。 高速かつ低速な推論システムを統合するための明示的知識境界モデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-04T03:16:02Z)
• Data Laundering: Artificially Boosting Benchmark Results through Knowledge Distillation [11.215746700797618]
  知識蒸留は言語モデルベンチマークスコアを操作するために変換可能であることを示す。 本稿では,ベンチマーク固有の知識を包括的に伝達するプロセスである"Data Laundering"を紹介する。 提案手法は,真の推論機能を開発することなく,ベンチマーク精度を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-12-15T19:38:48Z)
• Self-Improvement in Language Models: The Sharpening Mechanism [70.9248553790022]
  我々は、レンズを通して自己改善の能力について、新たな視点を提供する。 言語モデルは、正しい応答を生成する場合よりも、応答品質の検証が優れているという観察に感銘を受けて、後学習において、モデル自体を検証対象として、自己改善を形式化する。 SFTとRLHFに基づく自己改善アルゴリズムの2つの自然ファミリーを解析する。
  論文  参考訳（メタデータ） (2024-12-02T20:24:17Z)
• When Can You Trust Your Explanations? A Robustness Analysis on Feature Importances [42.36530107262305]
  説明の堅牢性は、システムと提供された説明の両方を信頼する上で、中心的な役割を果たす。 本稿では,非対向摂動に対するニューラルネットワーク説明の頑健さを解析するための新しいアプローチを提案する。 さらに,様々な説明を集約するアンサンブル手法を提案し,モデルの決定を理解し,頑健さを評価することによって,説明の融合がいかに有用かを示す。
  論文  参考訳（メタデータ） (2024-06-20T14:17:57Z)
• Robust Deep Learning for Autonomous Driving [0.0]
  モデル信頼度を確実に推定する新しい基準を導入する:真のクラス確率(TCP) 真のクラスは本質的にテスト時に未知であるため、補助モデルを用いてデータからTCPの基準を学習し、この文脈に適応した特定の学習スキームを導入することを提案する。 本研究は, 既知モデルに基づく新たな不確実性尺度を導入することで, 誤分類と分布外サンプルを共同で検出する課題に対処する。
  論文  参考訳（メタデータ） (2022-11-14T22:07:11Z)
• Uncertainty as a Form of Transparency: Measuring, Communicating, and Using Uncertainty [66.17147341354577]
  我々は,モデル予測に関連する不確実性を推定し,伝達することにより,相補的な透明性の形式を考えることについて議論する。 モデルの不公平性を緩和し、意思決定を強化し、信頼できるシステムを構築するために不確実性がどのように使われるかを説明する。 この研究は、機械学習、可視化/HCI、デザイン、意思決定、公平性にまたがる文学から引き出された学際的レビューを構成する。
  論文  参考訳（メタデータ） (2020-11-15T17:26:14Z)
• Plausible Counterfactuals: Auditing Deep Learning Classifiers with Realistic Adversarial Examples [84.8370546614042]
  ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。 GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。 その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
  論文  参考訳（メタデータ） (2020-03-25T11:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。