論文の概要: XU-RS: Explaining Credal Width in Random-Set Language Models

• arxiv url: http://arxiv.org/abs/2609.37594v1
• Date: Tue, 29 Sep 2026 13:48:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.581436
• Title: XU-RS: Explaining Credal Width in Random-Set Language Models
• Title（参考訳）: XU-RS:ランダムセット言語モデルにおけるクレダル幅の説明
• Abstract要約: 不確実性見積は、モデルがどの程度不確実であるかを教えてくれますが、その理由ではありません。 本稿では,言語モデルに供給される入力トークンに応答の致命的幅を属性とするフレームワークであるXU-RSを提案する。 SmolLM3-3BとLlama-2-7Bモデルを用いて,XU-RSをMedQAデータセット上で評価した。
• 参考スコア（独自算出の注目度）: 45.20404792960253
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Uncertainty estimates tell us how unsure a model is, but not why. Without knowing which parts of an input influences a model's uncertainty, we cannot tell whether that uncertainty score depends on input features that are relevant for the task. We study this problem in randomset classifiers built using pretrained language models. These classifiers assign probability to individual answers and to groups of answers, producing lower and upper probabilities for each answer; The difference between these probabilities, called credal width, is used to represent epistemic uncertainty about an answer arising from limited training data. We propose XU-RS, a framework that attributes an answer's credal width to the input tokens (words or word pieces) supplied to a language model. XU-RS uses Expected Gradients (a standard feature attribution method) to estimate how input tokens contribute to credal width. The proposed framework is evaluated on a MedQA dataset using SmolLM3-3B and Llama-2-7B models, demonstrating that setting the embedding of a token ranked highly by XU-RS to zero (zero-masking) causes larger changes in credal width than zero-masking randomly selected tokens. In addition, we show that normalisation can cause other answer groups to influence an answer's width, reveal how token attribution can mask numerical errors, and provide diagnostic checks to verify whether a token ranked highly by XU-RS meaningfully explains model uncertainty.
• Abstract（参考訳）: 不確実性見積は、モデルがどの程度不確実であるかを教えてくれますが、その理由ではありません。 入力のどの部分がモデルの不確実性に影響を与えるのかを知らずに、不確実性スコアがタスクに関連する入力特徴に依存するかどうかを判断できない。 本稿では,事前学習言語モデルを用いて構築した乱数集合分類器について検討する。 これらの分類器は、個々の回答と答えのグループに確率を割り当て、各回答の下位と上位の確率を生成する。 言語モデルに供給される入力トークン(単語または単語片)に応答の致命的幅を属性とするフレームワークであるXU-RSを提案する。 XU-RSは、入力トークンが干潟幅にどのように貢献するかを推定するために予測勾配(標準特徴属性法)を使用する。 提案手法は,SmolLM3-3B と Llama-2-7B モデルを用いて MedQA データセット上で評価され,XU-RS で高度にランク付けされたトークンをゼロ(ゼロマスキング)に組み込むことで,無作為に選択されたトークンよりもダム幅が大きく変化することを示した。 さらに,正規化によって他の回答群が回答の幅に影響を与える可能性を示し,トークン属性が数値誤差を隠蔽することを示すとともに,XU-RSでランク付けされたトークンがモデルの不確かさを有意に説明できるかどうかを診断チェックする。

関連論文リスト

• NL-PAC: Specification Ambiguity and Certified Minimax Risk Floors in LLM-Mediated Supervision [0.9475982252982437]
  固定モデルのしきい値付き復号法を用いて許容ラベルと候補ターゲットを定義するフレームワークであるNatural Language PACを紹介する。 凍結したQwen2.5--3B監査では、事前に特定されたプロンプトが正のモデル相対証明を出力し、パラフレーズと正確なルール制御がゼロになる。
  論文  参考訳（メタデータ） (2026-07-09T21:53:00Z)
• Probabilistic Attribution For Large Language Models [4.83127178873072]
  LLM(Large Language Models)の生成特性は、前回のトークンから各応答トークンをサンプリングするために計算される条件確率に反映される。 本研究では, これらの確率を用いて, プロセスの数学的理論内にLCMを配置する。 我々はこのフレームワークを用いて、ベイズ則を用いて、モデルに依存しない確率的トークン属性尺度を設計し、次の対数確率を逆転する。
  論文  参考訳（メタデータ） (2026-05-20T20:36:26Z)
• Measuring Epistemic Humility in Multimodal Large Language Models [17.490955813494693]
  HumbleBench は,MLLM が正解ではないが誤解を拒否する能力を評価するために設計された,新しい幻覚ベンチマークである。 我々は、微粒なシーングラフアノテーションを利用して、地中構造体と関係を抽出し、GPT-4-Turboに多重選択質問を生成する。 HumbleBenchは、現在の評価スイートにおける重要なギャップを埋め、安全クリティカルな設定におけるMLLMの信頼性をより現実的に測定する。
  論文  参考訳（メタデータ） (2025-09-11T17:54:00Z)
• Random-Set Large Language Models [4.308457163593758]
  大規模言語モデル(LLM)は、クエリに対する非常に高品質なテストとレスポンスを生成することで知られています。 しかし、この生成されたテキストはいくら信用できますか? 本稿では,トークン空間上の有限ランダム集合(関数)を予測するランダムセット大言語モデル(RSLLM)を提案する。
  論文  参考訳（メタデータ） (2025-04-25T05:25:27Z)
• Predicting the Performance of Black-box LLMs through Self-Queries [60.87193950962585]
  大規模言語モデル(LLM)は、AIシステムにおいてますます頼りになってきている。 本稿では、フォローアッププロンプトを使用し、異なる応答の確率を表現として捉え、ブラックボックス方式でLCMの特徴を抽出する。 これらの低次元表現上で線形モデルをトレーニングすると、インスタンスレベルでのモデル性能の信頼性を予測できることを示す。
  論文  参考訳（メタデータ） (2025-01-02T22:26:54Z)
• Reject Threshold Adaptation for Open-Set Model Attribution of Deepfake Audio [37.399771023763485]
  本稿では,rejection threshold adapt (ReTA) を用いたディープフェイク音声のオープンセットモデル帰属のための新しいフレームワークを提案する。 ReTAは、システム指紋の表現を、ターゲットクラスまたはランダムに選択された他のクラスラベルに対応するラベルと組み合わせて訓練する。 拒絶しきい値算出モジュールは、ガウス確率推定を利用して、マッチングと非マッチング再構成誤差の分布に適合する。
  論文  参考訳（メタデータ） (2024-12-02T12:06:50Z)
• Answer, Assemble, Ace: Understanding How LMs Answer Multiple Choice Questions [103.20281438405111]
  MCQA(Multiple-choice Question answering)は、高性能トランスフォーマー言語モデルのキーコンピテンスである。 我々は,正解を予測するための関連情報をエンコードするキー隠れ状態のローカライズに語彙予測とアクティベーションパッチ手法を用いる。 後続の層は語彙空間における予測応答記号の確率を増大させ、この確率の増加は、特異な役割を持つ注目ヘッドのスパースセットと関連していることを示す。
  論文  参考訳（メタデータ） (2024-07-21T00:10:23Z)
• Token-Level Adversarial Prompt Detection Based on Perplexity Measures and Contextual Information [67.78183175605761]
  大規模言語モデルは、敵の迅速な攻撃に影響を受けやすい。 この脆弱性は、LLMの堅牢性と信頼性に関する重要な懸念を浮き彫りにしている。 トークンレベルで敵のプロンプトを検出するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-20T03:17:21Z)
• Robust Question Answering Through Sub-part Alignment [53.94003466761305]
  我々はアライメント問題として質問応答をモデル化する。 私たちは、SQuAD v1.1でモデルをトレーニングし、いくつかの逆および外ドメインデータセットでそれをテストします。
  論文  参考訳（メタデータ） (2020-04-30T09:10:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。