論文の概要: Probabilistic Attribution For Large Language Models

• arxiv url: http://arxiv.org/abs/2605.21726v1
• Date: Wed, 20 May 2026 20:36:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-22 16:35:41.990732
• Title: Probabilistic Attribution For Large Language Models
• Title（参考訳）: 大規模言語モデルに対する確率的属性
• Authors: Shilpika Shilpika, Carlo Graziani, Bethany Lusch, Venkatram Vishwanath, Michael E. Papka,
• Abstract要約: LLM(Large Language Models)の生成特性は、前回のトークンから各応答トークンをサンプリングするために計算される条件確率に反映される。 本研究では, これらの確率を用いて, プロセスの数学的理論内にLCMを配置する。 我々はこのフレームワークを用いて、ベイズ則を用いて、モデルに依存しない確率的トークン属性尺度を設計し、次の対数確率を逆転する。
• 参考スコア（独自算出の注目度）: 4.83127178873072
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The generative nature of Large Language Models (LLMs) is reflected in the conditional probabilities they compute to sample each response token given the previous tokens. These probabilities encode the distributional structure that the model learns in training and exploits in inference. In this work, we use these probabilities to situate LLMs within the mathematical theory of stochastic processes. We use this framework to design a model-agnostic probabilistic token attribution measure, using Bayes rule to invert the next-token log-probabilities so as to capture the models internal representation of the distribution over token sequences. The representation is independent of the models computational structure. This representation yields the conditional probability of the response given the prompt, and of the response given the prompt with a token marginalized away. Our attribution score is the log of the ratio of these probabilities. We further compute the entropies of a single prompts token distributions, conditioned on the remaining context. The interplay between entropy and attribution score sheds light on LLM behavior. We evaluate 8 models across 7 prompts and investigate anomalies, token sensitivity, response stability, model stability, and training convergence, thereby improving interpretability and guiding users to focus on uncertain or unstable parts of the generation.
• Abstract（参考訳）: LLM(Large Language Models)の生成特性は、前回のトークンから各応答トークンをサンプリングするために計算される条件確率に反映される。 これらの確率は、モデルがトレーニングで学習し、推論で活用する分布構造を符号化する。 本研究では,確率過程の数学的理論において,これらの確率を用いてLLMを仮定する。 我々はこのフレームワークを用いて、ベイズ規則を用いて、トークン列上の分布のモデルの内部表現をキャプチャするために、次の対数確率を逆転するモデルに依存しない確率的トークン属性尺度を設計する。 表現はモデル計算構造とは独立である。 この表現は、プロンプトが与えられた応答の条件付き確率と、プロンプトが与えられた応答の条件付き確率を与える。 私たちの属性スコアは、これらの確率の比率のログです。 さらに、残りの文脈で条件付けられたトークンの分布を1つのプロンプトのエントロピーを計算する。 エントロピーと帰属スコアの相互作用はLLMの挙動に光を当てる。 本研究では,7つのプロンプトにまたがる8つのモデルを評価し,異常,トークン感度,応答安定性,モデル安定性,トレーニング収束性を検討した。

関連論文リスト

• Probabilistic classification from possibilistic data: computing Kullback-Leibler projection with a possibility distribution [12.607603625414571]
  多クラス分類における確率的指導による学習について検討する。 各トレーニングインスタンスに対して、監督は正規化された可能性分布である。 許容確率分布の空でない閉凸集合を構成する。
  論文  参考訳（メタデータ） (2026-04-02T11:58:52Z)
• D-Models and E-Models: Diversity-Stability Trade-offs in the Sampling Behavior of Large Language Models [91.21455683212224]
  大規模言語モデル(LLMs)では、次の情報の関連性確率は、次の製品の関連性確率に関連付けられる。 しかし、きめ細かいサンプリング確率がタスク要求に忠実に適合するかどうかは未解決の問題だ。 P_tokenが大きなステップ・ツー・ステップの変動を示し、P_taskとの整合性が低いDモデルと、P_tokenがより安定してP_taskに整合するEモデルである。
  論文  参考訳（メタデータ） (2026-01-25T14:59:09Z)
• Certain but not Probable? Differentiating Certainty from Probability in LLM Token Outputs for Probabilistic Scenarios [1.1510009152620668]
  確率確率的シナリオにおけるトークンの確実性と理論的確率分布との整合性について検討する。 本研究では,(1)シナリオ制約に対する応答妥当性,(2)トークンレベルの出力確率と理論的確率の一致の2つの次元を測る。 以上の結果から,両モデルが全てのプロンプトシナリオにおいて完全なドメイン内応答精度を達成する一方で,トークンレベルの確率とエントロピー値は対応する理論分布から常に分岐することがわかった。
  論文  参考訳（メタデータ） (2025-11-01T16:51:11Z)
• Variability Need Not Imply Error: The Case of Adequate but Semantically Distinct Responses [7.581259361859477]
  不確実性定量化ツールは、モデルが不確実である場合の応答を拒否するために使用できます。 我々は、モデルがAdequate Responses (PROBAR)に割り当てる確率を推定する。 ProBARはアンビグニティ/オープンエンディエントネスの異なるプロンプトでセマンティックエントロピーを上回ります。
  論文  参考訳（メタデータ） (2024-12-20T09:02:26Z)
• Estimating Causal Effects from Learned Causal Networks [56.14597641617531]
  本稿では、離散可観測変数に対する因果影響クエリに応答する代替パラダイムを提案する。 観測データから直接因果ベイズネットワークとその共起潜伏変数を学習する。 本手法は, 推定手法よりも有効であることを示す。
  論文  参考訳（メタデータ） (2024-08-26T08:39:09Z)
• Logistic-beta processes for dependent random probabilities with beta marginals [58.91121576998588]
  本稿では,ロジスティック・ベータプロセスと呼ばれる新しいプロセスを提案する。 本稿では,提案したロジスティックベータプロセスを用いて,計算処理可能な非パラメトリックモデルの設計を行う方法について述べる。
  論文  参考訳（メタデータ） (2024-02-10T21:41:32Z)
• Self-Consistency of Large Language Models under Ambiguity [4.141513298907867]
  本研究は,不特定の場合の自己整合性評価ベンチマークを示す。 あいまいな整数列補完タスクを用いて,OpenAIモデルスイート上で一連の動作実験を行う。 平均一貫性は67%から82%の範囲であり、モデルの一貫性がランダムであれば予測されるよりもはるかに高い。
  論文  参考訳（メタデータ） (2023-10-20T11:57:56Z)
• User-defined Event Sampling and Uncertainty Quantification in Diffusion Models for Physical Dynamical Systems [49.75149094527068]
  拡散モデルを用いて予測を行い,カオス力学系に対する不確かさの定量化が可能であることを示す。 本研究では,雑音レベルが低下するにつれて真の分布に収束する条件付きスコア関数の確率的近似法を開発する。 推論時に非線形ユーザ定義イベントを条件付きでサンプリングすることができ、分布の尾部からサンプリングした場合でもデータ統計と一致させることができる。
  論文  参考訳（メタデータ） (2023-06-13T03:42:03Z)
• Probabilistic Kolmogorov-Arnold Network [1.4732811715354455]
  本稿では,アレータティック不確実性の場合に出力の確率分布を推定する手法を提案する。 提案手法は, 出力の入力依存確率分布と, 入力による分布型の変化を対象とする。 本手法は任意の回帰モデルに適用できるが, 計算効率のよいモデルの構築につながるため,kansと組み合わせる。
  論文  参考訳（メタデータ） (2021-04-04T23:49:15Z)
• Tractable Inference in Credal Sentential Decision Diagrams [116.6516175350871]
  確率感性決定図は、解離ゲートの入力が確率値によってアノテートされる論理回路である。 我々は、局所確率を質量関数のクレーダル集合に置き換えることができる確率の一般化である、クレーダル感性決定図を開発する。 まず,ノイズの多い7セグメント表示画像に基づく簡単なアプリケーションについて検討する。
  論文  参考訳（メタデータ） (2020-08-19T16:04:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。