論文の概要: Recovering Event Probabilities from Large Language Model Embeddings via Axiomatic Constraints

• arxiv url: http://arxiv.org/abs/2505.07883v1
• Date: Sat, 10 May 2025 19:04:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-14 20:57:54.252541
• Title: Recovering Event Probabilities from Large Language Model Embeddings via Axiomatic Constraints
• Title（参考訳）: 公理的制約による大規模言語モデル埋め込みからのイベント確率の回復
• Authors: Jian-Qiao Zhu, Haijiang Yan, Thomas L. Griffiths,
• Abstract要約: 拡張変分オートエンコーダにより学習された潜在空間において、確率論の加法則のような公理的制約を強制することを提案する。 このアプローチは、VAEがオリジナルの埋め込みを再構築し、意味的に関連するイベントの埋め込みを予測することから、イベント確率が潜時空間に自然に現れることを可能にする。
• 参考スコア（独自算出の注目度）: 4.029252551781513
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Rational decision-making under uncertainty requires coherent degrees of belief in events. However, event probabilities generated by Large Language Models (LLMs) have been shown to exhibit incoherence, violating the axioms of probability theory. This raises the question of whether coherent event probabilities can be recovered from the embeddings used by the models. If so, those derived probabilities could be used as more accurate estimates in events involving uncertainty. To explore this question, we propose enforcing axiomatic constraints, such as the additive rule of probability theory, in the latent space learned by an extended variational autoencoder (VAE) applied to LLM embeddings. This approach enables event probabilities to naturally emerge in the latent space as the VAE learns to both reconstruct the original embeddings and predict the embeddings of semantically related events. We evaluate our method on complementary events (i.e., event A and its complement, event not-A), where the true probabilities of the two events must sum to 1. Experiment results on open-weight language models demonstrate that probabilities recovered from embeddings exhibit greater coherence than those directly reported by the corresponding models and align closely with the true probabilities.
• Abstract（参考訳）: 不確実性の下での合理的な意思決定には、出来事に対する一貫性のある信念が必要である。 しかし、Large Language Models (LLMs) によって生成された事象確率は、確率論の公理に反する不整合を示すことが示されている。 これにより、モデルが使用する埋め込みからコヒーレントなイベント確率を回復できるかどうかという疑問が提起される。 もしそうなら、これらの導出確率は不確実性を含む事象のより正確な推定として利用することができる。 本研究では,LLM埋め込みに適用した拡張変分オートエンコーダ(VAE)により学習された潜在空間において,確率論の加法則などの公理的制約を強制することを提案する。 このアプローチは、VAEがオリジナルの埋め込みを再構築し、意味的に関連するイベントの埋め込みを予測することから、イベント確率が潜時空間に自然に現れることを可能にする。 我々は,2つの事象の真確率を 1 にまとめる補的事象(事象 A とその補的事象 not-A)について,その方法を評価する。 オープンウェイト言語モデルにおける実験結果から,埋め込みから回復した確率は,対応するモデルによって直接報告された確率よりも高いコヒーレンスを示し,真の確率と密接に一致していることが示された。

関連論文リスト

• Exchangeable Sequence Models Quantify Uncertainty Over Latent Concepts [6.256239986541708]
  事前学習されたシーケンスモデルは、交換可能なデータポイントよりも確率論的推論が可能であることを示す。 シーケンスモデルは、典型的なベイズモデルとは異なる観測間の関係を学習する。 シーケンス予測損失が不確実性定量化の品質を制御することを示す。
  論文  参考訳（メタデータ） (2024-08-06T17:16:10Z)
• To Believe or Not to Believe Your LLM [51.2579827761899]
  大規模言語モデル(LLM)における不確実性定量化について検討する。 疫学的な不確実性が大きい場合にのみ確実に検出できる情報理論の指標を導出する。 定式化の利点を実証する一連の実験を行う。
  論文  参考訳（メタデータ） (2024-06-04T17:58:18Z)
• Intervention and Conditioning in Causal Bayesian Networks [23.225006087292765]
  単純だが現実的な独立を仮定することで、介入公式の確率を推定できることを示す。 多くの場合、仮定が適切であれば、これらの確率推定は観測データを用いて評価することができる。
  論文  参考訳（メタデータ） (2024-05-23T15:55:38Z)
• Incoherent Probability Judgments in Large Language Models [4.307483901449801]
  自己回帰型大言語モデル(LLM)による確率判断のコヒーレンスを評価する。 これらのモデルから得られる判断は、しばしば不整合であり、確率論の規則から人間のような体系的な逸脱を示す。
  論文  参考訳（メタデータ） (2024-01-30T00:40:49Z)
• Towards Characterizing Domain Counterfactuals For Invertible Latent Causal Models [15.817239008727789]
  本研究では,異なるドメインで生成された場合,サンプルがどのようなものであったのかを仮定した,ドメイン反事実と呼ばれる特定のタイプの因果クエリを解析する。 本研究では, 潜在構造因果モデル (SCM) の回復は, ドメイン・デファクト・デファクトを推定するために不要であることを示す。 また、モデル生成過程を単純化し、生成モデル推定を行うための理論的基盤となる実用的なアルゴリズムも開発する。
  論文  参考訳（メタデータ） (2023-06-20T04:19:06Z)
• User-defined Event Sampling and Uncertainty Quantification in Diffusion Models for Physical Dynamical Systems [49.75149094527068]
  拡散モデルを用いて予測を行い,カオス力学系に対する不確かさの定量化が可能であることを示す。 本研究では,雑音レベルが低下するにつれて真の分布に収束する条件付きスコア関数の確率的近似法を開発する。 推論時に非線形ユーザ定義イベントを条件付きでサンプリングすることができ、分布の尾部からサンプリングした場合でもデータ統計と一致させることができる。
  論文  参考訳（メタデータ） (2023-06-13T03:42:03Z)
• Dense Uncertainty Estimation via an Ensemble-based Conditional Latent Variable Model [68.34559610536614]
  我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。 そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。 以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-11-22T08:54:10Z)
• Multivariate Probabilistic Regression with Natural Gradient Boosting [63.58097881421937]
  多変量予測分布の条件パラメータを非パラメトリックにモデル化したNatural Gradient Boosting (NGBoost) 手法を提案する。 提案手法は頑健で, 広範囲なチューニングを伴わず, 推定対象分布に対してモジュール構造であり, 既存の手法と比較して競争力がある。
  論文  参考訳（メタデータ） (2021-06-07T17:44:49Z)
• Tractable Inference in Credal Sentential Decision Diagrams [116.6516175350871]
  確率感性決定図は、解離ゲートの入力が確率値によってアノテートされる論理回路である。 我々は、局所確率を質量関数のクレーダル集合に置き換えることができる確率の一般化である、クレーダル感性決定図を開発する。 まず,ノイズの多い7セグメント表示画像に基づく簡単なアプリケーションについて検討する。
  論文  参考訳（メタデータ） (2020-08-19T16:04:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。