論文の概要: Estimating Great Expectations Under Autoregressive Language Models with Potentials

• arxiv url: http://arxiv.org/abs/2610.11399v2
• Date: Fri, 09 Oct 2026 01:04:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.202098
• Title: Estimating Great Expectations Under Autoregressive Language Models with Potentials
• Title（参考訳）: 自己回帰型言語モデルによる潜在可能性の予測
• Abstract要約: 次点条件付き確率を利用して推定をより効率的にする方法を示す。 我々は、分散が選択されたポテンシャルに依存する推定器を構築し、ポテンシャルがこの分散を減少させる条件を導出する。
• 参考スコア（独自算出の注目度）: 49.009814905236716
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many applications of language models hinge not on individual samples but on the expectation of a test functional under the model. Estimating such expectations reliably can be computationally expensive. In this paper, we show how to make estimation more efficient by exploiting the next-token conditional probabilities which are available as a by-product of sampling. We do so through potentials: real-valued functions on prefixes that decompose the test functional additively. We construct an estimator whose variance depends on the chosen potential, and derive conditions under which a potential reduces this variance. We then develop practical potentials for several estimands and applications, and demonstrate substantial variance reductions across several estimands at comparable computational cost.
• Abstract（参考訳）: 言語モデルの多くの応用は、個々のサンプルではなく、モデルの下でのテスト関数を期待するものである。 このような期待を確実に見積もるのは、計算コストがかかる。 本稿では,サンプリングの副産物として利用できる次の条件付き確率を利用して,より効率的に推定する方法を示す。 テスト関数を付加的に分解するプレフィックス上の実値関数。 我々は、分散が選択されたポテンシャルに依存する推定器を構築し、ポテンシャルがこの分散を減少させる条件を導出する。 次に、いくつかの推定値と応用のための実用的なポテンシャルを開発し、同等の計算コストで複数の推定値に対して実質的なばらつきの低減を示す。

関連論文リスト

• Probabilities Are All You Need: A Probability-Only Approach to Uncertainty Estimation in Large Language Models [13.41454380481593]
  不確実性推定は、しばしば予測エントロピー推定を用いて、この問題に対処する鍵となる。 本稿では,応答のトップ-$K$確率を用いて予測エントロピーを近似する,効率的でトレーニング不要な不確実性推定手法を提案する。
  論文  参考訳（メタデータ） (2025-11-10T23:31:43Z)
• Estimating the Probabilities of Rare Outputs in Language Models [8.585890569162267]
  小型変圧器言語モデルからのargmaxサンプリングの文脈における低確率推定について検討した。 その結果、重要サンプリングはアクティベーション外挿より優れるが、どちらもナイーブサンプリングより優れていることがわかった。 低確率推定のための新しい手法は、最悪の場合の性能についてより強力な保証を提供するために必要である、と我々は主張する。
  論文  参考訳（メタデータ） (2024-10-17T04:31:18Z)
• Nearest Neighbour Score Estimators for Diffusion Generative Models [16.189734871742743]
  トレーニングセットから複数のサンプルを抽出し,推定値の分散を劇的に低減する新しい近傍スコア関数推定器を提案する。 拡散モデルでは,確率フローODE統合のための学習ネットワークを推定器で置き換えることができ,将来的な研究の新たな道が開かれる。
  論文  参考訳（メタデータ） (2024-02-12T19:27:30Z)
• Bayesian Hierarchical Models for Counterfactual Estimation [12.159830463756341]
  本稿では,多種多様なカウンターファクトの集合を推定する確率的パラダイムを提案する。 摂動を事前分布関数によるランダム変数として扱う。 収束特性の優れた勾配ベースサンプリング器は、後方サンプルを効率的に計算する。
  論文  参考訳（メタデータ） (2023-01-21T00:21:11Z)
• Evaluating Distributional Distortion in Neural Language Modeling [81.83408583979745]
  稀な事象の重みは、言語における分布の総確率質量のかなりの量を占める。 パープレキシティなどの標準言語モデリングメトリクスは、集約された言語モデル(LM)のパフォーマンスを定量化する。 自然言語を人工言語として訓練した生成モデルを用いた制御評価手法を開発した。
  論文  参考訳（メタデータ） (2022-03-24T01:09:46Z)
• Multivariate Probabilistic Regression with Natural Gradient Boosting [63.58097881421937]
  多変量予測分布の条件パラメータを非パラメトリックにモデル化したNatural Gradient Boosting (NGBoost) 手法を提案する。 提案手法は頑健で, 広範囲なチューニングを伴わず, 推定対象分布に対してモジュール構造であり, 既存の手法と比較して競争力がある。
  論文  参考訳（メタデータ） (2021-06-07T17:44:49Z)
• Probabilistic Gradient Boosting Machines for Large-Scale Probabilistic Regression [51.770998056563094]
  PGBM(Probabilistic Gradient Boosting Machines)は、確率的予測を生成する手法である。 既存の最先端手法と比較してPGBMの利点を実証的に示す。
  論文  参考訳（メタデータ） (2021-06-03T08:32:13Z)
• Goal-directed Generation of Discrete Structures with Conditional Generative Models [85.51463588099556]
  本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。 提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
  論文  参考訳（メタデータ） (2020-10-05T20:03:13Z)
• SUMO: Unbiased Estimation of Log Marginal Probability for Latent Variable Models [80.22609163316459]
  無限級数のランダム化トランケーションに基づく潜在変数モデルに対して、ログ境界確率の非バイアス推定器とその勾配を導入する。 推定器を用いてトレーニングしたモデルは、同じ平均計算コストに対して、標準的な重要度サンプリングに基づくアプローチよりも優れたテストセット確率を与えることを示す。
  論文  参考訳（メタデータ） (2020-04-01T11:49:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。