論文の概要: Eliciting Numerical Predictive Distributions of LLMs Without Autoregression

• arxiv url: http://arxiv.org/abs/2603.02913v1
• Date: Tue, 03 Mar 2026 12:13:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-04 21:38:10.784211
• Title: Eliciting Numerical Predictive Distributions of LLMs Without Autoregression
• Title（参考訳）: 自己回帰のないLLMの数値予測分布の除去
• Authors: Julianna Piskorz, Katarzyna Kobalczyk, Mihaela van der Schaar,
• Abstract要約: 本研究では,LLM予測の分布特性を明示的な自己回帰生成なしに復元できるかどうかを検討した。 以上の結果から,LLMの埋め込みは予測分布の要約統計に関する情報的信号を運ぶことが示唆された。
• 参考スコア（独自算出の注目度）: 46.67044415202221
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have recently been successfully applied to regression tasks -- such as time series forecasting and tabular prediction -- by leveraging their in-context learning abilities. However, their autoregressive decoding process may be ill-suited to continuous-valued outputs, where obtaining predictive distributions over numerical targets requires repeated sampling, leading to high computational cost and inference time. In this work, we investigate whether distributional properties of LLM predictions can be recovered without explicit autoregressive generation. To this end, we study a set of regression probes trained to predict statistical functionals (e.g., mean, median, quantiles) of the LLM's numerical output distribution directly from its internal representations. Our results suggest that LLM embeddings carry informative signals about summary statistics of their predictive distributions, including the numerical uncertainty. This investigation opens up new questions about how LLMs internally encode uncertainty in numerical tasks, and about the feasibility of lightweight alternatives to sampling-based approaches for uncertainty-aware numerical predictions.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、最近、文脈内学習能力を活用することで、時系列予測や表形式の予測といった回帰タスクにうまく適用されている。 しかし、それらの自己回帰復号処理は連続値出力に不適であり、数値的な目標に対する予測分布を得るには繰り返しサンプリングが必要であり、高い計算コストと推論時間をもたらす。 本研究では,LLM予測の分布特性を明示的な自己回帰生成なしに復元できるかどうかを検討する。 この目的のために, LLMの数値出力分布の統計関数(平均, 平均, 中央値, 定量値)を内部表現から直接予測するために訓練された回帰プローブについて検討した。 以上の結果から,LSMの埋め込みは,数値的不確実性を含む予測分布の要約統計に関する情報的信号を運ぶことが示唆された。 本研究は, LLMが数値処理における不確実性を内部的にエンコードする方法についての新たな疑問と, 不確実性を考慮した数値予測のためのサンプリングベースアプローチに対する軽量な代替手段の実現可能性に関する疑問を提起する。

関連論文リスト

• How Well Do LLMs Predict Human Behavior? A Measure of their Pretrained Knowledge [0.0]
  大規模言語モデル(LLM)は、人間の行動を予測するのにますます使われている。 本稿では,事前学習したLLMが,そのような予測にどの程度の知識をもたらすかを評価する尺度を提案する。 本研究では,ある領域における固定LDMの予測誤差を,ドメイン固有データのサンプル増加に基づいて学習したフレキシブル機械学習モデルと比較することにより,この測定値を推定する。
  論文  参考訳（メタデータ） (2026-01-18T10:28:54Z)
• Predicting Language Models' Success at Zero-Shot Probabilistic Prediction [23.802154124780376]
  個人レベルの特徴を生成するためのゼロショットモデルとして,大規模言語モデル(LLM)の能力について検討する。 LLMのパフォーマンスは、同じデータセット内のタスクと異なるデータセットの両方で非常に可変であることがわかった。 タスクレベルでのLLMのパフォーマンスを予測するためのメトリクスを構築し、LLMがうまく機能する可能性のあるタスクと、それらが適さない可能性のあるタスクを区別することを目的としている。
  論文  参考訳（メタデータ） (2025-09-18T18:57:05Z)
• Beyond Naïve Prompting: Strategies for Improved Zero-shot Context-aided Forecasting with LLMs [57.82819770709032]
  大規模言語モデル (LLM) は、na "ive direct prompting" を通じて効果的な文脈支援予測を行うことができる。 ReDPは、明確な推論トレースを抽出することで、解釈可能性を改善し、コンテキスト上でモデルの推論を評価することができる。 CorDPはLLMを活用して、既存の予測をコンテキストで洗練し、現実の予測パイプラインにおける適用性を高める。 IC-DPは、文脈支援予測タスクの歴史的例を即時に組み込むことを提案し、大規模モデルにおいても精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-08-13T16:02:55Z)
• Scaling Laws for Predicting Downstream Performance in LLMs [75.28559015477137]
  この研究は、性能推定のためのより計算効率のよい指標として、事前学習損失に焦点を当てている。 FLP-Mは、事前トレーニング中に複数のソースからのデータセットを統合する実践的なニーズに対処する、パフォーマンス予測の基本的なアプローチである。
  論文  参考訳（メタデータ） (2024-10-11T04:57:48Z)
• Quantifying Prediction Consistency Under Fine-Tuning Multiplicity in Tabular LLMs [10.494477811252034]
  微調整多重度は分類タスクにおけるタブラル LLM に現れる。 我々の研究は、タブラルLLMにおける微調整多重性というこのユニークな挑戦を定式化する。 本稿では,コストのかかるモデル再訓練を伴わずに,個々の予測の一貫性を定量化する手法を提案する。
  論文  参考訳（メタデータ） (2024-07-04T22:22:09Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• LLM Processes: Numerical Predictive Distributions Conditioned on Natural Language [35.84181171987974]
  我々のゴールは、数値データを処理し、任意の場所で確率的予測を行うレグレッションモデルを構築することである。 まず、大規模言語モデルから明示的で一貫性のある数値予測分布を抽出する戦略を探求する。 本研究では,テキストを数値予測に組み込む能力を示し,予測性能を改善し,定性的な記述を反映した定量的な構造を与える。
  論文  参考訳（メタデータ） (2024-05-21T15:13:12Z)
• Do LLMs Play Dice? Exploring Probability Distribution Sampling in Large Language Models for Behavioral Simulation [73.58618024960968]
  人間のシーケンシャルな意思決定過程をエミュレートするエージェントとして、大きな言語モデル(LLM)を採用する研究が増えている。 このことは、確率分布を理解するためにLLMエージェントの容量に関する好奇心を喚起する。 分析の結果, LLM エージェントは確率を理解できるが, 確率サンプリングに苦慮していることがわかった。
  論文  参考訳（メタデータ） (2024-04-13T16:59:28Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)
• Efficient Estimation and Evaluation of Prediction Rules in Semi-Supervised Settings under Stratified Sampling [6.930951733450623]
  本稿では,2段階の半教師付き学習(SSL)手法を提案する。 ステップIでは、非ランダムサンプリングを考慮した非線形基底関数による重み付き回帰により、欠落ラベルをインプットする。 ステップIIでは、結果の予測器の整合性を確保するために、初期計算を増強する。
  論文  参考訳（メタデータ） (2020-10-19T12:54:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。