論文の概要: Always Tell Me The Odds: Fine-grained Conditional Probability Estimation

• arxiv url: http://arxiv.org/abs/2505.01595v1
• Date: Fri, 02 May 2025 21:33:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-06 18:49:35.187889
• Title: Always Tell Me The Odds: Fine-grained Conditional Probability Estimation
• Title（参考訳）: いつも私にオッドを言う: きめ細かい条件確率の推定
• Authors: Liaoyaqi Wang, Zhengping Jiang, Anqi Liu, Benjamin Van Durme,
• Abstract要約: 文脈条件付き命題のきめ細かい確率推定のための最先端モデルを提案する。 提案手法は,既存の微調整法とプロンプト法を大きなマージンで一貫して上回ることを示す。
• 参考スコア（独自算出の注目度）: 37.950889606305836
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a state-of-the-art model for fine-grained probability estimation of propositions conditioned on context. Recent advances in large language models (LLMs) have significantly enhanced their reasoning capabilities, particularly on well-defined tasks with complete information. However, LLMs continue to struggle with making accurate and well-calibrated probabilistic predictions under uncertainty or partial information. While incorporating uncertainty into model predictions often boosts performance, obtaining reliable estimates of that uncertainty remains understudied. In particular, LLM probability estimates tend to be coarse and biased towards more frequent numbers. Through a combination of human and synthetic data creation and assessment, scaling to larger models, and better supervision, we propose a set of strong and precise probability estimation models. We conduct systematic evaluations across tasks that rely on conditional probability estimation and show that our approach consistently outperforms existing fine-tuned and prompting-based methods by a large margin.
• Abstract（参考訳）: 文脈条件付き命題のきめ細かい確率推定のための最先端モデルを提案する。 大規模言語モデル(LLM)の最近の進歩は、特に完全な情報を持つ明確に定義されたタスクにおいて、その推論能力を大幅に向上させてきた。 しかし、LSMは不確実性や部分的な情報の下で正確な確率的予測を行うのに苦労し続けている。 モデル予測に不確実性を導入すると、しばしば性能が向上するが、その不確実性に関する信頼性の高い推定値を得るには、まだ検討が続けられている。 特に、LSM確率推定はより頻繁な数に対して粗く偏りがちである。 ヒトと合成データの作成と評価の組み合わせ、より大きなモデルへのスケーリング、そしてより良い監視により、我々は強い精度と正確な確率推定モデルを提案する。 我々は条件付き確率推定に依存するタスクに対して系統的な評価を行い、我々の手法が既存の微調整法やプロンプト法を大きなマージンで一貫して上回っていることを示す。

関連論文リスト

• A Probabilistic Perspective on Unlearning and Alignment for Large Language Models [48.96686419141881]
  大規模言語モデル(LLM)のための最初の形式的確率的評価フレームワークを紹介する。 すなわち,モデルの出力分布に関する確率保証の高い新しい指標を提案する。 私たちのメトリクスはアプリケーションに依存しないので、デプロイ前にモデル機能についてより信頼性の高い見積を行うことができます。
  論文  参考訳（メタデータ） (2024-10-04T15:44:23Z)
• BIRD: A Trustworthy Bayesian Inference Framework for Large Language Models [52.46248487458641]
  予測モデルは、現実世界のタスクで不完全な情報を扱う必要があることが多い。 現在の大規模言語モデル(LLM)は正確な推定には不十分である。 本稿では,新しい確率的推論フレームワークBIRDを提案する。
  論文  参考訳（メタデータ） (2024-04-18T20:17:23Z)
• Probabilistic Deep Learning to Quantify Uncertainty in Air Quality Forecasting [5.007231239800297]
  この研究は、空気質予測の現実的な設定における不確実性定量化の最先端技術を適用した。 本稿では,経験的性能,信頼度推定の信頼性,実用性に基づいて,トレーニング確率モデルを記述し,予測の不確実性を評価する。 本実験は,データ駆動空気質予測の不確かさの定量化において,提案モデルが従来よりも優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2021-12-05T17:01:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。