論文の概要: Using Large Language Models to Suggest Informative Prior Distributions in Bayesian Statistics

• arxiv url: http://arxiv.org/abs/2506.21964v1
• Date: Fri, 27 Jun 2025 07:11:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-30 21:12:23.115618
• Title: Using Large Language Models to Suggest Informative Prior Distributions in Bayesian Statistics
• Title（参考訳）: 大規模言語モデルを用いたベイズ統計における非形式的事前分布の提案
• Authors: Michael A. Riegler, Kristoffer Herland Hellton, Vajira Thambawita, Hugo L. Hammer,
• Abstract要約: 我々は,大規模言語モデル (LLM) を用いて,適切な知識に基づく情報提供先を提案する。 心疾患リスクとコンクリート強度の2つの実際のデータセットを用いてClaude Opus,Gemini 2.5 Pro,ChatGPT-4o-miniを評価した。
• 参考スコア（独自算出の注目度）: 2.068155110318607
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Selecting prior distributions in Bayesian statistics is challenging, resource-intensive, and subjective. We analyze using large-language models (LLMs) to suggest suitable, knowledge-based informative priors. We developed an extensive prompt asking LLMs not only to suggest priors but also to verify and reflect on their choices. We evaluated Claude Opus, Gemini 2.5 Pro, and ChatGPT-4o-mini on two real datasets: heart disease risk and concrete strength. All LLMs correctly identified the direction for all associations (e.g., that heart disease risk is higher for males). The quality of suggested priors was measured by their Kullback-Leibler divergence from the maximum likelihood estimator's distribution. The LLMs suggested both moderately and weakly informative priors. The moderate priors were often overconfident, resulting in distributions misaligned with the data. In our experiments, Claude and Gemini provided better priors than ChatGPT. For weakly informative priors, a key performance difference emerged: ChatGPT and Gemini defaulted to an "unnecessarily vague" mean of 0, while Claude did not, demonstrating a significant advantage. The ability of LLMs to identify correct associations shows their great potential as an efficient, objective method for developing informative priors. However, the primary challenge remains in calibrating the width of these priors to avoid over- and under-confidence.
• Abstract（参考訳）: ベイズ統計における事前分布の選択は困難であり、資源集約的で主観的である。 我々は,大規模言語モデル (LLM) を用いて,適切な知識に基づく情報提供先を提案する。 我々は, LLMに対して, 事前提案だけでなく, その選択を検証し, 反映するよう依頼する広範囲なプロンプトを開発した。 心疾患リスクとコンクリート強度の2つの実際のデータセットを用いてClaude Opus,Gemini 2.5 Pro,ChatGPT-4o-miniを評価した。 全てのLSMは、すべての関連(例えば、心臓病リスクが男性よりも高い)の方向を正しく特定した。 提案した先行値の品質は,最大確率推定器の分布からKulback-Leiblerの偏差によって測定された。 LLMは、適度に、そして弱々しく情報的な先駆者の両方を示唆した。 適度な先入観はしばしば過信され、結果として分布はデータと不一致となった。 私たちの実験では、Claude氏とGemini氏はChatGPTよりも優れた優先順位を提供しました。 ChatGPT と Gemini は 0 の "不必要にあいまいな" 平均をデフォルトとしていたが、Claude はそうはしなかった。 LLMが正しい関連性を特定する能力は、情報的先行性を開発するための効率的で客観的な方法として大きな可能性を秘めている。 しかし、主要な課題は、過度かつ過度な信頼を避けるために、これらの事前の幅を校正することである。

関連論文リスト

• AutoElicit: Using Large Language Models for Expert Prior Elicitation in Predictive Modelling [53.54623137152208]
  我々はAutoElicitを導入し、大規模言語モデルから知識を抽出し、予測モデルのための事前構築を行う。 これらの先行情報は情報的であり、自然言語を用いて洗練できることを示す。 AutoElicitは、非形式的な事前よりもエラーを大幅に減らし、ラベルを減らし、コンテクスト内学習を一貫して上回ります。
  論文  参考訳（メタデータ） (2024-11-26T10:13:39Z)
• HAVER: Instance-Dependent Error Bounds for Maximum Mean Estimation and Applications to Q-Learning and Monte Carlo Tree Search [9.811007096988755]
  そこで本研究では,K分布中の最大平均値の固有値をサンプルを用いて推定する問題について検討する。 HAVERと呼ばれる新しいアルゴリズムを提案し,その平均二乗誤差を解析する。
  論文  参考訳（メタデータ） (2024-11-01T07:05:11Z)
• Uncertainty Estimation of Large Language Models in Medical Question Answering [60.72223137560633]
  大規模言語モデル(LLM)は、医療における自然言語生成の約束を示すが、事実的に誤った情報を幻覚させるリスクがある。 医学的問合せデータセットのモデルサイズが異なる人気不確実性推定(UE)手法をベンチマークする。 以上の結果から,本領域における現在のアプローチは,医療応用におけるUEの課題を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-07-11T16:51:33Z)
• Deep Bayesian Active Learning for Preference Modeling in Large Language Models [84.817400962262]
  本稿では,BAL-PM(Bayesian Active Learner for Preference Modeling)を提案する。 BAL-PMは2つの人気のある人間の嗜好データセットにおいて、好みラベルを33%から68%少なくし、以前のベイズ買収ポリシーを超えている。 我々の実験では、BAL-PMは2つの人気のある人選好データセットにおいて33%から68%の選好ラベルを必要としており、ベイズ買収ポリシーを上回ります。
  論文  参考訳（メタデータ） (2024-06-14T13:32:43Z)
• Eliciting the Priors of Large Language Models using Iterated In-Context Learning [4.307483901449801]
  本研究では,大規模言語モデルから事前分布を抽出するためのプロンプトベースのワークフローを開発する。 実験では, 従来, 反復学習を用いて, 被験者の先行する超人格を推定する手法を検証した。 そこで我々は,AIの開発時期など,さまざまな投機的事象に対して,GPT-4から先行情報を抽出するために,同じ手法を用いた。
  論文  参考訳（メタデータ） (2024-06-04T00:09:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。