論文の概要: From Evidence to Belief: A Bayesian Epistemology Approach to Language Models

• arxiv url: http://arxiv.org/abs/2504.19622v1
• Date: Mon, 28 Apr 2025 09:28:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:54.381685
• Title: From Evidence to Belief: A Bayesian Epistemology Approach to Language Models
• Title（参考訳）: エビデンスから信念へ:ベイズ認識論による言語モデルへのアプローチ
• Authors: Minsu Kim, Sangryul Kim, James Thorne,
• Abstract要約: 本稿では,ベイズ的仮定の観点から,言語モデルの観点から言語モデルの知識を考察する。 本研究では,言語モデルが情報量や信頼性のレベルが異なる証拠を提示する際に,その信頼性と応答をどのように調整するかを検討する。 分析の結果,言語モデルがゴールデンエビデンスに偏りがあることが判明した。
• 参考スコア（独自算出の注目度）: 26.71765756117039
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper investigates the knowledge of language models from the perspective of Bayesian epistemology. We explore how language models adjust their confidence and responses when presented with evidence with varying levels of informativeness and reliability. To study these properties, we create a dataset with various types of evidence and analyze language models' responses and confidence using verbalized confidence, token probability, and sampling. We observed that language models do not consistently follow Bayesian epistemology: language models follow the Bayesian confirmation assumption well with true evidence but fail to adhere to other Bayesian assumptions when encountering different evidence types. Also, we demonstrated that language models can exhibit high confidence when given strong evidence, but this does not always guarantee high accuracy. Our analysis also reveals that language models are biased toward golden evidence and show varying performance depending on the degree of irrelevance, helping explain why they deviate from Bayesian assumptions.
• Abstract（参考訳）: 本稿ではベイズ認識学の観点から言語モデルの知識を考察する。 本稿では,言語モデルが情報量や信頼性のレベルが異なる証拠を提示する際に,その信頼性と応答をどのように調整するかを考察する。 これらの特性を研究するために,言語モデルの応答と信頼度を,言語的信頼度,トークン確率,サンプリングを用いて分析する。 我々は、言語モデルはベイズ的認識論に一貫して従わないことを観察した。言語モデルは、真の証拠とよく一致したベイズ的確証仮定に従うが、異なる証拠型に遭遇した場合に他のベイズ的仮定に従わない。 また,強い証拠を与えられた場合,言語モデルは高い信頼性を示すことができることを示したが,必ずしも高い精度を保証するとは限らない。 分析の結果,言語モデルがゴールデンエビデンスに偏り,無関係の程度によって異なる性能を示すことが明らかとなり,ベイズ的仮定から逸脱する理由が説明できた。

関連論文リスト

• Trustworthy Alignment of Retrieval-Augmented Large Language Models via Reinforcement Learning [84.94709351266557]
  検索強化に関して,言語モデルの信頼性に焦点をあてる。 検索強化言語モデルには,文脈的知識とパラメトリック的知識の両方に応じて応答を供給できる本質的な能力があると考えられる。 言語モデルと人間の嗜好の整合性に着想を得て,検索強化言語モデルを外部証拠にのみ依存する状況に整合させるための第一歩を踏み出した。
  論文  参考訳（メタデータ） (2024-10-22T09:25:21Z)
• Understanding Epistemic Language with a Language-augmented Bayesian Theory of Mind [47.001163099930494]
  ベイジアン推論に基づく認識的言語解釈モデルを導入する。 実験では,エージェントが迷路をナビゲートして,目標達成に必要な箱に隠されたキーを見つけ,エージェントの信念を判断する。
  論文  参考訳（メタデータ） (2024-08-21T22:29:56Z)
• Lean-STaR: Learning to Interleave Thinking and Proving [53.923617816215774]
  証明の各ステップに先立って,非公式な思考を生成するために,言語モデルをトレーニングするフレームワークであるLean-STaRを紹介します。 Lean-STaRは、Lean定理証明環境内のminiF2F-testベンチマークで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2024-07-14T01:43:07Z)
• Uncertain Evidence in Probabilistic Models and Stochastic Simulators [80.40110074847527]
  我々は、不確実性を伴う観測を伴う確率論的モデルにおいて、ベイズ的推論を行うという問題について考察する。 我々は、不確実な証拠をどう解釈するかを探求し、潜伏変数の推論に関連する適切な解釈の重要性を拡大する。 我々は、不確実な証拠を説明するための具体的なガイドラインを考案し、特に一貫性に関する新しい洞察を提供する。
  論文  参考訳（メタデータ） (2022-10-21T20:32:59Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
  実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。 アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。 我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
  論文  参考訳（メタデータ） (2021-04-01T17:40:08Z)
• The Rediscovery Hypothesis: Language Models Need to Meet Linguistics [8.293055016429863]
  現代言語モデルの性能向上に言語知識が必須条件であるかどうかを検討する。 その結果, 言語構造を探索した場合, かなり圧縮されるが, 事前学習目的によく適合する言語モデルは, 良好なスコアを保っていることがわかった。 この結果は再発見仮説を支持し,本論文の第2の貢献である言語モデル目標と言語情報との関連性に関する情報論的枠組みを導出する。
  論文  参考訳（メタデータ） (2021-03-02T15:57:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。