論文の概要: Do Language Models Have Bayesian Brains? Distinguishing Stochastic and Deterministic Decision Patterns within Large Language Models

• arxiv url: http://arxiv.org/abs/2506.10268v1
• Date: Thu, 12 Jun 2025 01:23:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 15:37:22.511498
• Title: Do Language Models Have Bayesian Brains? Distinguishing Stochastic and Deterministic Decision Patterns within Large Language Models
• Title（参考訳）: 言語モデルにベイズ脳は存在するか? 大規模言語モデルにおける確率的・決定論的決定パターンの解消
• Authors: Andrea Yaoyun Cui, Pengfei Yu,
• Abstract要約: 特定の条件下では、言語モデルがほぼ決定論的意思決定を示すことが示される。 このことは、サンプリング仮定に挑戦し、人間のような先入観を抽出する以前の手法を損なう。 本稿では,ギブズサンプリングにおける決定論的決定パターンの識別方法を提案する。
• 参考スコア（独自算出の注目度）: 2.5812117322021644
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models are essentially probability distributions over token sequences. Auto-regressive models generate sentences by iteratively computing and sampling from the distribution of the next token. This iterative sampling introduces stochasticity, leading to the assumption that language models make probabilistic decisions, similar to sampling from unknown distributions. Building on this assumption, prior research has used simulated Gibbs sampling, inspired by experiments designed to elicit human priors, to infer the priors of language models. In this paper, we revisit a critical question: Do language models possess Bayesian brains? Our findings show that under certain conditions, language models can exhibit near-deterministic decision-making, such as producing maximum likelihood estimations, even with a non-zero sampling temperature. This challenges the sampling assumption and undermines previous methods for eliciting human-like priors. Furthermore, we demonstrate that without proper scrutiny, a system with deterministic behavior undergoing simulated Gibbs sampling can converge to a "false prior." To address this, we propose a straightforward approach to distinguish between stochastic and deterministic decision patterns in Gibbs sampling, helping to prevent the inference of misleading language model priors. We experiment on a variety of large language models to identify their decision patterns under various circumstances. Our results provide key insights in understanding decision making of large language models.
• Abstract（参考訳）: 言語モデルは基本的にトークン列上の確率分布である。 自己回帰モデルは、次のトークンの分布から反復的に計算しサンプリングすることで文を生成する。 この反復的なサンプリングは確率性を導入し、未知の分布からのサンプリングと同様、言語モデルが確率的決定を行うという仮定に繋がる。 この仮定に基づいて、先行研究では、人間の先行性を引き出すために設計された実験にインスパイアされた模擬ギブスサンプリングを使用して、言語モデルの先行性を推測している。 本稿では、言語モデルがベイズ脳を持っているかという重要な疑問を再考する。 その結果, ある条件下では, 非ゼロサンプリング温度であっても, 最大推定値の生成など, 言語モデルがほぼ決定的な決定を下せることがわかった。 このことは、サンプリング仮定に挑戦し、人間のような先入観を抽出する以前の手法を損なう。 さらに, 適切な精査がなければ, 模擬ギブズサンプリングを行う決定論的挙動を持つシステムが「偽先行」に収束することを示した。 これを解決するために,ギブズサンプリングにおける確率的および決定論的決定パターンを区別する簡単な手法を提案する。 様々な状況下で,様々な言語モデルを用いて意思決定パターンを識別する実験を行った。 この結果から,大規模言語モデルの意思決定を理解する上で重要な知見が得られた。

関連論文リスト

• A Probability--Quality Trade-off in Aligned Language Models and its Relation to Sampling Adaptors [50.046717886067555]
  一致した言語モデルからコーパスをサンプリングする場合,文字列の平均報酬と平均ログ類似度との間にはトレードオフが存在することを示す。 我々は、この現象を形式的に処理し、サンプリングアダプタの選択が、どれだけの確率で報酬を交換できるかを選択できるかを実証する。
  論文  参考訳（メタデータ） (2024-06-14T17:38:21Z)
• Token-wise Decomposition of Autoregressive Language Model Hidden States for Analyzing Model Predictions [9.909170013118775]
  本研究は,各初期入力トークンに基づいて,自己回帰言語モデルから最終隠れ状態の線形分解を行う。 次単語確率の変化を重要度尺度として、まず、どの文脈語が言語モデル予測に最も貢献するかを検討する。
  論文  参考訳（メタデータ） (2023-05-17T23:55:32Z)
• Locally Typical Sampling [84.62530743899025]
  我々は、今日の確率的言語ジェネレータが、一貫性と流動性のあるテキストを生成する際に不足していることを示します。 本稿では,確率モデルから生成する際の,この基準を強制するための簡易かつ効率的な手順を提案する。
  論文  参考訳（メタデータ） (2022-02-01T18:58:45Z)
• Limits of Detecting Text Generated by Large-Scale Language Models [65.46403462928319]
  誤情報キャンペーンで使用される可能性があるため、長く一貫性のあるテキストを生成できる大規模な言語モデルが危険であると考える者もいる。 ここでは、仮説テスト問題として大規模言語モデル出力検出を定式化し、テキストを真あるいは生成されたものと分類する。
  論文  参考訳（メタデータ） (2020-02-09T19:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。