論文の概要: Probability Consistency in Large Language Models: Theoretical Foundations Meet Empirical Discrepancies

• arxiv url: http://arxiv.org/abs/2505.08739v1
• Date: Tue, 13 May 2025 16:52:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-14 20:57:54.680032
• Title: Probability Consistency in Large Language Models: Theoretical Foundations Meet Empirical Discrepancies
• Title（参考訳）: 大規模言語モデルにおける確率整合性: 理論的基礎と経験的相違
• Authors: Xiaoliang Luo, Xinyi Xu, Michael Ramscar, Bradley C. Love,
• Abstract要約: 列のパープレキシティは、前方、後方、任意の置換を含む任意の因子化の下で不変であることを示す。 我々は,GPT-2モデルを前方,後方,任意の順序で科学的テキスト上で再訓練する。
• 参考スコア（独自算出の注目度）: 11.615194868239849
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Can autoregressive large language models (LLMs) learn consistent probability distributions when trained on sequences in different token orders? We prove formally that for any well-defined probability distribution, sequence perplexity is invariant under any factorization, including forward, backward, or arbitrary permutations. This result establishes a rigorous theoretical foundation for studying how LLMs learn from data and defines principled protocols for empirical evaluation. Applying these protocols, we show that prior studies examining ordering effects suffer from critical methodological flaws. We retrain GPT-2 models across forward, backward, and arbitrary permuted orders on scientific text. We find systematic deviations from theoretical invariance across all orderings with arbitrary permutations strongly deviating from both forward and backward models, which largely (but not completely) agreed with one another. Deviations were traceable to differences in self-attention, reflecting positional and locality biases in processing. Our theoretical and empirical results provide novel avenues for understanding positional biases in LLMs and suggest methods for detecting when LLMs' probability distributions are inconsistent and therefore untrustworthy.
• Abstract（参考訳）: 自己回帰型大規模言語モデル(LLM)は、異なるトークン順序のシーケンスでトレーニングされた場合、一貫した確率分布を学習することができるか? 適切に定義された確率分布に対して、列の重複性は、前方、後方、任意の置換を含む任意の因子化の下で不変であることを正式に証明する。 この結果は、LCMがデータからどのように学習するかを研究するための厳密な理論基盤を確立し、経験的評価のための原則的プロトコルを定義する。 これらのプロトコルを応用して、順序付け効果を調べる先行研究は、重要な方法論的欠陥に悩まされていることを示す。 我々は,GPT-2モデルを前方,後方,任意の順序で科学的テキスト上で再訓練する。 任意の置換を持つすべての順序の理論的不変性から体系的な逸脱が前方モデルと後方モデルの両方から強く逸脱し、ほぼ(完全には)互いに一致している。 偏差は、処理における位置的偏差と局所性バイアスを反映して、自己注意の相違に追跡可能であった。 我々の理論的および実証的な結果は、LLMにおける位置バイアスを理解するための新しい方法を提供し、LLMの確率分布が矛盾しており、従って信頼できないことを検出する方法を提案する。

関連論文リスト

• Counterfactual Realizability [52.85109506684737]
  本稿では, 正規化可能性の定義, 分布からサンプルを抽出する能力を導入し, 任意の反事実分布が実現可能であるかどうかを判定する完全アルゴリズムを開発する。 本稿では、因果的公正さと因果的強化学習のモチベーション例を用いて、この新たな反ファクト的データ収集フレームワークの意義を説明する。
  論文  参考訳（メタデータ） (2025-03-14T20:54:27Z)
• Generalizing to any diverse distribution: uniformity, gentle finetuning and rebalancing [55.791818510796645]
  我々は,訓練データから大きく逸脱した場合でも,様々なテスト分布によく適応するモデルを開発することを目的としている。 ドメイン適応、ドメイン一般化、ロバスト最適化といった様々なアプローチは、アウト・オブ・ディストリビューションの課題に対処しようと試みている。 我々は、既知のドメイン内の十分に多様なテスト分布にまたがる最悪のケースエラーを考慮することで、より保守的な視点を採用する。
  論文  参考訳（メタデータ） (2024-10-08T12:26:48Z)
• Credal Learning Theory [4.64390130376307]
  我々は,データ生成分布の変動をモデル化するために,凸集合の確率を用いて,不規則な学習理論の基礎を定めている。 境界は有限仮説空間や古典的な結果を直接一般化する無限モデル空間の場合に導かれる。
  論文  参考訳（メタデータ） (2024-02-01T19:25:58Z)
• Incoherent Probability Judgments in Large Language Models [4.307483901449801]
  自己回帰型大言語モデル(LLM)による確率判断のコヒーレンスを評価する。 これらのモデルから得られる判断は、しばしば不整合であり、確率論の規則から人間のような体系的な逸脱を示す。
  論文  参考訳（メタデータ） (2024-01-30T00:40:49Z)
• Prototype-based Aleatoric Uncertainty Quantification for Cross-modal Retrieval [139.21955930418815]
  クロスモーダル検索手法は、共通表現空間を共同学習することにより、視覚と言語モダリティの類似性関係を構築する。 しかし、この予測は、低品質なデータ、例えば、腐敗した画像、速いペースの動画、詳細でないテキストによって引き起こされるアレタリック不確実性のために、しばしば信頼性が低い。 本稿では, 原型に基づくAleatoric Uncertainity Quantification (PAU) フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-29T09:41:19Z)
• Distributional Reinforcement Learning via Moment Matching [54.16108052278444]
  ニューラルネットワークを用いて各戻り分布から統計量の有限集合を学習する手法を定式化する。 我々の手法は、戻り分布とベルマン目標の間のモーメントの全ての順序を暗黙的に一致させるものとして解釈できる。 Atariゲームスイートの実験により,本手法は標準分布RLベースラインよりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-07-24T05:18:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。