論文の概要: Probability Consistency in Large Language Models: Theoretical Foundations Meet Empirical Discrepancies

• arxiv url: http://arxiv.org/abs/2505.08739v1
• Date: Tue, 13 May 2025 16:52:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-14 20:57:54.680032
• Title: Probability Consistency in Large Language Models: Theoretical Foundations Meet Empirical Discrepancies
• Title（参考訳）: 大規模言語モデルにおける確率整合性: 理論的基礎と経験的相違
• Authors: Xiaoliang Luo, Xinyi Xu, Michael Ramscar, Bradley C. Love,
• Abstract要約: 列のパープレキシティは、前方、後方、任意の置換を含む任意の因子化の下で不変であることを示す。 我々は,GPT-2モデルを前方,後方,任意の順序で科学的テキスト上で再訓練する。
• 参考スコア（独自算出の注目度）: 11.615194868239849
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Can autoregressive large language models (LLMs) learn consistent probability distributions when trained on sequences in different token orders? We prove formally that for any well-defined probability distribution, sequence perplexity is invariant under any factorization, including forward, backward, or arbitrary permutations. This result establishes a rigorous theoretical foundation for studying how LLMs learn from data and defines principled protocols for empirical evaluation. Applying these protocols, we show that prior studies examining ordering effects suffer from critical methodological flaws. We retrain GPT-2 models across forward, backward, and arbitrary permuted orders on scientific text. We find systematic deviations from theoretical invariance across all orderings with arbitrary permutations strongly deviating from both forward and backward models, which largely (but not completely) agreed with one another. Deviations were traceable to differences in self-attention, reflecting positional and locality biases in processing. Our theoretical and empirical results provide novel avenues for understanding positional biases in LLMs and suggest methods for detecting when LLMs' probability distributions are inconsistent and therefore untrustworthy.
• Abstract（参考訳）: 自己回帰型大規模言語モデル(LLM)は、異なるトークン順序のシーケンスでトレーニングされた場合、一貫した確率分布を学習することができるか? 適切に定義された確率分布に対して、列の重複性は、前方、後方、任意の置換を含む任意の因子化の下で不変であることを正式に証明する。 この結果は、LCMがデータからどのように学習するかを研究するための厳密な理論基盤を確立し、経験的評価のための原則的プロトコルを定義する。 これらのプロトコルを応用して、順序付け効果を調べる先行研究は、重要な方法論的欠陥に悩まされていることを示す。 我々は,GPT-2モデルを前方,後方,任意の順序で科学的テキスト上で再訓練する。 任意の置換を持つすべての順序の理論的不変性から体系的な逸脱が前方モデルと後方モデルの両方から強く逸脱し、ほぼ(完全には)互いに一致している。 偏差は、処理における位置的偏差と局所性バイアスを反映して、自己注意の相違に追跡可能であった。 我々の理論的および実証的な結果は、LLMにおける位置バイアスを理解するための新しい方法を提供し、LLMの確率分布が矛盾しており、従って信頼できないことを検出する方法を提案する。

関連論文リスト

• Flipping Against All Odds: Reducing LLM Coin Flip Bias via Verbalized Rejection Sampling [59.133428586090226]
  大規模言語モデル(LLM)は、しばしば自然言語を用いて確率分布を正確に記述することができる。 このミスマッチはモンテカルロ法、エージェントベースのシミュレーション、ランダム化された意思決定などの信頼性を必要とするタスクでの使用を制限する。 本稿では,古典的リジェクションサンプリングの自然言語適応であるVerbalized Rejection Smpling (VRS)を紹介する。
  論文  参考訳（メタデータ） (2025-06-11T17:59:58Z)
• Counterfactual Realizability [52.85109506684737]
  本稿では, 正規化可能性の定義, 分布からサンプルを抽出する能力を導入し, 任意の反事実分布が実現可能であるかどうかを判定する完全アルゴリズムを開発する。 本稿では、因果的公正さと因果的強化学習のモチベーション例を用いて、この新たな反ファクト的データ収集フレームワークの意義を説明する。
  論文  参考訳（メタデータ） (2025-03-14T20:54:27Z)
• Permutation-Based Rank Test in the Presence of Discretization and Application in Causal Discovery with Mixed Data [16.892960387325743]
  心理学的な研究において、ある人の特定の個性の次元の連続的なレベルは、離散化後にのみ測定できる。 変数が離散化されても統計的誤差を適切に制御できる混合データ置換型ランクテスト(MPRT)を提案する。 MPRTは離散化の有無でType Iエラーを効果的に制御できるが、以前の方法では制御できない。
  論文  参考訳（メタデータ） (2025-01-31T09:47:26Z)
• Transformation-Invariant Learning and Theoretical Guarantees for OOD Generalization [34.036655200677664]
  本稿では、(データ)変換マップのクラスによって、列車とテストの分布を関連付けることができる分散シフト設定に焦点を当てる。 経験的リスク最小化(ERM)に対する学習ルールとアルゴリズムの削減を確立する。 我々は,学習ルールが分配シフトに関するゲーム理論的な視点を提供する点を強調した。
  論文  参考訳（メタデータ） (2024-10-30T20:59:57Z)
• Generalizing to any diverse distribution: uniformity, gentle finetuning and rebalancing [55.791818510796645]
  我々は,訓練データから大きく逸脱した場合でも,様々なテスト分布によく適応するモデルを開発することを目的としている。 ドメイン適応、ドメイン一般化、ロバスト最適化といった様々なアプローチは、アウト・オブ・ディストリビューションの課題に対処しようと試みている。 我々は、既知のドメイン内の十分に多様なテスト分布にまたがる最悪のケースエラーを考慮することで、より保守的な視点を採用する。
  論文  参考訳（メタデータ） (2024-10-08T12:26:48Z)
• Credal Learning Theory [4.64390130376307]
  我々は,データ生成分布の変動をモデル化するために,凸集合の確率を用いて,不規則な学習理論の基礎を定めている。 境界は有限仮説空間や古典的な結果を直接一般化する無限モデル空間の場合に導かれる。
  論文  参考訳（メタデータ） (2024-02-01T19:25:58Z)
• Incoherent Probability Judgments in Large Language Models [4.307483901449801]
  自己回帰型大言語モデル(LLM)による確率判断のコヒーレンスを評価する。 これらのモデルから得られる判断は、しばしば不整合であり、確率論の規則から人間のような体系的な逸脱を示す。
  論文  参考訳（メタデータ） (2024-01-30T00:40:49Z)
• Prototype-based Aleatoric Uncertainty Quantification for Cross-modal Retrieval [139.21955930418815]
  クロスモーダル検索手法は、共通表現空間を共同学習することにより、視覚と言語モダリティの類似性関係を構築する。 しかし、この予測は、低品質なデータ、例えば、腐敗した画像、速いペースの動画、詳細でないテキストによって引き起こされるアレタリック不確実性のために、しばしば信頼性が低い。 本稿では, 原型に基づくAleatoric Uncertainity Quantification (PAU) フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-29T09:41:19Z)
• Correcting Underrepresentation and Intersectional Bias for Classification [49.1574468325115]
  我々は、表現不足のバイアスによって破損したデータから学習する問題を考察する。 偏りのないデータの少ない場合、グループワイドのドロップアウト率を効率的に推定できることが示される。 本アルゴリズムは,有限VC次元のモデルクラスに対して,効率的な学習を可能にする。
  論文  参考訳（メタデータ） (2023-06-19T18:25:44Z)
• Causal Discovery in Heterogeneous Environments Under the Sparse Mechanism Shift Hypothesis [7.895866278697778]
  機械学習のアプローチは、一般に独立で同一に分散されたデータ(すなわち、d)の仮定に依存する。 実際、この仮定は環境間の分散シフトによってほとんど常に破られる。 そこで我々は,様々な経験的推定器に適用可能なスコアベースアプローチであるメカニズムシフトスコア(MSS)を提案する。
  論文  参考訳（メタデータ） (2022-06-04T15:39:30Z)
• Distributional Reinforcement Learning via Moment Matching [54.16108052278444]
  ニューラルネットワークを用いて各戻り分布から統計量の有限集合を学習する手法を定式化する。 我々の手法は、戻り分布とベルマン目標の間のモーメントの全ての順序を暗黙的に一致させるものとして解釈できる。 Atariゲームスイートの実験により,本手法は標準分布RLベースラインよりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-07-24T05:18:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。