論文の概要: The Probabilistic Structure of Large Language Models

• arxiv url: http://arxiv.org/abs/2609.25134v1
• Date: Sun, 20 Sep 2026 21:53:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.042111
• Title: The Probabilistic Structure of Large Language Models
• Title（参考訳）: 大規模言語モデルの確率構造
• Abstract要約: 本稿では,大規模言語モデル(LLM)の確率論的視点を示す。 The role of the Kullback-Leibler divergence in text generation was examined with characteristic phenomena such as hallucination。 また,トークンスコア関数を中心に構築された拡散モデルについても論じる。これは連続的な予測ではなく,離散時間と連続時間の両方でノイズをデータに変換する逆時間プロセスのシミュレーションである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a probabilistic perspective on large language models (LLMs), developed with the aim of bringing together, in a single self-contained account, tools that are usually treated separately across the literature. LLMs are described through probability measures on the set of sequences of tokens, specified via their autoregressive conditional distributions. Training is formulated as a maximum-likelihood estimation problem, addressed by stochastic gradient methods, while text generation is viewed as the sequential simulation of the resulting stochastic process. The role of the asymmetry of the Kullback--Leibler divergence in text generation is examined in relation with characteristic phenomena such as hallucination and the distinction between statistical plausibility and truth. As a complementary illustration of the same viewpoint, we also discuss diffusion models, built around the score function, which cast generation not as sequential token prediction but as the simulation of a reverse-time stochastic process transforming noise into data both in discrete and continuous time.
• Abstract（参考訳）: 本稿では,大規模言語モデル (LLM) の確率論的視点について述べる。 LLMは、その自己回帰条件分布によって指定されたトークンの列の集合の確率測度によって記述される。 トレーニングは、確率勾配法によって対処される最大自由度推定問題として定式化され、テキスト生成は結果の確率過程の逐次シミュレーションと見なされる。 テキスト生成におけるKulback-Leiblerの非対称性の役割を,幻覚などの特徴現象や統計的妥当性と真理の区別との関連で検討した。 同じ視点の補足的な図示として、スコア関数を中心に構築された拡散モデルについても論じる。これは、逐次トークン予測ではなく、離散時間と連続時間の両方でノイズをデータに変換する逆時間確率過程のシミュレーションである。

関連論文リスト

• Noise Titration: Exact Distributional Benchmarking for Probabilistic Time Series Forecasting [1.5939955861266883]
  本稿では,介入主義的,厳密な統計的ベンチマークへのパラダイムシフトを提案する。 我々は,ブラックボックスシーケンスマッチングゲームから正確な分布推定タスクに予測を変換する。 我々は、最先端のゼロショットモデルがコンテキストパロッキング機構と一貫して振る舞うことを発見した。
  論文  参考訳（メタデータ） (2026-03-23T17:14:11Z)
• Statistical Inference via Generative Models: Flow Matching and Causal Inference [0.0]
  生成AIは目覚ましい経験的な成功を収めてきたが、統計学の観点から見れば、しばしば不透明である。 この本は、フローマッチングを中心的な例として、統計言語における生成AIを再解釈する。
  論文  参考訳（メタデータ） (2026-03-09T22:56:02Z)
• Spatial Reasoning with Denoising Models [49.83744014336816]
  本稿では,連続変数の集合に対する推論を行うためのフレームワークを提案する。 初めて、その生成順序をデノナイジングネットワーク自体によって予測できる。 これらの結果から,特定の推論タスクの精度を1%から50%に向上させることができる。
  論文  参考訳（メタデータ） (2025-02-28T14:08:30Z)
• Online Identification of Stochastic Continuous-Time Wiener Models Using Sampled Data [4.037738063437126]
  連続時間ウィナーモデルの同定のための出力エラー予測器に基づくオンライン推定アルゴリズムを開発した。 この方法は、外乱過程のスペクトルに関する仮定に対して堅牢である。
  論文  参考訳（メタデータ） (2024-03-09T12:33:09Z)
• Logistic-beta processes for dependent random probabilities with beta marginals [58.91121576998588]
  本稿では,ロジスティック・ベータプロセスと呼ばれる新しいプロセスを提案する。 本稿では,提案したロジスティックベータプロセスを用いて,計算処理可能な非パラメトリックモデルの設計を行う方法について述べる。
  論文  参考訳（メタデータ） (2024-02-10T21:41:32Z)
• ChiroDiff: Modelling chirographic data with Diffusion Models [132.5223191478268]
  チャーログラフィーデータのための強力なモデルクラスである「拡散確率モデル(Denoising Diffusion Probabilistic Models)」やDDPMを導入している。 我々のモデルは「ChiroDiff」と呼ばれ、非自己回帰的であり、全体論的概念を捉えることを学び、したがって高い時間的サンプリングレートに回復する。
  論文  参考訳（メタデータ） (2023-04-07T15:17:48Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• MINIMALIST: Mutual INformatIon Maximization for Amortized Likelihood Inference from Sampled Trajectories [61.3299263929289]
  シミュレーションベースの推論は、その可能性が実際に計算できない場合でもモデルのパラメータを学習することができる。 あるクラスのメソッドは、異なるパラメータでシミュレートされたデータを使用して、確率とエビデンス比の償却推定器を推定する。 モデルパラメータとシミュレーションデータ間の相互情報の観点から,本手法が定式化可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-03T12:59:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。