論文の概要: Scaling limit of the Random Language Model

• arxiv url: http://arxiv.org/abs/2606.28105v1
• Date: Fri, 26 Jun 2026 14:00:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-29 18:24:25.508315
• Title: Scaling limit of the Random Language Model
• Title（参考訳）: ランダム言語モデルのスケーリング限界
• Abstract要約: 我々は、文脈自由文法のアンサンブルであるランダム言語モデル(RLM)の理論を開発する。 その結果, RLM の凝縮遷移は臨界値$x_c=1/8$ で表され, 規則の使用法は集中し, 言語統計学はコーパス長に非自明な依存度を得ることがわかった。 これらの体制全体において、異なる規則、エントロピーおよび関連する可観測物の数に対する明示的なスケーリング法則を導出する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We develop a quantitative theory of the Random Language Model (RLM), an ensemble of stochastic context-free grammars, in a scaling limit where the number of hidden symbols $N \to \infty$ while the grammar temperature $\tildeε_d \to 0$ at fixed $x = {\tildeε}_d \log N$. In this limit, the model admits a controlled description based on a large-deviation principle over rule-usage patterns. A semi-annealed approximation maps the problem to a class of Random Energy Models with nontrivial combinatorics. We show that the RLM exhibits a condensation transition at a critical value $x_c=1/8$, below which rule usage concentrates and language statistics acquire a nontrivial dependence on corpus length. A second characteristic scale at $x=1/2$ marks the onset of entropy reduction from its maximal value. Across these regimes, we derive explicit scaling laws for the number of distinct rules, entropy, and related observables, identifying distinct scaling, saturation, and critical regimes controlled by the interplay of grammar size, corpus length, and temperature. The theory resolves previous ambiguities regarding the existence of a thermodynamic transition and explains the slow approach to the large-$N$ limit as a consequence of the dependence on $\log N$. It further provides a unified framework in which universal statistical properties of language emerge from typical realizations of generative grammars, with implications for both natural language statistics and the behavior of large language models.
• Abstract（参考訳）: 確率的文脈自由文法のアンサンブルであるランダム言語モデル(RLM)の定量的理論を、隠れシンボルの数が$N \to \infty$であるのに対して、文法温度が$\tildeε_d \to 0$ at fixed $x = {\tildeε}_d \log N$であるようなスケーリング限界に展開する。 この制限では、このモデルはルール使用パターンに対する大きな逸脱原理に基づく制御された記述を許容する。 半熱近似は、問題を非自明なコンビネータを持つランダムエネルギーモデルのクラスにマッピングする。 その結果, RLM の凝縮遷移は臨界値$x_c=1/8$ で表され, 規則の使用法は集中し, 言語統計学はコーパス長に非自明な依存度を得ることがわかった。 2つ目の特性スケールは、最大値からエントロピー還元の開始を示す$x=1/2$である。 これらの制度全体にわたって、異なる規則、エントロピー、および関連する観測可能量の明示的なスケーリング法則を導出し、文法サイズ、体長、温度の相互作用によって制御される個別のスケーリング、飽和および臨界状態を特定する。 この理論は熱力学的遷移の存在に関する過去の曖昧さを解決し、$\log N$への依存の結果、大きなN$制限に対する遅いアプローチを説明する。 さらに、生成文法の典型的な実現から言語の普遍的な統計的性質が出現する統一的な枠組みを提供し、自然言語統計学と大規模言語モデルの振る舞いの両方に影響を及ぼす。

関連論文リスト

• Generative Criticality in Large Language Model Temperature Scaling [3.472734054649125]
  大規模言語モデル(LLM)によって生成されるテキストの統計的フィールドフレームワークを提案する。 接続された2点相関器からの感受性と、アンサンブル平均埋め込み場からの順序パラメータを定義する。 パワーローのようなスケーリング,順序パラメータの同時変化,T_c$以下の1つの意味的方向への崩壊といった特徴を持つ$T_c$近傍の鋭い感受性ピークを観測した。
  論文  参考訳（メタデータ） (2026-06-04T14:43:32Z)
• Information Hierarchy in Many-Body Berry Phase [0.0]
  多体トポロジーは、現代固体理論における中心的な概念である。 この研究は、相互作用する多体基底状態の幾何学的情報が、有限個の局所相関から推測できる範囲について研究する。
  論文  参考訳（メタデータ） (2026-06-01T12:20:41Z)
• Asymptotic distinguishability of Haar-averaged measurement models [0.0]
  本研究では,同じHaar-random測定機構によって生じる識別問題について検討する。 固定$N$, large-d$, the fixed-$d$, large-$N$ regime, the sparse joint-scaling regime $N=o(sqrt d)$, and the critical scaling regime $N/sqrt dto c$。
  論文  参考訳（メタデータ） (2026-05-29T11:20:52Z)
• Fine-Tuning Improves Information Conveyance in Language Models [34.13231597052981]
  木の観点から言語生成を眺める尺度であるCanopy Entropy(mathrmCEstar$)を提案する。 $mathrmCEstar$は出力長$N$と生成されたシーケンス$Y_1:N$の両方の不確実性をキャプチャする。 微調整はエントロピー率と意味的多様性の相関性をほぼ3倍に向上させることがわかった。
  論文  参考訳（メタデータ） (2026-05-29T05:05:01Z)
• Self-Attention as a Covariance Readout: A Unified View of In-Context Learning and Repetition [8.250374560598495]
  大規模言語モデル(LLM)は、インコンテキスト学習(ICL)と反復生成の2つの振る舞いを示す。 どちらのモデルも、コンテキストを人口統計と捨てられたトークンレベルの詳細に要約したかのように振る舞う。 この要約と「忘れる」は、注意機構自体から導き出すことができ、肯定的に答えられるかどうかを問う。
  論文  参考訳（メタデータ） (2026-05-11T12:33:15Z)
• Information Locality as an Inductive Bias for Neural Language Models [52.92279412466086]
  本稿では,Transformer と LSTM LM の言語学習において,$m$local entropy は困難であることを示す。 これらの結果は、ニューラルネットワークが言語の統計構造に非常に敏感であることを示唆している。
  論文  参考訳（メタデータ） (2025-06-05T15:21:05Z)
• Compute-Optimal LLMs Provably Generalize Better With Scale [102.29926217670926]
  我々は,大規模言語モデル(LLM)の事前学習目標に基づく一般化境界を開発する。 損失関数の分散を考慮し, 既存の境界を緩める, 完全経験的フリードマン型マルティンゲール濃度を導入する。 我々は一般化ギャップのスケーリング法則を作成し、その境界はスケールによって予測的に強くなる。
  論文  参考訳（メタデータ） (2025-04-21T16:26:56Z)
• Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
  トークンの制約を評価するのは 違法にコストがかかる LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。 我々のアプローチは最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-07T18:30:18Z)
• Non-asymptotic bounds for forward processes in denoising diffusions: Ornstein-Uhlenbeck is hard to beat [49.1574468325115]
  本稿では,全変動(TV)における前方拡散誤差の非漸近的境界について述べる。 我々は、R$からFarthestモードまでの距離でマルチモーダルデータ分布をパラメライズし、加法的および乗法的雑音による前方拡散を考察する。
  論文  参考訳（メタデータ） (2024-08-25T10:28:31Z)
• A Pseudo-Semantic Loss for Autoregressive Models with Logical Constraints [87.08677547257733]
  ニューロシンボリックAIは、純粋にシンボリックな学習とニューラルな学習のギャップを埋める。 本稿では,ニューラルネットワークの出力分布に対するシンボリック制約の可能性を最大化する方法を示す。 また,スドクと最短経路予測の手法を自己回帰世代として評価した。
  論文  参考訳（メタデータ） (2023-12-06T20:58:07Z)
• Theory of free fermions under random projective measurements [43.04146484262759]
  本研究では,一次元自由フェルミオンを局所的占有数のランダム射影的測定対象とする解析的手法を開発した。 問題の有効場理論として非線形シグマモデル(NLSM)を導出する。
  論文  参考訳（メタデータ） (2023-04-06T15:19:33Z)
• Minimax Optimal Quantization of Linear Models: Information-Theoretic Limits and Efficient Algorithms [59.724977092582535]
  測定から学習した線形モデルの定量化の問題を考える。 この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。 本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-23T02:39:04Z)
• Many-Body Quantum Chaos and Space-time Translational Invariance [0.0]
  我々は、多体量子カオス系において、空間および時間における翻訳不変性の帰結について検討する。 単一部位のランダムなユニタリと近傍のカップリングからなるランダムな量子回路のアンサンブルを考える。 2つの異なる回路モデルのシミュレーションにより、このようなスケーリングの限界において、ほとんどの顕微鏡的詳細が重要でないことを数値的に示す。
  論文  参考訳（メタデータ） (2021-09-09T18:00:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。