論文の概要: Contributions to the hierarchy of probabilistic languages

• arxiv url: http://arxiv.org/abs/2609.23567v1
• Date: Sun, 20 Sep 2026 11:35:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.853553
• Title: Contributions to the hierarchy of probabilistic languages
• Title（参考訳）: 確率言語の階層化への貢献
• Abstract要約: 我々は、n-gramモデルと文脈自由文法(PCFG)によって生成される確率的形式言語の理論を再考する。 確率文法の予測階層は、n-gramモデルによって生成されたすべての確率言語が、いくつかのPCFGによっても生成されることを証明することによって確立される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We reconsider the theory of probabilistic formal languages generated by n-gram models and by probabilistic context-free grammars (PCFGs). The expected hierarchy of probabilistic grammars is established by proving that every probabilistic language generated by an n-gram model is also generated by some PCFG, while some probabilistic languages generated by PCFGs cannot be generated by any $n$-gram model. We introduce the notion of fully connected PCFGs, namely PCFGs in Chomsky normal form where every production rule only involving non-terminals has non-zero probability. Our main result shows that any probabilistic language generated by an $n$-gram model differs from any probabilistic language generated by a fully connected PCFG. Therefore, the class of probabilistic languages generated by $n$-gram models is not a subset of the class generated by fully connected PCFGs.
• Abstract（参考訳）: 我々は,n-gramモデルと確率論的文脈自由文法(PCFG)によって生成される確率論的形式言語の理論を再考する。 確率文法の予測階層は、n-gramモデルによって生成されるすべての確率言語がいくつかのPCFGによっても生成されることを証明し、PCFGが生成する確率言語はどんな$n$-gramモデルでも生成できないことを証明することによって確立される。 我々は、完全連結PCFG、すなわちチョムスキー正規形式のPCFGの概念を導入する。 本結果から,$n$-gramモデルが生成する確率言語は,完全連結PCFGが生成する確率言語とは異なることがわかった。 したがって、$n$-gramモデルによって生成される確率言語のクラスは、完全に連結されたPCFGによって生成されるクラスのサブセットではない。

関連論文リスト

• A Data-free Universal Prior over Syntactic Structures [0.0]
  統語的構造よりも普遍的な先行は、漸進的な言語生産の認知的動機付けモデルから現れることを示す。 その結果,構文の確率構造の一部は言語固有の統計的学習とは独立して生じる可能性が示唆された。
  論文  参考訳（メタデータ） (2026-09-15T08:45:27Z)
• Holographic Neural PCFG for Unsupervised Parsing [14.432298879095555]
  ホログラフィック・ニューラルPCFGは代数記号埋め込みとしてのPCFGルールを再放送する。 Hol-PCFGは6言語で最先端の構文解析性能を達成する。
  論文  参考訳（メタデータ） (2026-07-09T02:29:36Z)
• Ensembling Language Models with Sequential Monte Carlo [48.149136054981334]
  我々は、$K$の言語モデルを$f$のアンサンブル分布に構成するための統一的なフレームワークを導入する。 より優れた後部近似により、より優れたアンサンブル性能が得られることを示す。
  論文  参考訳（メタデータ） (2026-03-05T17:54:31Z)
• Information Locality as an Inductive Bias for Neural Language Models [52.92279412466086]
  本稿では,Transformer と LSTM LM の言語学習において,$m$local entropy は困難であることを示す。 これらの結果は、ニューラルネットワークが言語の統計構造に非常に敏感であることを示唆している。
  論文  参考訳（メタデータ） (2025-06-05T15:21:05Z)
• GPT as a Monte Carlo Language Tree: A Probabilistic Perspective [18.026350259669126]
  大規模言語モデル(LLM)は、大規模ウェブクローリングデータセット内の潜伏分布を学習すると考えられている。 本稿では,モンテカルロ言語木を用いて任意の言語データセットを表現できる,という新しい視点を提案する。 実験の結果、同じデータセット上でトレーニングされた異なるGPTモデルが、GPT-Tree可視化において大きな構造的類似性を示すことがわかった。
  論文  参考訳（メタデータ） (2025-01-13T19:04:57Z)
• On the Representational Capacity of Neural Language Models with Chain-of-Thought Reasoning [87.73401758641089]
  CoT推論による現代言語モデル(LM)の性能向上 LMは弦上の分布の族を確率的チューリングマシンと同一に表現できることを示す。
  論文  参考訳（メタデータ） (2024-06-20T10:59:02Z)
• Semirings for Probabilistic and Neuro-Symbolic Logic Programming [15.747744148181829]
  確率論的論理プログラミングの多くの拡張が、共通の代数論理プログラミングフレームワークにキャスト可能であることを示す。 これはPLPのバリエーションそのものだけでなく、(代数的な)モデルカウントに基づく実行メカニズムにも当てはまります。
  論文  参考訳（メタデータ） (2024-02-21T13:06:52Z)
• Simple Hardware-Efficient PCFGs with Independent Left and Right Productions [77.12660133995362]
  この研究は、独立した左右のプロダクションを持つ単純なPCFG形式であるemphSimplePCFGを導入している。 教師なしのアルゴリズムとして、我々の単純なPCFGは英語 PTB の平均 F1 65.1 を取得し、言語モデルとして、119.0 のパープレキシティを得る。
  論文  参考訳（メタデータ） (2023-10-23T14:48:51Z)
• Evaluating Distributional Distortion in Neural Language Modeling [81.83408583979745]
  稀な事象の重みは、言語における分布の総確率質量のかなりの量を占める。 パープレキシティなどの標準言語モデリングメトリクスは、集約された言語モデル(LM)のパフォーマンスを定量化する。 自然言語を人工言語として訓練した生成モデルを用いた制御評価手法を開発した。
  論文  参考訳（メタデータ） (2022-03-24T01:09:46Z)
• Probabilistic Generating Circuits [50.98473654244851]
  効率的な表現のための確率的生成回路(PGC)を提案する。 PGCは、非常に異なる既存モデルを統一する理論的なフレームワークであるだけでなく、現実的なデータをモデル化する大きな可能性も示している。 我々はPCとDPPの単純な組み合わせによって簡単に仮定されない単純なPGCのクラスを示し、一連の密度推定ベンチマークで競合性能を得る。
  論文  参考訳（メタデータ） (2021-02-19T07:06:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。