論文の概要: Phase transition on a context-sensitive random language model with short range interactions

• arxiv url: http://arxiv.org/abs/2604.00947v1
• Date: Wed, 01 Apr 2026 14:19:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-02 16:44:32.034697
• Title: Phase transition on a context-sensitive random language model with short range interactions
• Title（参考訳）: 短距離相互作用をもつ文脈感性ランダム言語モデルにおける位相遷移
• Authors: Yuma Toji, Jun Takahashi, Vwani Roychowdhury, Hideyuki Miyahara,
• Abstract要約: 短距離相互作用を持つランダム言語モデルの統計的特性を数値的に検討する。 言語モデルにおける有限温度相転移は、言語固有の性質によって真に誘導される。
• 参考スコア（独自算出の注目度）: 1.4874449172133888
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Since the random language model was proposed by E. DeGiuli [Phys. Rev. Lett. 122, 128301], language models have been investigated intensively from the viewpoint of statistical mechanics. Recently, the existence of a Berezinskii--Kosterlitz--Thouless transition was numerically demonstrated in models with long-range interactions between symbols. In statistical mechanics, it has long been known that long-range interactions can induce phase transitions. Therefore, it has remained unclear whether phase transitions observed in language models originate from genuinely linguistic properties that are absent in conventional spin models. In this study, we construct a random language model with short-range interactions and numerically investigate its statistical properties. Our model belongs to the class of context-sensitive grammars in the Chomsky hierarchy and allows explicit reference to contexts. We find that a phase transition occurs even when the model refers only to contexts whose length remains constant with respect to the sentence length. This result indicates that finite-temperature phase transitions in language models are genuinely induced by the intrinsic nature of language, rather than by long-range interactions.
• Abstract（参考訳）: The random language model was proposed by E. DeGiuli [Phys. Rev. Lett. 122, 128301] 以来,言語モデルは統計力学の観点から集中的に研究されてきた。 近年、記号間の長距離相互作用を持つモデルにおいて、ベレジンスキー-コステリッツ-チューレス遷移の存在が数値的に証明された。 統計力学において、長距離相互作用が相転移を引き起こすことは古くから知られている。 したがって、言語モデルで観察される相転移が、従来のスピンモデルに欠落している真の言語特性に由来するかどうかは不明なままである。 本研究では,短距離相互作用を持つランダム言語モデルを構築し,その統計的特性を数値的に検討する。 我々のモデルは、チョムスキー階層の文脈依存文法のクラスに属し、文脈への明示的な参照を可能にする。 文の長さが一定である文脈のみをモデルが参照しても,相転移が発生する。 この結果は、言語モデルにおける有限温度相転移が、長距離相互作用ではなく、言語固有の性質によって真に誘導されることを示唆している。

関連論文リスト

• Beyond Early-Token Bias: Model-Specific and Language-Specific Position Effects in Multilingual LLMs [50.07451351559251]
  我々は,5言語(英語,ロシア語,ドイツ語,ヒンディー語,ベトナム語)にまたがる調査を行った。 位置バイアスが即時戦略とどのように相互作用し、出力エントロピーに影響を及ぼすかを検討する。
  論文  参考訳（メタデータ） (2025-05-22T02:23:00Z)
• First numerical observation of the Berezinskii-Kosterlitz-Thouless transition in language models [1.4061979259370274]
  自然言語モデルの枠組みにおける不明瞭な相転移を数値的に示す。 我々は相転移をベレジンスキー-コステリッツ-トゥーレス転移の変種として同定する。
  論文  参考訳（メタデータ） (2024-12-02T07:32:32Z)
• Learning thresholds lead to stable language coexistence [0.0]
  本稿では,言語シフトダイナミクスにおける記憶と学習の効果を組み込んだ言語競合モデルを提案する。 粗い時間スケールでは、記憶と学習の影響は、競合する言語の話者分数に対する閾値として表すことができる。
  論文  参考訳（メタデータ） (2024-06-14T14:24:02Z)
• Robustness of the Random Language Model [0.0]
  このモデルは、潜在的言語の広大な空間におけるアニーリングの一種として、最初の言語学習の簡単な図を示唆している。 これは、潜在的な単語とカテゴリ間の対称性が自発的に壊れる文法構文への単一の連続的な遷移を意味する。 結果は、言語学における第一言語習得の理論と、機械学習における最近の成功を踏まえて議論される。
  論文  参考訳（メタデータ） (2023-09-26T13:14:35Z)
• Quantum Effects on the Synchronization Dynamics of the Kuramoto Model [62.997667081978825]
  量子揺らぎは同期の出現を妨げるが、完全に抑制するわけではない。 モデルパラメータへの依存を強調して,臨界結合の解析式を導出する。
  論文  参考訳（メタデータ） (2023-06-16T16:41:16Z)
• Model Criticism for Long-Form Text Generation [113.13900836015122]
  我々は,テキストの高レベル構造を評価するために,潜在空間におけるモデル批判という統計ツールを適用した。 我々は,コヒーレンス,コア,トピックスという,ハイレベルな談話の3つの代表的な側面について実験を行った。 トランスフォーマーベースの言語モデルでは、トピック構造をキャプチャできるが、構造コヒーレンスやモデリングコアスを維持するのが難しくなる。
  論文  参考訳（メタデータ） (2022-10-16T04:35:58Z)
• Multi-timescale Representation Learning in LSTM Language Models [69.98840820213937]
  言語モデルは、非常に短いから非常に長いまでの時間スケールで単語間の統計的依存関係を捉えなければならない。 我々は、長期記憶言語モデルにおけるメモリゲーティング機構が、パワーローの減衰を捉えることができるかの理論を導出した。 実験の結果,自然言語で学習したLSTM言語モデルは,この理論分布を近似することがわかった。
  論文  参考訳（メタデータ） (2020-09-27T02:13:38Z)
• Mechanisms for Handling Nested Dependencies in Neural-Network Language Models and Humans [75.15855405318855]
  我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。 ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。 我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
  論文  参考訳（メタデータ） (2020-06-19T12:00:05Z)
• Limits of Detecting Text Generated by Large-Scale Language Models [65.46403462928319]
  誤情報キャンペーンで使用される可能性があるため、長く一貫性のあるテキストを生成できる大規模な言語モデルが危険であると考える者もいる。 ここでは、仮説テスト問題として大規模言語モデル出力検出を定式化し、テキストを真あるいは生成されたものと分類する。
  論文  参考訳（メタデータ） (2020-02-09T19:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。