論文の概要: A Data-free Universal Prior over Syntactic Structures

• arxiv url: http://arxiv.org/abs/2609.16854v1
• Date: Tue, 15 Sep 2026 08:45:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.421255
• Title: A Data-free Universal Prior over Syntactic Structures
• Title（参考訳）: 構文構造に対するデータ自由な普遍的優先順位
• Abstract要約: 統語的構造よりも普遍的な先行は、漸進的な言語生産の認知的動機付けモデルから現れることを示す。 その結果,構文の確率構造の一部は言語固有の統計的学習とは独立して生じる可能性が示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Probability is fundamental to theories of language comprehension, production, acquisition, and evolution, as well as to large language models. Existing theories estimate the probability of syntactic structures from language-specific data. Whether part of this probability structure can arise independently of language-specific experience remains unknown. Here I show that a universal prior over syntactic structures emerges from a cognitively motivated model of incremental language production, in which words are progressively integrated into syntactic structure through network growth. The resulting prior assigns probabilities to syntactic structures --represented as dependency trees-- without fitting parameters to linguistic data, and assigns higher probabilities to attested than to random trees in all 138 typologically diverse languages examined. These prior probabilities correlate positively with probabilities estimated from corpora in 33 of 34 languages. The results indicate that part of the probability structure of syntax can arise independently of language-specific statistical learning. Linguistic experience may therefore refine probabilities that are already structured by the process of language production, rather than create them from an initially uniform space. This identifies a possible cognitive origin for part of the probability distribution over syntactic structures, linking language production and statistical learning while providing a data-independent structural bias for probabilistic models of language.
• Abstract（参考訳）: 確率は、言語理解、生産、獲得、進化の理論、および大きな言語モデルに基本的である。 既存の理論では、言語固有のデータから構文構造の確率を推定している。 この確率構造の一部が言語固有の経験から独立して生じるかどうかは不明である。 ここでは,言語生成の認知的動機付けモデルから,構文構造よりも普遍的な先行が出現し,段階的に単語がネットワーク成長を通じて構文構造に統合されることを示す。 その結果得られた確率は、言語データにパラメータを適合させることなく、構文構造(依存性木として表される)に割り当て、調査対象言語138言語すべてにおいて、ランダムツリーよりも高い確率を割り当てる。 これらの先行確率は、34言語中33言語のコーパスから推定される確率と正に相関する。 その結果,構文の確率構造の一部は言語固有の統計的学習とは独立して生じることが示唆された。 したがって言語経験は、当初均一な空間から言語を生成するのではなく、既に言語生産のプロセスによって構築されている確率を洗練させるかもしれない。 これは、構文構造上の確率分布の一部の認知的起源を特定し、言語生成と統計的学習をリンクさせ、言語の確率論的モデルにデータ非依存的な構造的バイアスを与える。

関連論文リスト

• From Linear Input to Hierarchical Structure: Function Words as Statistical Cues for Language Learning [2.893006778402251]
  我々は関数語が言語習得において重要な役割を担っていると論じる。 3つの特性を全て保持する言語変種は、より容易にニューラルラーニングによって取得できることが示される。
  論文  参考訳（メタデータ） (2026-01-29T02:42:12Z)
• Can Language Models Learn Typologically Implausible Languages? [62.823015163987996]
  人間の言語にまたがる文法的特徴は、人間の学習バイアスに起因する興味深い相関関係を示している。 言語モデル(LM)が言語普遍性におけるドメイン一般学習バイアスの役割をよりよく決定する方法について論じる。 本研究は,英語(頭初期)と日本語(頭最終)の超自然主義的だが反実的なバージョンを用いて,LMを試験する。
  論文  参考訳（メタデータ） (2025-02-17T20:40:01Z)
• Linguistic Structure from a Bottleneck on Sequential Information Processing [5.850665541267672]
  予測情報によって制約されたコードに自然言語のような体系性が生じることを示す。 人間の言語は、音韻学、形態学、構文学、意味論のレベルにおいて、低い予測情報を持つように構成されている。
  論文  参考訳（メタデータ） (2024-05-20T15:25:18Z)
• From Word Models to World Models: Translating from Natural Language to the Probabilistic Language of Thought [124.40905824051079]
  言語インフォームド・シンキングのための計算フレームワークである「構成」を合理的に提案する。 我々は、自然言語から確率論的思考言語への文脈感応的なマッピングとして、言語の意味を定式化する。 LLMは、現実的に適切な言語的意味をキャプチャする文脈依存翻訳を生成することができることを示す。 認知的なモチベーションを持つシンボリックモジュールを統合するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2023-06-22T05:14:00Z)
• False perspectives on human language: why statistics needs linguistics [0.8699677835130408]
  統計的測度は, 構造的モデルと非構造的モデルのいずれかに基づいて定義できることを示す。 構文構造を反映した仮定モデルのみが、言語の規則性を考慮できる。
  論文  参考訳（メタデータ） (2023-02-17T11:40:32Z)
• On the probability-quality paradox in language generation [76.69397802617064]
  我々は情報理論レンズを用いて言語生成を分析する。 人間の言語は自然文字列上の分布のエントロピーに近い量の情報を含むべきであると仮定する。
  論文  参考訳（メタデータ） (2022-03-31T17:43:53Z)
• Evaluating Distributional Distortion in Neural Language Modeling [81.83408583979745]
  稀な事象の重みは、言語における分布の総確率質量のかなりの量を占める。 パープレキシティなどの標準言語モデリングメトリクスは、集約された言語モデル(LM)のパフォーマンスを定量化する。 自然言語を人工言語として訓練した生成モデルを用いた制御評価手法を開発した。
  論文  参考訳（メタデータ） (2022-03-24T01:09:46Z)
• Locally Typical Sampling [84.62530743899025]
  我々は、今日の確率的言語ジェネレータが、一貫性と流動性のあるテキストを生成する際に不足していることを示します。 本稿では,確率モデルから生成する際の,この基準を強制するための簡易かつ効率的な手順を提案する。
  論文  参考訳（メタデータ） (2022-02-01T18:58:45Z)
• Linguistic dependencies and statistical dependence [76.89273585568084]
  文脈における単語の確率を推定するために,事前学習した言語モデルを用いる。 最大CPMI木は非文脈PMI推定値から抽出した木よりも言語的依存関係によく対応していることがわかった。
  論文  参考訳（メタデータ） (2021-04-18T02:43:37Z)
• Statistical patterns of word frequency suggesting the probabilistic nature of human languages [5.059800023492045]
  この研究は、言語的普遍性、ダイアクロニックドリフト、言語の変化といった重要な言語問題を、仮釈放の確率と頻度パターンに翻訳できることを示している。 これらの結果から,人間の言語は自然の確率論的システムである可能性が示唆され,統計学が人間の言語の本質的特性を成す可能性が示唆された。
  論文  参考訳（メタデータ） (2020-12-01T00:48:27Z)
• Learning Music Helps You Read: Using Transfer to Study Linguistic Structure in Language Models [27.91397366776451]
  遅延構造(MIDI音楽またはJavaコード)上でのLSTMのトレーニングは、自然言語でのテストパフォーマンスを改善する。 語彙重なりに制御される自然言語間の移動実験により,試験言語におけるゼロショット性能は,訓練言語とタイプ的類似性に強く相関していることが示された。
  論文  参考訳（メタデータ） (2020-04-30T06:24:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。