論文の概要: From Linear Input to Hierarchical Structure: Function Words as Statistical Cues for Language Learning
- arxiv url: http://arxiv.org/abs/2601.21191v1
- Date: Thu, 29 Jan 2026 02:42:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-30 16:22:49.527191
- Title: From Linear Input to Hierarchical Structure: Function Words as Statistical Cues for Language Learning
- Title（参考訳）: 線形入力から階層構造へ:言語学習における統計的手がかりとしての関数語
- Authors: Xiulin Yang, Heidi Getz, Ethan Gotlieb Wilcox,
- Abstract要約: 我々は関数語が言語習得において重要な役割を担っていると論じる。
3つの特性を全て保持する言語変種は、より容易にニューラルラーニングによって取得できることが示される。
- 参考スコア（独自算出の注目度）: 2.893006778402251
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: What statistical conditions support learning hierarchical structure from linear input? In this paper, we address this question by focusing on the statistical distribution of function words. Function words have long been argued to play a crucial role in language acquisition due to their distinctive distributional properties, including high frequency, reliable association with syntactic structure, and alignment with phrase boundaries. We use cross-linguistic corpus analysis to first establish that all three properties are present across 186 studied languages. Next, we use a combination of counterfactual language modeling and ablation experiments to show that language variants preserving all three properties are more easily acquired by neural learners, with frequency and structural association contributing more strongly than boundary alignment. Follow-up probing and ablation analyses further reveal that different learning conditions lead to systematically different reliance on function words, indicating that similar performance can arise from distinct internal mechanisms.
- Abstract（参考訳）: 線形入力による階層構造学習を支援する統計的条件について
本稿では,関数語の統計的分布に着目し,この問題に対処する。
関数語は、高頻度、構文構造との信頼性の高い関連、句境界との整合性など、言語習得において重要な役割を担っていると長年議論されてきた。
言語間コーパス解析を用いて、まず3つの特性が186言語にまたがって存在することを確かめる。
次に, 反実的言語モデリングとアブレーション実験を組み合わせることで, 3つの特性を保った言語変異が, 境界アライメントよりも強く寄与する頻度と構造的関連性により, ニューラルラーナーによりより容易に取得できることを示す。
Follow-up Probing and ablation analysisにより、異なる学習条件が関数語への体系的な依存に繋がることが明らかとなり、同様の性能が異なる内部メカニズムから生じる可能性が示唆された。
関連論文リスト
- Vocabulary embeddings organize linguistic structure early in language model training [3.2661767443292646]
大規模言語モデル(LLM)は、入力埋め込みベクトルの幾何を複数の層で操作することで機能する。
ここでは、言語モデルの入力語彙表現がどのように構造化され、この構造はトレーニング中にどのように進化しますか?
入力埋め込みの幾何学的構造と2つのオープンソースモデルの出力埋め込みを、セマンティック、構文、周波数ベースのメトリクスで関連付ける一連の実験を行った。
論文 参考訳（メタデータ） (2025-10-08T23:26:22Z) - Scaling Laws and Representation Learning in Simple Hierarchical Languages: Transformers vs. Convolutional Architectures [49.19753720526998]
合成データセット上でのニューラルネットワーク性能に関する理論的スケーリング法則を導出する。
局所性と重み共有によって生成過程の構造が整った畳み込みネットワークは、性能の高速化を享受できることを示す。
この発見は、ニューラルネットワークのスケーリング法則に基づくアーキテクチャ上のバイアスを明らかにし、モデルアーキテクチャとデータの統計的性質の間の相互作用によって表現学習がどのように形成されるかを強調している。
論文 参考訳（メタデータ） (2025-05-11T17:44:14Z) - Exploring Intra and Inter-language Consistency in Embeddings with ICA [17.87419386215488]
独立成分分析(ICA)は、独立鍵特徴を識別することによって、より明確な意味軸を生成する。
これまでの研究では、ICAが言語全体にわたって普遍的な意味軸を明らかにする可能性を示している。
セマンティック軸の整合性は、一つの言語内と複数の言語にまたがる2つの方法で検討した。
論文 参考訳（メタデータ） (2024-06-18T10:24:50Z) - Linguistic Structure from a Bottleneck on Sequential Information Processing [5.850665541267672]
予測情報によって制約されたコードに自然言語のような体系性が生じることを示す。
人間の言語は、音韻学、形態学、構文学、意味論のレベルにおいて、低い予測情報を持つように構成されている。
論文 参考訳（メタデータ） (2024-05-20T15:25:18Z) - A Joint Matrix Factorization Analysis of Multilingual Representations [28.751144371901958]
多言語モデルと単言語モデルの潜在表現を比較するために,結合行列の分解に基づく解析ツールを提案する。
我々は,多言語事前学習モデルを用いて学習した表現において,形態素的特徴がどのように反映されるかについて検討した。
論文 参考訳（メタデータ） (2023-10-24T04:43:45Z) - Syntax and Semantics Meet in the "Middle": Probing the Syntax-Semantics
Interface of LMs Through Agentivity [68.8204255655161]
このような相互作用を探索するためのケーススタディとして,作用性のセマンティックな概念を提示する。
これは、LMが言語アノテーション、理論テスト、発見のためのより有用なツールとして役立つ可能性を示唆している。
論文 参考訳（メタデータ） (2023-05-29T16:24:01Z) - A Massively Multilingual Analysis of Cross-linguality in Shared
Embedding Space [61.18554842370824]
言語間モデルでは、多くの異なる言語に対する表現は同じ空間に存在している。
我々は,bitext検索性能の形式で,言語間アライメントのタスクベース尺度を計算した。
我々はこれらのアライメント指標の潜在的な予測因子として言語的、準言語的、および訓練関連の特徴について検討する。
論文 参考訳（メタデータ） (2021-09-13T21:05:37Z) - Discrete representations in neural models of spoken language [56.29049879393466]
音声言語の弱教師付きモデルの文脈における4つの一般的なメトリクスの利点を比較した。
異なる評価指標が矛盾する結果をもたらすことが分かりました。
論文 参考訳（メタデータ） (2021-05-12T11:02:02Z) - Multilingual Irony Detection with Dependency Syntax and Neural Models [61.32653485523036]
これは構文知識からの貢献に焦点を当て、普遍依存スキームに従って構文が注釈付けされた言語資源を活用する。
その結果, 依存性をベースとした微粒な構文情報は, アイロンの検出に有用であることが示唆された。
論文 参考訳（メタデータ） (2020-11-11T11:22:05Z) - Linguistic Typology Features from Text: Inferring the Sparse Features of
World Atlas of Language Structures [73.06435180872293]
我々は、バイト埋め込みと畳み込み層に基づく繰り返しニューラルネットワーク予測器を構築する。
様々な言語型の特徴を確実に予測できることを示す。
論文 参考訳（メタデータ） (2020-04-30T21:00:53Z) - Learning Music Helps You Read: Using Transfer to Study Linguistic
Structure in Language Models [27.91397366776451]
遅延構造(MIDI音楽またはJavaコード)上でのLSTMのトレーニングは、自然言語でのテストパフォーマンスを改善する。
語彙重なりに制御される自然言語間の移動実験により,試験言語におけるゼロショット性能は,訓練言語とタイプ的類似性に強く相関していることが示された。
論文 参考訳（メタデータ） (2020-04-30T06:24:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。