論文の概要: Left-Branching Transformers Excel at Right-Branching Languages: Data Shapes Word Order Preferences in Language Models

• arxiv url: http://arxiv.org/abs/2608.15129v1
• Date: Sat, 15 Aug 2026 09:03:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.205335
• Title: Left-Branching Transformers Excel at Right-Branching Languages: Data Shapes Word Order Preferences in Language Models
• Title（参考訳）: 右ブランチ言語における左ブランチ変換器Excel:言語モデルにおける単語順の予測データ
• Abstract要約: 我々は,デコーダのみの言語モデルにおいて,192の人工言語と類型的に多様な自然言語の語順を比較検討した。 人工言語では、モデルは自然言語の普遍性と人間の語順学習バイアスに一致しない左利きの好みを示す。 自然言語では、単言語モデルは小さなスケールで明確な単語順序バイアスを示さない。
• 参考スコア（独自算出の注目度）: 12.248033039864987
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We systematically compare word order preferences in decoder-only language models across 192 artificial languages and typologically diverse natural languages. On artificial languages, models exhibit a left-branching preference that aligns with neither natural language universals nor human word order learning biases. On natural languages, monolingual models show no clear base word order bias at small scales, but as data grows, a preference for right-branching subject-verb-object (SVO) languages emerges while SOV falls behind despite being the most frequent order cross-linguistically. This SVO advantage extends to multilingual models and correlates with language resource level and data quality rather than word order. Thus, the same architecture exhibits opposite preferences on artificial and natural languages, establishing that word order biases observed in practice are data-driven. Since highly-resourced languages are overwhelmingly SVO, these biases risk gradually reducing word order diversity, particularly in languages that productively use multiple word orders, with the widespread adoption of LLMs.
• Abstract（参考訳）: 我々は,192の人工言語および類型的に多様な自然言語を対象とした,デコーダのみの言語モデルにおける語順の選好を体系的に比較した。 人工言語では、モデルは自然言語の普遍性と人間の語順学習バイアスに一致しない左利きの好みを示す。 自然言語では、単言語モデルは小さなスケールでは明確な単語順バイアスを示さないが、データが大きくなるにつれて、右ブランチの主動詞(SVO)言語が好まれる一方で、SOVは言語横断的に最も頻度の高い順序であるにもかかわらず遅れる。 このSVOの利点は多言語モデルに拡張され、語順よりも言語リソースレベルとデータ品質に相関する。 このように、同じアーキテクチャは、人工言語と自然言語に対する反対の嗜好を示し、実際に観察された単語順序バイアスがデータ駆動であることを示す。 高リソース言語は圧倒的にSVOであるため、これらのバイアスは単語順の多様性を徐々に減少させ、特に複数の単語順を生産的に使用する言語ではLLMが広く採用されている。

関連論文リスト

• How Human-Like Are Large Language Models? A Register-Aware Linguistic Evaluation Framework [0.47954782871066737]
  本研究では,人間的類似性を評価する文脈認識評価フレームワークを提案する。 我々は,最大平均離散性(MMD)と,Biberが導入した67の語彙文法的特徴を用いて,この枠組みを実装した。
  論文  参考訳（メタデータ） (2026-05-22T14:04:25Z)
• Multilingual Large Language Models do not comprehend all natural languages to equal degrees [3.1312895682585595]
  大規模言語モデル(LLM)は、人間が情報にアクセスする方法において重要な役割を果たす。 ほとんどのベンチマークでは、西洋語、教育語、工業化語、リッチ語、民主語(WEIRD)の言語でLLMを評価する。 言語理解タスクにおいて,12言語にまたがる3つの人気モデルを提案する。 以上の結果から,類型的に多様な言語にまたがって,言語学的精度が著しく向上していることが示唆された。
  論文  参考訳（メタデータ） (2026-02-23T17:22:46Z)
• BERnaT: Basque Encoders for Representing Natural Textual Diversity [7.357065915404815]
  言語モデルは、標準化されたテキストにのみ依存するのではなく、言語の変化の完全なスペクトルを捉えることを目的としている。 我々は,標準,ソーシャルメディア,歴史資料を組み合わせた新しいコーパスを構築し,エンコーダのみのモデルのBERnaTファミリーを3つの構成で事前学習する。 その結果、標準コーパスと多種多様なデータでトレーニングされたモデルは、標準コーパスでトレーニングされたモデルよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2025-12-03T15:50:42Z)
• Can Language Models Learn Typologically Implausible Languages? [62.823015163987996]
  人間の言語にまたがる文法的特徴は、人間の学習バイアスに起因する興味深い相関関係を示している。 言語モデル(LM)が言語普遍性におけるドメイン一般学習バイアスの役割をよりよく決定する方法について論じる。 本研究は,英語(頭初期)と日本語(頭最終)の超自然主義的だが反実的なバージョンを用いて,LMを試験する。
  論文  参考訳（メタデータ） (2025-02-17T20:40:01Z)
• The Role of Language Imbalance in Cross-lingual Generalisation: Insights from Cloned Language Experiments [57.273662221547056]
  本研究では,言語間一般化の非直感的な新規ドライバである言語不均衡について検討する。 学習中に支配的な言語が存在することが、あまり頻度の低い言語の性能を高めることを観察する。 分析を実言語に拡張するにつれ、頻繁な言語は依然として恩恵を受けていますが、言語不均衡が言語間の一般化を引き起こすかどうかは決定的ではありません。
  論文  参考訳（メタデータ） (2024-04-11T17:58:05Z)
• CLSE: Corpus of Linguistically Significant Entities [58.29901964387952]
  専門家が注釈を付けた言語学的に重要なエンティティ(CLSE)のコーパスをリリースする。 CLSEは74種類のセマンティックタイプをカバーし、航空券売機からビデオゲームまで様々なアプリケーションをサポートする。 言語的に代表されるNLG評価ベンチマークを,フランス語,マラティー語,ロシア語の3言語で作成する。
  論文  参考訳（メタデータ） (2022-11-04T12:56:12Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Multilingual BERT has an accent: Evaluating English influences on fluency in multilingual models [23.62852626011989]
  我々は,高次情報源言語における文法構造が低次情報源言語に肥大化したことを示す。 このバイアスは、多言語モデルの流布度とモノリンガルのスペイン語とギリシア語のモデルの流布度を比較する新しい方法によって示される。
  論文  参考訳（メタデータ） (2022-10-11T17:06:38Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• When Being Unseen from mBERT is just the Beginning: Handling New Languages With Multilingual Language Models [2.457872341625575]
  大量の生データに基づく事前学習言語モデルに基づく伝達学習は,NLPの最先端性能に到達するための新しい規範となっている。 このようなモデルは、目に見えない言語に対して複数の方法で振る舞うことを示す。
  論文  参考訳（メタデータ） (2020-10-24T10:15:03Z)
• Gender Bias in Multilingual Embeddings and Cross-Lingual Transfer [101.58431011820755]
  多言語埋め込みにおけるジェンダーバイアスとNLPアプリケーションの伝達学習への影響について検討する。 我々は、バイアス分析のための多言語データセットを作成し、多言語表現におけるバイアスの定量化方法をいくつか提案する。
  論文  参考訳（メタデータ） (2020-05-02T04:34:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。