論文の概要: Language Models Generalize to Human-like Word Order Preferences

• arxiv url: http://arxiv.org/abs/2608.05028v1
• Date: Wed, 05 Aug 2026 16:33:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-06 14:48:43.989171
• Title: Language Models Generalize to Human-like Word Order Preferences
• Title（参考訳）: 言語モデルによる語順予測の一般化
• Authors: Amanda Popadich, Shane Steinert-Threlkeld,
• Abstract要約: 同様の条件下で同じバイアスを示す言語モデルについて検討する。 トレーニング中は観察しないにもかかわらず、常にスコープ同型順序を好みます。 PMIは既知の修飾器順序付けパターンを反映しているが、モデルの順序付けの好みを説明できない。
• 参考スコア（独自算出の注目度）: 1.9371675344367494
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A central question in language acquisition is whether linguistic biases can emerge from general learning mechanisms operating over underdetermined input. Artificial Language Learning (ALL) studies have shown that human learners reliably generalize beyond the evidence provided, including by preferring scope-homomorphic noun phrase modifier orders. In this work, we investigate whether language models exhibit the same bias under similar conditions. We create a controlled learning environment in which models are trained on a corpus where all noun phrases containing multiple modifiers have been removed, eliminating direct evidence about modifier ordering, and are then evaluated on multiple modifier sentences. Across three model sizes, we find that they consistently prefer scope-homomorphic orders despite never observing them during training. These preferences vary in strength by modifier type. To investigate the source of these preferences, we examine noun-modifier association strength using pointwise mutual information (PMI). While PMI reflects known modifier-ordering patterns, it does not explain the models' ordering preferences. These findings demonstrate that LMs can recover human-like linguistic generalizations from impoverished input and provide a controlled framework for investigating the mechanisms underlying such biases.
• Abstract（参考訳）: 言語習得における中心的な問題は、言語バイアスが、過度に決定された入力を操作する一般的な学習メカニズムから生じうるかどうかである。 人工言語学習(ALL)研究は、人間の学習者が、スコープ同型名詞句修飾子命令を優先することを含む、提示された証拠を超えて確実に一般化することを示してきた。 本研究では,言語モデルが類似条件下で同じバイアスを示すか否かを検討する。 複数の修飾子を含む名詞句が削除され、修飾子順序に関する直接的な証拠が排除され、複数の修飾子文で評価されるコーパス上でモデルが訓練される制御学習環境を構築する。 3つのモデルサイズにまたがって、トレーニング中に観測されないにもかかわらず、スコープ同型順序を常に好んでいることが分かる。 これらの好みは修飾剤の種類によって異なる。 これらの嗜好の源泉を探るため,PMI(pointwise mutual information)を用いて名詞修飾子結合強度について検討した。 PMIは既知の修飾器順序付けパターンを反映しているが、モデルの順序付けの好みを説明できない。 これらの結果から, LMは, 不足した入力から人間の言語的一般化を回復し, その基盤となるメカニズムを解明するための制御された枠組みを提供することができた。

関連論文リスト

• Isolating LLM Lexical Bias: A Curation-Free Triangulated Metric for Preference-Stage Learning [0.33463386076921503]
  我々は、人間のゴールド標準、ベースモデル、変種を三角測量する計量である三角偏差スコア(Triangulated Preference Shift score)を導入する。 6つのモデルファミリーにデータを提供し、その結果を文献に固定し、一般的なアプローチの有用性を説明する。
  論文  参考訳（メタデータ） (2026-05-29T20:19:49Z)
• Learning inflection classes using Adaptive Resonance Theory [0.2676349883103403]
  本研究では,個々の言語利用者による言語学習の可読性について検討する。 我々は、一般化の度合いを決定するパラメータを持つニューラルネットワークであるAdaptive Resonance Theory(アダプティブ共振理論)を用いる。 クラスタリングと証明されたインフレクションクラスとの類似性は、インフレクションシステムの複雑さによって異なる。
  論文  参考訳（メタデータ） (2025-12-17T15:58:20Z)
• DBR: Divergence-Based Regularization for Debiasing Natural Language Understanding Models [50.54264918467997]
  プレトレーニング言語モデル(PLM)は、様々な自然言語処理タスクにおいて印象的な結果を得た。 近年の研究では、これらのモデルが言語を真に理解するのではなく、表面的な特徴やショートカットに依存していることが明らかになっている。 本稿では,このショートカット学習行動を軽減するために,ダイバージェンスに基づく正規化(DBR)を提案する。
  論文  参考訳（メタデータ） (2025-02-25T16:44:10Z)
• Can Language Models Learn Typologically Implausible Languages? [62.823015163987996]
  人間の言語にまたがる文法的特徴は、人間の学習バイアスに起因する興味深い相関関係を示している。 言語モデル(LM)が言語普遍性におけるドメイン一般学習バイアスの役割をよりよく決定する方法について論じる。 本研究は,英語(頭初期)と日本語(頭最終)の超自然主義的だが反実的なバージョンを用いて,LMを試験する。
  論文  参考訳（メタデータ） (2025-02-17T20:40:01Z)
• Black Big Boxes: Do Language Models Hide a Theory of Adjective Order? [5.395055685742631]
  英語や他の言語では、複雑な名詞句の複数の形容詞は、多くの言語理論の標的となった複雑な順序付けパターンを示している。 本稿では,人体における形容詞順選好(AOP)を説明するために設計された既存の仮説を概観し,言語モデルにおけるAOPを学習するための設定を開発する。 理論言語学で特定された因子によって生成される予測よりも,全てのモデルの予測が人間のAOPにずっと近いことが判明した。
  論文  参考訳（メタデータ） (2024-07-02T10:29:09Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Shapley Head Pruning: Identifying and Removing Interference in Multilingual Transformers [54.4919139401528]
  言語固有のパラメータを識別・解析することで干渉を減らすことができることを示す。 固定モデルから同定された注目ヘッドを除去することで、文分類と構造予測の両方において、ターゲット言語の性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-10-11T18:11:37Z)
• Examining the Inductive Bias of Neural Language Models with Artificial Languages [42.699545862522214]
  本稿では,人工言語を用いた言語モデルの帰納的バイアスを調査するための新しい手法を提案する。 これは完全に制御された因果関係のフレームワークを構成し、文法工学がニューラルモデルを分析するのに有用なツールであることを示す。
  論文  参考訳（メタデータ） (2021-06-02T09:34:32Z)
• Unnatural Language Inference [48.45003475966808]
  我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。 我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
  論文  参考訳（メタデータ） (2020-12-30T20:40:48Z)
• Investigating Cross-Linguistic Adjective Ordering Tendencies with a Latent-Variable Model [66.84264870118723]
  本稿では,多言語形容詞順序付けを潜在変数モデルとして,初めて純粋コーパス駆動モデルを提案する。 我々は普遍的、言語横断的、階層的形容詞順序付け傾向の存在の強い確固たる証拠を提供する。
  論文  参考訳（メタデータ） (2020-10-09T18:27:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。