論文の概要: Can Language Models Learn Typologically Implausible Languages?

• arxiv url: http://arxiv.org/abs/2502.12317v1
• Date: Mon, 17 Feb 2025 20:40:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:08:22.847729
• Title: Can Language Models Learn Typologically Implausible Languages?
• Title（参考訳）: 言語モデルは音韻論的に理解できない言語を学習できるか?
• Authors: Tianyang Xu, Tatsuki Kuribayashi, Yohei Oseki, Ryan Cotterell, Alex Warstadt,
• Abstract要約: 人間の言語にまたがる文法的特徴は、人間の学習バイアスに起因する興味深い相関関係を示している。 言語モデル(LM)が言語普遍性におけるドメイン一般学習バイアスの役割をよりよく決定する方法について論じる。 本研究は,英語(頭初期)と日本語(頭最終)の超自然主義的だが反実的なバージョンを用いて,LMを試験する。
• 参考スコア（独自算出の注目度）: 62.823015163987996
• License:
• Abstract: Grammatical features across human languages show intriguing correlations often attributed to learning biases in humans. However, empirical evidence has been limited to experiments with highly simplified artificial languages, and whether these correlations arise from domain-general or language-specific biases remains a matter of debate. Language models (LMs) provide an opportunity to study artificial language learning at a large scale and with a high degree of naturalism. In this paper, we begin with an in-depth discussion of how LMs allow us to better determine the role of domain-general learning biases in language universals. We then assess learnability differences for LMs resulting from typologically plausible and implausible languages closely following the word-order universals identified by linguistic typologists. We conduct a symmetrical cross-lingual study training and testing LMs on an array of highly naturalistic but counterfactual versions of the English (head-initial) and Japanese (head-final) languages. Compared to similar work, our datasets are more naturalistic and fall closer to the boundary of plausibility. Our experiments show that these LMs are often slower to learn these subtly implausible languages, while ultimately achieving similar performance on some metrics regardless of typological plausibility. These findings lend credence to the conclusion that LMs do show some typologically-aligned learning preferences, and that the typological patterns may result from, at least to some degree, domain-general learning biases.
• Abstract（参考訳）: 人間の言語にまたがる文法的特徴は、人間の学習バイアスに起因する興味深い相関関係を示している。 しかし、経験的証拠は高度に単純化された人工言語の実験に限られており、これらの相関がドメイン・ジェネラルや言語固有の偏見から生じるかどうかは議論の余地がある。 言語モデル(LM)は、人工言語学習を大規模かつ高度な自然主義で研究する機会を提供する。 本稿では,言語普遍性におけるドメイン・ジェネラル学習バイアスの役割をよりよく決定する上で,LMがどのように役立つか,という詳細な議論から始める。 次に,言語タイポロジーによって認識される語順の普遍性に追従して,類型論的に妥当な言語と難解な言語によるLMの学習可能性差を評価する。 本研究は,英語(頭初期)と日本語(頭最終)の高度に自然主義的だが反実的なバージョンを対象とする,対称的な言語間学習の訓練と試験を行う。 同様の研究と比較すると、我々のデータセットはより自然的であり、可算性の境界に近づきます。 実験の結果,これらの LM は不明瞭な言語を学習するのが遅い場合が多いが,いずれは類型的妥当性に関わらず,いくつかの指標で同様の性能を達成できることがわかった。 これらの知見は、LMがいくつかのタイプ論的に整列した学習傾向を示し、少なくともある程度のドメイン一般学習バイアスから、タイプ論的パターンが生じる可能性があるという結論に信ずるものである。

関連論文リスト

• Large Language Models are Easily Confused: A Quantitative Metric, Security Implications and Typological Analysis [5.029635172046762]
  言語融合(Language Confusion)とは、大言語モデル(LLM)が所望の言語でもなく、文脈的に適切な言語でもテキストを生成する現象である。 我々は,この混乱を計測し定量化するために設計された,新しい計量であるLanguage Confusion Entropyを導入する。
  論文  参考訳（メタデータ） (2024-10-17T05:43:30Z)
• Black Big Boxes: Do Language Models Hide a Theory of Adjective Order? [5.395055685742631]
  英語や他の言語では、複雑な名詞句の複数の形容詞は、多くの言語理論の標的となった複雑な順序付けパターンを示している。 本稿では,人体における形容詞順選好(AOP)を説明するために設計された既存の仮説を概観し,言語モデルにおけるAOPを学習するための設定を開発する。 理論言語学で特定された因子によって生成される予測よりも,全てのモデルの予測が人間のAOPにずっと近いことが判明した。
  論文  参考訳（メタデータ） (2024-07-02T10:29:09Z)
• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• What Languages are Easy to Language-Model? A Perspective from Learning Probabilistic Regular Languages [78.1866280652834]
  大規模言語モデル (LM) は文字列上の分布である。 RNNとTransformer LMによる規則的LM(RLM)の学習性について検討する。 RNNとトランスフォーマーの双方において,RLMランクの複雑さは強く,学習可能性の有意な予測因子であることが判明した。
  論文  参考訳（メタデータ） (2024-06-06T17:34:24Z)
• Emergent Word Order Universals from Cognitively-Motivated Language Models [30.654343000708334]
  言語モデル(LM)を用いた計算シミュレーションによる語順普遍性の研究 実験の結果, タイプ的単語順序は, 認知学的に有意な偏見を持つLMによって推定される難易度が低い傾向を示した。
  論文  参考訳（メタデータ） (2024-02-19T18:49:57Z)
• How Proficient Are Large Language Models in Formal Languages? An In-Depth Insight for Knowledge Base Question Answering [52.86931192259096]
  知識ベース質問回答(KBQA)は,知識ベースにおける事実に基づいた自然言語質問への回答を目的としている。 最近の研究は、論理形式生成のための大規模言語モデル(LLM)の機能を活用して性能を向上させる。
  論文  参考訳（メタデータ） (2024-01-11T09:27:50Z)
• Evaluating Neural Language Models as Cognitive Models of Language Acquisition [4.779196219827507]
  我々は、ニューラルネットワークモデルの構文能力を評価するための最も顕著なベンチマークは、十分に厳密でないかもしれないと論じる。 小規模データモデリングによる子言語習得を訓練すると、LMは単純なベースラインモデルで容易にマッチングできる。 子どもの言語習得に関する実証的研究と、LMをよりよく結びつけるための提案をまとめて締めくくった。
  論文  参考訳（メタデータ） (2023-10-31T00:16:17Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Linguistic Typology Features from Text: Inferring the Sparse Features of World Atlas of Language Structures [73.06435180872293]
  我々は、バイト埋め込みと畳み込み層に基づく繰り返しニューラルネットワーク予測器を構築する。 様々な言語型の特徴を確実に予測できることを示す。
  論文  参考訳（メタデータ） (2020-04-30T21:00:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。