論文の概要: Anything Goes? A Crosslinguistic Study of (Im)possible Language Learning in LMs

• arxiv url: http://arxiv.org/abs/2502.18795v1
• Date: Wed, 26 Feb 2025 04:01:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-27 14:58:01.757371
• Title: Anything Goes? A Crosslinguistic Study of (Im)possible Language Learning in LMs
• Title（参考訳）: 何かが進むか? : LMにおける(Im)可能な言語学習のクロス言語論的研究
• Authors: Xiulin Yang, Tatsuya Aoyama, Yuekun Yao, Ethan Wilcox,
• Abstract要約: LMをトレーニングして、不可能で、タイプミス的に証明されていない言語をモデル化します。 GPT-2小ささは、主に証明された言語と不可能な言語を区別できる。 モデルの難易度スコアは、未証明の変種が選挙区構造を維持している限り、未証明の語順と未証明の語順とを区別しない。
• 参考スコア（独自算出の注目度）: 5.4335487858206735
• License:
• Abstract: Do LLMs offer insights into human language learning? A common argument against this idea is that because their architecture and training paradigm are so vastly different from humans, LLMs can learn arbitrary inputs as easily as natural languages. In this paper, we test this claim by training LMs to model impossible and typologically unattested languages. Unlike previous work, which has focused exclusively on English, we conduct experiments on 12 natural languages from 4 language families. Our results show that while GPT-2 small can primarily distinguish attested languages from their impossible counterparts, it does not achieve perfect separation between all the attested languages and all the impossible ones. We further test whether GPT-2 small distinguishes typologically attested from unattested languages with different NP orders by manipulating word order based on Greenberg's Universal 20. We find that the model's perplexity scores do not distinguish attested vs. unattested word orders, as long as the unattested variants maintain constituency structure. These findings suggest that language models exhibit some human-like inductive biases, though these biases are weaker than those found in human learners.
• Abstract（参考訳）: LLMは人間の言語学習に関する洞察を提供するか? この考え方に対する一般的な議論は、アーキテクチャとトレーニングパラダイムが人間と大きく異なるため、LLMは自然言語と同じくらい簡単に任意の入力を学習できるということである。 本稿では,この主張を,不可能で型破りな言語をモデル化するために,LMを訓練することによって検証する。 英語のみに焦点を絞った以前の研究とは異なり、我々は4つの言語ファミリーから12の自然言語の実験を行っている。 以上の結果から,GPT-2小文字は検証対象言語と不可能言語とを区別できるが,検証対象言語と不可能言語との完全分離は達成できないことがわかった。 さらに,GreenbergのUniversal 20に基づく単語順序の操作により,NP順序の異なる未証明言語とGPT-2を区別するかどうかを検証した。 モデルの難易度スコアは、未証明の変種が選挙区構造を維持している限り、未証明の語順と未証明の語順とを区別しない。 これらの結果は、言語モデルは、人間の学習者よりも弱いが、人間のような帰納的バイアスを示すことを示唆している。

関連論文リスト

• Can Language Models Learn Typologically Implausible Languages? [62.823015163987996]
  人間の言語にまたがる文法的特徴は、人間の学習バイアスに起因する興味深い相関関係を示している。 言語モデル(LM)が言語普遍性におけるドメイン一般学習バイアスの役割をよりよく決定する方法について論じる。 本研究は,英語(頭初期)と日本語(頭最終)の超自然主義的だが反実的なバージョンを用いて,LMを試験する。
  論文  参考訳（メタデータ） (2025-02-17T20:40:01Z)
• Randomly Sampled Language Reasoning Problems Reveal Limits of LLMs [8.146860674148044]
  我々は,データセットリコールのリスクを回避しつつ,モデルの言語理解能力の測定を試みる。 決定論的有限オートマトン(DFA)により認識される言語タスクの多種族をパラメータ化する。 3 状態 DFA の驚くほど単純な設定であっても、LLM は言語認識と合成の両タスクにおいてパラメータ化されていない ngram モデルより劣ることがわかった。
  論文  参考訳（メタデータ） (2025-01-06T07:57:51Z)
• Kallini et al. (2024) do not compare impossible languages with constituency-based ones [0.0]
  言語理論の中心的な目的は、「可能な人間言語」という概念を特徴づけることである。 NLPアプリケーションにおける最近の大規模言語モデル(LLM)は、LLMがこの目標を満たす計算機器である可能性を高める。 私は、この矛盾を説明し、根底にある問題を適切にテストする比較を構築するためのいくつかの方法を提案します。
  論文  参考訳（メタデータ） (2024-10-16T06:16:30Z)
• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• The Role of Language Imbalance in Cross-lingual Generalisation: Insights from Cloned Language Experiments [57.273662221547056]
  本研究では,言語間一般化の非直感的な新規ドライバである言語不均衡について検討する。 学習中に支配的な言語が存在することが、あまり頻度の低い言語の性能を高めることを観察する。 分析を実言語に拡張するにつれ、頻繁な言語は依然として恩恵を受けていますが、言語不均衡が言語間の一般化を引き起こすかどうかは決定的ではありません。
  論文  参考訳（メタデータ） (2024-04-11T17:58:05Z)
• Mission: Impossible Language Models [29.249131112359503]
  我々は、複雑さの異なる合成不可能な言語のセットを開発する。 一端には、英語の単語のランダムなシャッフルや不可逆的なシャッフルなど、本質的に不可能な言語がある。 一方、言語は直感的には不可能ではないかもしれないが、言語学ではそう考えられていることが多い。
  論文  参考訳（メタデータ） (2024-01-12T07:24:26Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• Inducing Language-Agnostic Multilingual Representations [61.97381112847459]
  言語間の表現は、世界中のほとんどの言語でNLP技術が利用可能になる可能性がある。 i) 対象言語のベクトル空間をピボットソース言語に再配置すること、(ii) 言語固有の手段と分散を取り除くこと、(ii) 副産物としての埋め込みの識別性を向上すること、(iii) 形態的制約や文の並べ替えを除去することによって言語間の入力類似性を高めること、の3つのアプローチを検討する。
  論文  参考訳（メタデータ） (2020-08-20T17:58:56Z)
• Knowledge Distillation for Multilingual Unsupervised Neural Machine Translation [61.88012735215636]
  unsupervised neural machine translation (UNMT) は、最近、いくつかの言語対に対して顕著な結果を得た。 UNMTは単一の言語ペア間でのみ翻訳することができ、同時に複数の言語ペアに対して翻訳結果を生成することはできない。 本稿では,1つのエンコーダと1つのデコーダを用いて13言語間を翻訳する簡単な手法を実証的に紹介する。
  論文  参考訳（メタデータ） (2020-04-21T17:26:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。