論文の概要: Studies with impossible languages falsify LMs as models of human language
- arxiv url: http://arxiv.org/abs/2511.11389v1
- Date: Fri, 14 Nov 2025 15:18:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-17 22:42:18.674763
- Title: Studies with impossible languages falsify LMs as models of human language
- Title(参考訳): 不可能言語を用いた人間の言語モデルとしてのLMのファルシフィケーションに関する研究
- Authors: Jeffrey S. Bowers, Jeff Mitchell,
- Abstract要約: Futrell と Mahowald [arXiv:2501.17047] によると、幼児と言語モデル(LM)は、不自然な構造を持つ不可能な言語よりも、証明された言語を学習しやすくする。
文献をレビューし、LMが証明された言語と多くの不可能な言語を等しく学習することを示す。
- 参考スコア(独自算出の注目度): 1.6328866317851185
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: According to Futrell and Mahowald [arXiv:2501.17047], both infants and language models (LMs) find attested languages easier to learn than impossible languages that have unnatural structures. We review the literature and show that LMs often learn attested and many impossible languages equally well. Difficult to learn impossible languages are simply more complex (or random). LMs are missing human inductive biases that support language acquisition.
- Abstract(参考訳): Futrell と Mahowald [arXiv:2501.17047] によると、幼児と言語モデル(LM)は、不自然な構造を持つ不可能な言語よりも、証明された言語を学習しやすくする。
文献をレビューし、LMが証明された言語と多くの不可能な言語を等しく学習することを示す。
不可能な言語を学ぶことの難しさは、単により複雑(あるいはランダム)である。
LMは、言語習得をサポートする人間の帰納バイアスを欠いている。
関連論文リスト
- Language models as tools for investigating the distinction between possible and impossible natural languages [30.440694754088934]
言語モデル(LM)は,可能な自然言語と不可能な自然言語の区別を探索するための調査ツールとして,強い可能性を秘めている。
我々は、LMアーキテクチャを反復的に洗練し、可能言語と不可能言語を識別する段階的な研究プログラムの概要を述べる。
論文 参考訳(メタデータ) (2025-12-10T07:37:43Z) - Language Generation: Complexity Barriers and Implications for Learning [51.449718747429756]
単純でよく研究された言語ファミリであっても、成功した生成に必要なサンプルの数は極端に多いことが示される。
これらの結果は、理論的可能性と効率的な学習可能性の間に大きなギャップがあることを明らかにする。
論文 参考訳(メタデータ) (2025-11-07T23:06:48Z) - Biasless Language Models Learn Unnaturally: How LLMs Fail to Distinguish the Possible from the Impossible [4.7831562043724665]
GPT-2は各言語と不可能な言語を等しく学習する。
パープレキシティ曲線上で計算された様々な指標の言語間差異を考慮することにより、GPT-2は可能と不可能を体系的に分離することができないことを示す。
論文 参考訳(メタデータ) (2025-10-08T16:17:13Z) - Anything Goes? A Crosslinguistic Study of (Im)possible Language Learning in LMs [14.78046527879077]
言語モデルをトレーニングして、不可能で、タイプミス的に証明されていない言語をモデル化します。
以上の結果から, GPT-2 の小型化により, 検証対象言語と不可能言語との完全分離が達成できないことが明らかとなった。
これらの結果は、LMは人間のような誘導バイアスを示すが、これらのバイアスは人間の学習者よりも弱いことを示唆している。
論文 参考訳(メタデータ) (2025-02-26T04:01:36Z) - Can Language Models Learn Typologically Implausible Languages? [62.823015163987996]
人間の言語にまたがる文法的特徴は、人間の学習バイアスに起因する興味深い相関関係を示している。
言語モデル(LM)が言語普遍性におけるドメイン一般学習バイアスの役割をよりよく決定する方法について論じる。
本研究は,英語(頭初期)と日本語(頭最終)の超自然主義的だが反実的なバージョンを用いて,LMを試験する。
論文 参考訳(メタデータ) (2025-02-17T20:40:01Z) - Kallini et al. (2024) do not compare impossible languages with constituency-based ones [0.0]
言語理論の中心的な目的は、「可能な人間言語」という概念を特徴づけることである。
NLPアプリケーションにおける最近の大規模言語モデル(LLM)は、LLMがこの目標を満たす計算機器である可能性を高める。
私は、この矛盾を説明し、根底にある問題を適切にテストする比較を構築するためのいくつかの方法を提案します。
論文 参考訳(メタデータ) (2024-10-16T06:16:30Z) - Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。
Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。
言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
論文 参考訳(メタデータ) (2024-06-28T17:03:51Z) - Hire a Linguist!: Learning Endangered Languages with In-Context Linguistic Descriptions [49.97641297850361]
lingOLLMは、LLMが事前トレーニングでほとんど起こらない未知の言語を処理できるようにする、トレーニング不要のアプローチである。
GPT-4とMixtralの2つのモデル上にlingOLLMを実装し,その性能評価を行った。
GPT-4 の 0 から 10.5 BLEU への翻訳能力が 10 言語方向に向上することを示す。
論文 参考訳(メタデータ) (2024-02-28T03:44:01Z) - Mission: Impossible Language Models [29.249131112359503]
我々は、複雑さの異なる合成不可能な言語のセットを開発する。
一端には、英語の単語のランダムなシャッフルや不可逆的なシャッフルなど、本質的に不可能な言語がある。
一方、言語は直感的には不可能ではないかもしれないが、言語学ではそう考えられていることが多い。
論文 参考訳(メタデータ) (2024-01-12T07:24:26Z) - Do Multilingual Language Models Capture Differing Moral Norms? [71.52261949766101]
大量多言語文表現は、未処理データの大規模なコーパスに基づいて訓練される。
これは、高資源言語からの道徳的判断を含む文化的価値をモデルが把握する原因となる可能性がある。
特定の言語におけるデータ不足は、ランダムで潜在的に有害な信念を発達させる可能性がある。
論文 参考訳(メタデータ) (2022-03-18T12:26:37Z) - X-FACTR: Multilingual Factual Knowledge Retrieval from Pretrained
Language Models [103.75890012041366]
言語モデル(LM)は、事実の知識を捉えるのに驚くほど成功した。
しかし、LMの実際の表現能力の研究は、ほぼ間違いなく英語で行われている。
我々は23の語型的多様言語に対するクローゼスタイルプローブのベンチマークを作成する。
論文 参考訳(メタデータ) (2020-10-13T05:29:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。