論文の概要: Biasless Language Models Learn Unnaturally: How LLMs Fail to Distinguish the Possible from the Impossible

• arxiv url: http://arxiv.org/abs/2510.07178v1
• Date: Wed, 08 Oct 2025 16:17:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-09 16:41:20.61699
• Title: Biasless Language Models Learn Unnaturally: How LLMs Fail to Distinguish the Possible from the Impossible
• Title（参考訳）: ビザレス言語モデルは非自然に学習する: LLMはいかにして不可能な言語を区別できないか
• Authors: Imry Ziv, Nur Lan, Emmanuel Chemla, Roni Katzir,
• Abstract要約: GPT-2は各言語と不可能な言語を等しく学習する。 パープレキシティ曲線上で計算された様々な指標の言語間差異を考慮することにより、GPT-2は可能と不可能を体系的に分離することができないことを示す。
• 参考スコア（独自算出の注目度）: 4.7831562043724665
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Are large language models (LLMs) sensitive to the distinction between humanly possible languages and humanly impossible languages? This question is taken by many to bear on whether LLMs and humans share the same innate learning biases. Previous work has attempted to answer it in the positive by comparing LLM learning curves on existing language datasets and on "impossible" datasets derived from them via various perturbation functions. Using the same methodology, we examine this claim on a wider set of languages and impossible perturbations. We find that in most cases, GPT-2 learns each language and its impossible counterpart equally easily, in contrast to previous claims. We also apply a more lenient condition by testing whether GPT-2 provides any kind of separation between the whole set of natural languages and the whole set of impossible languages. By considering cross-linguistic variance in various metrics computed on the perplexity curves, we show that GPT-2 provides no systematic separation between the possible and the impossible. Taken together, these perspectives show that LLMs do not share the human innate biases that shape linguistic typology.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、人間の可能な言語と人間の不可能な言語の区別に敏感か? この疑問は、LLMと人間は同じ本質的な学習バイアスを共有しているかどうかについて、多くの人に受け入れられている。 これまでの研究は、既存の言語データセットのLLM学習曲線と、様々な摂動関数を介してそれらから派生した"不可能な"データセットを比較して、肯定的な回答を試みてきた。 同じ手法を用いて、より広い言語群と不可能な摂動に対して、この主張を検証した。 ほとんどの場合、GPT-2は、以前の主張とは対照的に、各言語とその不可能な言語を等しく容易に学習する。 また、GPT-2が自然言語の集合全体と不可能な言語の集合全体の何らかの分離を提供するかどうかをテストすることにより、より寛大な条件を適用する。 パープレキシティ曲線上で計算された様々な指標の言語間差異を考慮することにより、GPT-2は可能と不可能を体系的に分離することができないことを示す。 まとめると、これらの視点は、LLMが言語型学を形成する人間固有のバイアスを共有していないことを示している。

関連論文リスト

• Unnatural Languages Are Not Bugs but Features for LLMs [92.8332103170009]
  大規模言語モデル(LLM)は、ジェイルブレイクプロンプトなどの非可読テキストシーケンスを処理するために観察されている。 我々はこの認識に挑戦する体系的な調査を行い、非自然言語にはモデルで使用可能な潜在的特徴が含まれていることを示した。
  論文  参考訳（メタデータ） (2025-03-02T12:10:17Z)
• Anything Goes? A Crosslinguistic Study of (Im)possible Language Learning in LMs [14.78046527879077]
  言語モデルをトレーニングして、不可能で、タイプミス的に証明されていない言語をモデル化します。 以上の結果から, GPT-2 の小型化により, 検証対象言語と不可能言語との完全分離が達成できないことが明らかとなった。 これらの結果は、LMは人間のような誘導バイアスを示すが、これらのバイアスは人間の学習者よりも弱いことを示唆している。
  論文  参考訳（メタデータ） (2025-02-26T04:01:36Z)
• Can Language Models Learn Typologically Implausible Languages? [62.823015163987996]
  人間の言語にまたがる文法的特徴は、人間の学習バイアスに起因する興味深い相関関係を示している。 言語モデル(LM)が言語普遍性におけるドメイン一般学習バイアスの役割をよりよく決定する方法について論じる。 本研究は,英語(頭初期)と日本語(頭最終)の超自然主義的だが反実的なバージョンを用いて,LMを試験する。
  論文  参考訳（メタデータ） (2025-02-17T20:40:01Z)
• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• Mission: Impossible Language Models [29.249131112359503]
  我々は、複雑さの異なる合成不可能な言語のセットを開発する。 一端には、英語の単語のランダムなシャッフルや不可逆的なシャッフルなど、本質的に不可能な言語がある。 一方、言語は直感的には不可能ではないかもしれないが、言語学ではそう考えられていることが多い。
  論文  参考訳（メタデータ） (2024-01-12T07:24:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。