論文の概要: Biasless Language Models Learn Unnaturally: How LLMs Fail to Distinguish the Possible from the Impossible

• arxiv url: http://arxiv.org/abs/2510.07178v1
• Date: Wed, 08 Oct 2025 16:17:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-09 16:41:20.61699
• Title: Biasless Language Models Learn Unnaturally: How LLMs Fail to Distinguish the Possible from the Impossible
• Title（参考訳）: ビザレス言語モデルは非自然に学習する: LLMはいかにして不可能な言語を区別できないか
• Authors: Imry Ziv, Nur Lan, Emmanuel Chemla, Roni Katzir,
• Abstract要約: GPT-2は各言語と不可能な言語を等しく学習する。 パープレキシティ曲線上で計算された様々な指標の言語間差異を考慮することにより、GPT-2は可能と不可能を体系的に分離することができないことを示す。
• 参考スコア（独自算出の注目度）: 4.7831562043724665
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Are large language models (LLMs) sensitive to the distinction between humanly possible languages and humanly impossible languages? This question is taken by many to bear on whether LLMs and humans share the same innate learning biases. Previous work has attempted to answer it in the positive by comparing LLM learning curves on existing language datasets and on "impossible" datasets derived from them via various perturbation functions. Using the same methodology, we examine this claim on a wider set of languages and impossible perturbations. We find that in most cases, GPT-2 learns each language and its impossible counterpart equally easily, in contrast to previous claims. We also apply a more lenient condition by testing whether GPT-2 provides any kind of separation between the whole set of natural languages and the whole set of impossible languages. By considering cross-linguistic variance in various metrics computed on the perplexity curves, we show that GPT-2 provides no systematic separation between the possible and the impossible. Taken together, these perspectives show that LLMs do not share the human innate biases that shape linguistic typology.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、人間の可能な言語と人間の不可能な言語の区別に敏感か? この疑問は、LLMと人間は同じ本質的な学習バイアスを共有しているかどうかについて、多くの人に受け入れられている。 これまでの研究は、既存の言語データセットのLLM学習曲線と、様々な摂動関数を介してそれらから派生した"不可能な"データセットを比較して、肯定的な回答を試みてきた。 同じ手法を用いて、より広い言語群と不可能な摂動に対して、この主張を検証した。 ほとんどの場合、GPT-2は、以前の主張とは対照的に、各言語とその不可能な言語を等しく容易に学習する。 また、GPT-2が自然言語の集合全体と不可能な言語の集合全体の何らかの分離を提供するかどうかをテストすることにより、より寛大な条件を適用する。 パープレキシティ曲線上で計算された様々な指標の言語間差異を考慮することにより、GPT-2は可能と不可能を体系的に分離することができないことを示す。 まとめると、これらの視点は、LLMが言語型学を形成する人間固有のバイアスを共有していないことを示している。

関連論文リスト

• Language models as tools for investigating the distinction between possible and impossible natural languages [30.440694754088934]
  言語モデル(LM)は,可能な自然言語と不可能な自然言語の区別を探索するための調査ツールとして,強い可能性を秘めている。 我々は、LMアーキテクチャを反復的に洗練し、可能言語と不可能言語を識別する段階的な研究プログラムの概要を述べる。
  論文  参考訳（メタデータ） (2025-12-10T07:37:43Z)
• Unnatural Languages Are Not Bugs but Features for LLMs [92.8332103170009]
  大規模言語モデル(LLM)は、ジェイルブレイクプロンプトなどの非可読テキストシーケンスを処理するために観察されている。 我々はこの認識に挑戦する体系的な調査を行い、非自然言語にはモデルで使用可能な潜在的特徴が含まれていることを示した。
  論文  参考訳（メタデータ） (2025-03-02T12:10:17Z)
• Anything Goes? A Crosslinguistic Study of (Im)possible Language Learning in LMs [14.78046527879077]
  言語モデルをトレーニングして、不可能で、タイプミス的に証明されていない言語をモデル化します。 以上の結果から, GPT-2 の小型化により, 検証対象言語と不可能言語との完全分離が達成できないことが明らかとなった。 これらの結果は、LMは人間のような誘導バイアスを示すが、これらのバイアスは人間の学習者よりも弱いことを示唆している。
  論文  参考訳（メタデータ） (2025-02-26T04:01:36Z)
• Can Language Models Learn Typologically Implausible Languages? [62.823015163987996]
  人間の言語にまたがる文法的特徴は、人間の学習バイアスに起因する興味深い相関関係を示している。 言語モデル(LM)が言語普遍性におけるドメイン一般学習バイアスの役割をよりよく決定する方法について論じる。 本研究は,英語(頭初期)と日本語(頭最終)の超自然主義的だが反実的なバージョンを用いて,LMを試験する。
  論文  参考訳（メタデータ） (2025-02-17T20:40:01Z)
• Kallini et al. (2024) do not compare impossible languages with constituency-based ones [0.0]
  言語理論の中心的な目的は、「可能な人間言語」という概念を特徴づけることである。 NLPアプリケーションにおける最近の大規模言語モデル(LLM)は、LLMがこの目標を満たす計算機器である可能性を高める。 私は、この矛盾を説明し、根底にある問題を適切にテストする比較を構築するためのいくつかの方法を提案します。
  論文  参考訳（メタデータ） (2024-10-16T06:16:30Z)
• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか? 本研究は,言語横断的タスクにおける最先端LLMの評価である。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• What Languages are Easy to Language-Model? A Perspective from Learning Probabilistic Regular Languages [78.1866280652834]
  大規模言語モデル (LM) は文字列上の分布である。 RNNとTransformer LMによる規則的LM(RLM)の学習性について検討する。 RNNとトランスフォーマーの双方において,RLMランクの複雑さは強く,学習可能性の有意な予測因子であることが判明した。
  論文  参考訳（メタデータ） (2024-06-06T17:34:24Z)
• Getting More from Less: Large Language Models are Good Spontaneous Multilingual Learners [67.85635044939836]
  大きな言語モデル(LLM)は印象的な言語機能を示している。 本研究では,LLMの自然多言語アライメント改善について検討する。 質問翻訳データ(すなわち注釈付き回答なし)に基づいて学習したLLMは、英語と幅広い言語との整合を促進できることがわかった。
  論文  参考訳（メタデータ） (2024-05-22T16:46:19Z)
• Mission: Impossible Language Models [29.249131112359503]
  我々は、複雑さの異なる合成不可能な言語のセットを開発する。 一端には、英語の単語のランダムなシャッフルや不可逆的なシャッフルなど、本質的に不可能な言語がある。 一方、言語は直感的には不可能ではないかもしれないが、言語学ではそう考えられていることが多い。
  論文  参考訳（メタデータ） (2024-01-12T07:24:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。