論文の概要: Large Language Models and Impossible Language Acquisition: "False Promise" or an Overturn of our Current Perspective towards AI

• arxiv url: http://arxiv.org/abs/2602.08437v2
• Date: Wed, 11 Feb 2026 03:13:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-12 15:03:20.033561
• Title: Large Language Models and Impossible Language Acquisition: "False Promise" or an Overturn of our Current Perspective towards AI
• Title（参考訳）: 大規模言語モデルと不合理言語獲得:「偽の約束」あるいはAIに対する我々の現在の展望の覆い
• Authors: Ziyan Wang, Longlong Ma,
• Abstract要約: 大きな言語モデル(LLM)は、人間のような固有の因果構造や自己補正構造を介して言語を習得しない単なるパターン予測器として特徴づけられる。 本研究では,既存の言語学・心理学文学の立場から,この有名な批判を考察するとともに,LLMにおける可能な言語と不可能な言語の両方を学ぶ能力を求める実験に基づく研究を行った。
• 参考スコア（独自算出の注目度）: 16.874465331464645
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In Chomsky's provocative critique "The False Promise of CHATGPT," Large Language Models (LLMs) are characterized as mere pattern predictors that do not acquire languages via intrinsic causal and self-correction structures like humans, therefore are not able to distinguish impossible languages. It stands as a representative in a fundamental challenge to the intellectual foundations of AI, for it integrally synthesizes major issues in methodologies within LLMs and possesses an iconic a priori rationalist perspective. We examine this famous critic from both the perspective in pre-existing literature of linguistics and psychology as well as a research based on an experiment inquiring the capacity of learning both possible and impossible languages among LLMs. We constructed a set of syntactically impossible languages by applying certain transformations to English. These include reversing whole sentences, and adding negation based on word-count parity. Two rounds of controlled experiments were each conducted on GPT-2 small models and long short-term memory (LSTM) models. Statistical analysis (Welch's t-test) shows GPT2 small models underperform in learning all of the impossible languages compared to their performance on the possible language (p<.001). On the other hand, LSTM models' performance tallies with Chomsky's argument, suggesting the irreplaceable role of the evolution of transformer architecture. Based on theoretical analysis and empirical findings, we propose a new vision within Chomsky's theory towards LLMs, and a shift of theoretical paradigm outside Chomsky, from his "rationalist-romantics" paradigm to functionalism and empiricism in LLMs research.
• Abstract（参考訳）: チョムスキーの挑発的批評『CHATGPTの偽約』では、大規模言語モデル(LLM)は、人間のような固有の因果構造や自己補正構造を通して言語を習得しない単なるパターン予測器として特徴付けられるため、不可能な言語を区別できない。 それは、LLM内の方法論における主要な問題を統合的に合成し、象徴的な先駆的合理主義的な視点を持つため、AIの知的基盤に対する根本的な挑戦の代表である。 本研究では,既存の言語学・心理学文学の立場から,この有名な批判を考察するとともに,LLMにおける可能な言語と不可能な言語の両方を学ぶ能力を求める実験に基づく研究を行った。 特定の変換を英語に適用することで、構文的に不可能な言語のセットを構築しました。 これには、全文の逆転、単語数パリティに基づく否定の追加が含まれる。 GPT-2の小型モデルとLSTM(Long Short-term memory)モデルで2ラウンドの制御実験を行った。 統計的解析 (Welch's t-test) は、GPT2の小さなモデルは、可能な言語上での性能と比較して、すべての不可能な言語を学習する上で、性能が劣っていることを示している(p<.001)。 一方、LSTMモデルの性能はチョムスキーの主張と一致し、トランスフォーマーアーキテクチャの進化における不可能な役割を示唆している。 理論的分析と経験的発見に基づいて、チョムスキーのLSM論における新たなビジョンと、チョムスキーの「有理主義的ロマン主義」パラダイムからLLM研究における機能主義と経験主義への移行を提案する。

関連論文リスト

• LinguaLens: Towards Interpreting Linguistic Mechanisms of Large Language Models via Sparse Auto-Encoder [47.81850176849213]
  スパースオートエンコーダ(SAE)に基づく大規模言語モデルの言語メカニズム解析のためのフレームワークを提案する。 我々は4次元(形態学、構文学、意味論、プラグマティクス)にわたる中国語と英語の言語的特徴を幅広く抽出する。 本研究は, LLMにおける言語知識の内在的表現, 層間および言語間分布のパターンを明らかにし, モデル出力の制御の可能性を示した。
  論文  参考訳（メタデータ） (2025-02-27T18:16:47Z)
• Large Language Models as Proxies for Theories of Human Linguistic Cognition [2.624902795082451]
  人間の言語認知研究における現在の大言語モデル(LLM)の役割について考察する。 我々は,その表現や学習において比較的言語的に中立な認知理論に対するプロキシのようなモデルの利用に焦点をあてる。
  論文  参考訳（メタデータ） (2025-02-11T16:38:16Z)
• Do Large Language Models Advocate for Inferentialism? [0.0]
  ChatGPTやClaudeといった大規模言語モデル(LLM)の出現は、言語哲学に対する新たな課題を提示している。 本稿では,これらのシステムを理解するための代替基盤フレームワークとして,Robert Brandom氏の推論的セマンティクスについて考察する。
  論文  参考訳（メタデータ） (2024-12-19T03:48:40Z)
• Large Language Models as Neurolinguistic Subjects: Discrepancy between Performance and Competence [49.60849499134362]
  本研究では,大言語モデル(LLM)の記号化(形式)および記号化(意味)に関する言語的理解について検討する。 ミニマルペアと診断プローブを組み合わせてモデル層間のアクティベーションパターンを解析する新しい手法を用いて,ニューロ言語学的アプローチを提案する。 その結果,(1)心理言語学的・神経言語学的手法では,言語能力と能力が異なっていること,(2)直接確率測定では言語能力が正確に評価されないこと,(3)指導のチューニングでは能力が大きく変化しないが,性能は向上しないことがわかった。
  論文  参考訳（メタデータ） (2024-11-12T04:16:44Z)
• "You Are An Expert Linguistic Annotator": Limits of LLMs as Analyzers of Abstract Meaning Representation [60.863629647985526]
  文意味構造の解析において, GPT-3, ChatGPT, および GPT-4 モデルの成功と限界について検討した。 モデルはAMRの基本形式を確実に再現でき、しばしばコアイベント、引数、修飾子構造をキャプチャできる。 全体としては,これらのモデルではセマンティック構造の側面を捉えることができるが,完全に正確なセマンティック解析や解析をサポートする能力には重要な制限が残されている。
  論文  参考訳（メタデータ） (2023-10-26T21:47:59Z)
• Language models are not naysayers: An analysis of language models on negation benchmarks [58.32362243122714]
  我々は,次世代自動回帰言語モデルによる否定処理能力の評価を行った。 LLMには,否定の存在に対する感受性,否定の語彙的意味を捉える能力の欠如,否定下での推論の失敗など,いくつかの制限があることが示されている。
  論文  参考訳（メタデータ） (2023-06-14T01:16:37Z)
• Large Linguistic Models: Investigating LLMs' metalinguistic abilities [1.0923877073891446]
  我々は,大規模言語モデルが言語データの有効なメタ言語学的分析を生成できることを初めて示す。 我々は,OpenAI (2024) o1が,構文木の作成や音韻的一般化に関わるタスクにおいて,他のモデルよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-01T17:09:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。