論文の概要: LLMs are not stochastic parrots: Evidence for meaning-mediated abstraction from conlang-like tasks

• arxiv url: http://arxiv.org/abs/2609.34187v2
• Date: Tue, 29 Sep 2026 15:46:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.72007
• Title: LLMs are not stochastic parrots: Evidence for meaning-mediated abstraction from conlang-like tasks
• Title（参考訳）: LLMは確率的オウムではない:コンラング様タスクから意味を介する抽象化の証拠
• Abstract要約: コンラングのようなタスクを用いて,強いオウム仮説を検証した。 適切なアーキテクチャ的制約と文脈的制約の下では、統計的学習が意味を媒介する抽象化を生み出すことが示される。
• 参考スコア（独自算出の注目度）: 0.08796261172196741
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The strong version of the stochastic parrot argument claims that, although large language models (LLMs) may exceed rote regurgitation, they cannot move beyond statistical pattern matching into abstraction or reasoning, remaining ontologically near the lower bound of pattern reuse despite producing alluringly fluent text. We test this hypothesis using conlang-like tasks. Several LLMs are given only natural-language descriptions of fictional languages that subvert prominent superficial patterns in training data by combining statistically uncommon and unattested features. Crucially, no example outputs are given. We argue that if the models exhibit rule-following behaviour, they cannot be relying solely on superficial statistical patterns; such patterns often work against the correct output. Instead, successful performance requires representations of the constraints specified in the prompt. Across three complementary task families, models systematically move in the meaning-predicted direction: they distinguish prompt exposure from instructed use, alter semantic relationships in response to novel constraints, and sometimes produce exact matches to complex translation answer keys. Although performance varies across the spectrum of models used, these results provide evidence for meaning-mediated abstraction in LLMs and refute the strong stochastic parrot hypothesis. Our work shows that, under appropriate architectural and contextual constraints, statistical learning can produce meaning-mediated abstractions, although generation remains strongly constrained by superficial plausibility. We discuss implications for model development and for understanding how increasingly abstract representations may emerge from plausible-text-generation objectives.
• Abstract（参考訳）: 確率論的オウム論の強いバージョンは、大きな言語モデル(LLM)はロート・リグルジョンを超えるかもしれないが、統計的なパターンマッチングを抽象化や推論に移すことはできず、不規則に流動的なテキストを生成するにもかかわらず、パターン再利用の下位境界近くで存在論的に残っていると主張している。 コンラングのようなタスクを用いてこの仮説をテストする。 いくつかのLLMは、統計的に一般的でない特徴と証明されていない特徴を組み合わせることで、トレーニングデータにおける顕著な表面パターンを覆す架空の言語の自然言語記述のみを与えられる。 重要なことは、アウトプットは提供されない。 モデルが規則に従う振る舞いを示す場合、表面的な統計的パターンのみに依存することはできない。 代わりに、パフォーマンスを成功させるためには、プロンプトで指定された制約の表現が必要である。 3つの相補的なタスクファミリの中で、モデルは意味予測された方向に体系的に移動し、指示された使用からの迅速な露光を区別し、新しい制約に対応する意味的関係を変更し、時には複雑な翻訳応答キーとの正確な一致を生成する。 性能は使用するモデルのスペクトルによって異なるが、これらの結果はLLMにおける意味を介する抽象化の証拠となり、強い確率オウム仮説を否定する。 我々の研究は、適切なアーキテクチャ的制約と文脈的制約の下で、統計的学習が意味を媒介する抽象を創出できることを示しているが、生成は表面的妥当性に強く制約されている。 本稿では,モデル開発における意味と,より抽象的な表現が可読なテキスト生成目的からどのように現れるかを理解することについて論じる。

関連論文リスト

• Causal Abstraction Inference under Lossy Representations [53.18851962820361]
  我々は、既存の定義を一般化して損失表現に適合させる、投影抽象化と呼ばれる新しいタイプの抽象化を導入する。 低レベルモデルから投影された抽象化を構築する方法と、それと等価な観察的、介入的、および反ファクト的因果クエリを低レベルから高レベルに翻訳する方法を示す。
  論文  参考訳（メタデータ） (2025-09-25T21:20:42Z)
• Stochastic Chameleons: Irrelevant Context Hallucinations Reveal Class-Based (Mis)Generalization in LLMs [36.89422086121058]
  クラスベース(ミス)一般化と呼ぶ構造的だが欠陥のあるメカニズムからエラーが生じることを示す。 Llama-3、Mistral、Pythiaの実験では、この挙動がモデルの内部計算に反映されていることが明らかになった。
  論文  参考訳（メタデータ） (2025-05-28T17:47:52Z)
• Benchmarking Abstract and Reasoning Abilities Through A Theoretical Perspective [59.7140089198992]
  抽象的推論を本質的なパターンを抽出する能力として定義する数学的枠組みを開発する。 基本的な推論精度を計測する(scoreGamma)と、特定のシンボルに依存するモデルの定量化(scoreDelta)である。
  論文  参考訳（メタデータ） (2025-05-28T09:02:45Z)
• Navigating Semantic Relations: Challenges for Language Models in Abstract Common-Sense Reasoning [5.4141465747474475]
  大規模言語モデル(LLM)は、人間のようなテキストを生成し、適度な複雑さの問題を解くことで、顕著な性能を達成した。 概念ネット知識グラフを用いて,LLMにおける抽象的常識推論を体系的に評価する。
  論文  参考訳（メタデータ） (2025-02-19T20:20:24Z)
• Uncertainty Quantification for In-Context Learning of Large Language Models [52.891205009620364]
  大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。 両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。 提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
  論文  参考訳（メタデータ） (2024-02-15T18:46:24Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)
• Evaluating statistical language models as pragmatic reasoners [39.72348730045737]
  我々は,語学的な発話の意味を推測するために,大規模言語モデルの能力を評価する。 LLMは、複数の複雑な実用的発話の解釈に対して、文脈的、人間的な分布を導出することができる。 結果は,統計的言語モデルの推論能力と,実践的・意味論的解析への応用について報告する。
  論文  参考訳（メタデータ） (2023-05-01T18:22:10Z)
• Does BERT really agree ? Fine-grained Analysis of Lexical Dependence on a Syntactic Task [70.29624135819884]
  目的の構文テンプレート上で,BERTが語彙非依存の主観値数アグリーメント(NA)を実行できる範囲について検討した。 名詞文では,単純なテンプレートに対してモデルがよく一般化されるが,1つのアトラクターが存在する場合,語彙非依存の構文一般化を行うことができないことが示唆された。
  論文  参考訳（メタデータ） (2022-04-14T11:33:15Z)
• Exploring Lexical Irregularities in Hypothesis-Only Models of Natural Language Inference [5.283529004179579]
  自然言語推論(NLI)またはテキスト関連認識(RTE)は、文のペア間の関係を予測するタスクです。 包含を理解するモデルは前提と仮説の両方をエンコードするべきである。 Poliakらによる実験。 仮説でのみ観察されたパターンに対するこれらのモデルの強い好みを明らかにした。
  論文  参考訳（メタデータ） (2021-01-19T01:08:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。