論文の概要: A Unified Assessment of the Poverty of the Stimulus Argument for Neural Language Models

• arxiv url: http://arxiv.org/abs/2602.09992v1
• Date: Tue, 10 Feb 2026 17:16:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-11 20:17:43.703804
• Title: A Unified Assessment of the Poverty of the Stimulus Argument for Neural Language Models
• Title（参考訳）: ニューラルネットワークモデルにおける刺激条件の不備の統一評価
• Authors: Xiulin Yang, Arianna Bisazza, Nathan Schneider, Ethan Gotlieb Wilcox,
• Abstract要約: 本稿では, 質問形成, 島移動, その他の英語現象を対象とする, 学習・評価スイートであるposhbenchを紹介する。 直接的正の証拠がなくても、すべての現象に対する一般化の兆候が見つかる。 我々の発見は、自然構文が一般化への唯一の経路である、という主張に挑戦する。
• 参考スコア（独自算出の注目度）: 10.792630632317653
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How can children acquire native-level syntax from limited input? According to the Poverty of the Stimulus Hypothesis (PoSH), the linguistic input children receive is insufficient to explain certain generalizations that are robustly learned; innate linguistic constraints, many have argued, are thus necessary to explain language learning. Neural language models, which lack such language-specific constraints in their design, offer a computational test of this longstanding (but controversial) claim. We introduce \poshbench, a training-and-evaluation suite targeting question formation, islands to movement, and other English phenomena at the center of the PoSH arguments. Training Transformer models on 10--50M words of developmentally plausible text, we find indications of generalization on all phenomena even without direct positive evidence -- yet neural models remain less data-efficient and their generalizations are weaker than those of children. We further enhance our models with three recently proposed cognitively motivated inductive biases. We find these biases improve general syntactic competence but not \poshbench performance. Our findings challenge the claim that innate syntax is the only possible route to generalization, while suggesting that human-like data efficiency requires inductive biases beyond those tested here.
• Abstract（参考訳）: 制限された入力からネイティブレベルの構文をどうやって取得できるのか? 刺激仮説の貧困 (Poverty of the Stimulus hypothesis, PoSH) によれば、言語入力の幼児は、しっかりと学習された特定の一般化を説明するのに不十分である。 言語固有の制約を設計に欠いているニューラル言語モデルは、この長年の(しかし議論を呼んだ)主張の計算テストを提供する。 我々は,PoSH議論の中心に,質問形成,移動の島々,その他の英語現象を対象とする訓練・評価スイートである \poshbench を紹介した。 10～50万ワードの発達可能なテキストでトランスフォーマーモデルを訓練すると、直接的な肯定的な証拠がなくても、すべての現象に対する一般化の兆候が見つかる。 最近提案された3つの認知的動機付け型帰納バイアスを用いて、モデルをさらに強化する。 これらのバイアスは一般的な構文的能力を改善するが、 'poshbench' のパフォーマンスは改善しない。 我々の発見は、自然構文が一般化への唯一の経路であるという主張に挑戦する一方で、人間のようなデータ効率は、ここでテストされる以上の帰納的バイアスを必要とすることを示唆している。

関連論文リスト

• Reflection Pretraining Enables Token-Level Self-Correction in Biological Sequence Models [82.79223371188756]
  CoT(Chain-of-Thought)は、大規模言語モデルを用いた自然言語処理において、高度なタスク解決機能を備えている。 CoTをタンパク質やRNA言語モデルのような非自然言語ドメインに適用することは、まだ不可能である。 生物シークエンスモデルではじめて事前学習を導入し、中間的推論を行えるようにした。
  論文  参考訳（メタデータ） (2025-12-24T05:25:17Z)
• Reasoning Elicitation in Language Models via Counterfactual Feedback [17.908819732623716]
  事実と反事実の質問において精度のバランスをとる新しい指標を導出する。 本稿では,より優れた推論機構を実現するための微調整手法を提案する。 各種現実シナリオにおける微調整言語モデルの性能評価を行った。
  論文  参考訳（メタデータ） (2024-10-02T15:33:30Z)
• UNcommonsense Reasoning: Abductive Reasoning about Uncommon Situations [62.71847873326847]
  異常、予期せぬ、そしてありそうもない状況をモデル化する能力について検討する。 予期せぬ結果のコンテキストが与えられた場合、このタスクは説明を生成するために故意に推論する必要がある。 私たちはUNcommonsenseという新しい英語コーパスをリリースします。
  論文  参考訳（メタデータ） (2023-11-14T19:00:55Z)
• Language Models as Inductive Reasoners [125.99461874008703]
  本稿では,帰納的推論のための新しいパラダイム(タスク)を提案し,自然言語の事実から自然言語規則を誘導する。 タスクのための1.2kルールファクトペアを含むデータセットDEERを作成し,ルールと事実を自然言語で記述する。 我々は、事前訓練された言語モデルが自然言語の事実から自然言語規則をいかに誘導できるかを、初めてかつ包括的な分析を行う。
  論文  参考訳（メタデータ） (2022-12-21T11:12:14Z)
• ALERT: Adapting Language Models to Reasoning Tasks [43.8679673685468]
  ALERTは、言語モデルの推論能力を評価するためのベンチマークと分析スイートである。 ALERTは、あらゆる言語モデルに対して、きめ細かい推論スキルを評価するためのテストベッドを提供する。 言語モデルは、事前学習状態と比較して、微調整段階の推論スキルを学習する。
  論文  参考訳（メタデータ） (2022-12-16T05:15:41Z)
• Towards Zero-shot Language Modeling [90.80124496312274]
  人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。 類型的に多様な訓練言語のサンプルからこの分布を推測する。 我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
  論文  参考訳（メタデータ） (2021-08-06T23:49:18Z)
• On Negative Interference in Multilingual Models: Findings and A Meta-Learning Treatment [59.995385574274785]
  従来の信念に反して、負の干渉は低リソース言語にも影響を及ぼすことを示す。 メタ学習アルゴリズムは、より優れた言語間変換性を得、負の干渉を軽減する。
  論文  参考訳（メタデータ） (2020-10-06T20:48:58Z)
• Critical Thinking for Language Models [6.963299759354333]
  本稿では,ニューラル自動回帰言語モデルの批判的思考カリキュラムに向けて第一歩を踏み出す。 我々は、GPT-2を訓練し、評価するために、人工的な議論文を生成する。 NLUベンチマークに対して一貫した有望な結果が得られる。
  論文  参考訳（メタデータ） (2020-09-15T15:49:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。