論文の概要: Unpacking Let Alone: Human-Scale Models Generalize to a Rare Construction in Form but not Meaning

• arxiv url: http://arxiv.org/abs/2506.04408v1
• Date: Wed, 04 Jun 2025 19:40:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.400985
• Title: Unpacking Let Alone: Human-Scale Models Generalize to a Rare Construction in Form but not Meaning
• Title（参考訳）: 解き放つ:人間スケールのモデルは、形はレアな構造に一般化するが意味はない
• Authors: Wesley Scivetti, Tatsuya Aoyama, Ethan Wilcox, Nathan Schneider,
• Abstract要約: 我々は、英語LET-ALONE構築の形式と意味の知識に基づいて、人間のスケールトランスフォーマー言語モデルをテストする。 関連する構造がデータセットからフィルタリングされた場合でも,人間のスケールのLMは形成に敏感であることがわかった。 人間のスケール LM は LET-ALONE の意味を正しく一般化しない。
• 参考スコア（独自算出の注目度）: 10.364521485976823
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Humans have a remarkable ability to acquire and understand grammatical phenomena that are seen rarely, if ever, during childhood. Recent evidence suggests that language models with human-scale pretraining data may possess a similar ability by generalizing from frequent to rare constructions. However, it remains an open question how widespread this generalization ability is, and to what extent this knowledge extends to meanings of rare constructions, as opposed to just their forms. We fill this gap by testing human-scale transformer language models on their knowledge of both the form and meaning of the (rare and quirky) English LET-ALONE construction. To evaluate our LMs we construct a bespoke synthetic benchmark that targets syntactic and semantic properties of the construction. We find that human-scale LMs are sensitive to form, even when related constructions are filtered from the dataset. However, human-scale LMs do not make correct generalizations about LET-ALONE's meaning. These results point to an asymmetry in the current architectures' sample efficiency between language form and meaning, something which is not present in human language learners.
• Abstract（参考訳）: 人間は、子どものころにめったに見られないような文法的な現象を習得し理解する能力を持っている。 近年の証拠は、人間の大規模事前学習データを持つ言語モデルは、頻繁な構造から稀な構造へと一般化することで、同様の能力を持つ可能性があることを示唆している。 しかし、この一般化能力がどの程度広まっており、この知識が単なる形式とは対照的に、希少な構成の意味にまでどの程度拡張されているかは、まだ明らかな疑問である。 このギャップを補うために、人間スケールのトランスフォーマー言語モデルを英語のLET-ALONE構築の形式と意味の両方の知識に基づいてテストする。 提案手法の評価には, 構文的, 意味的特性をターゲットとした合成ベンチマークを構築した。 関連する構造がデータセットからフィルタリングされた場合でも,人間のスケールのLMは形成に敏感であることがわかった。 しかし、人間のスケールの LM は LET-ALONE の意味を正しく一般化しない。 これらの結果は、現在のアーキテクチャーの言語形式と意味の間のサンプル効率の非対称性を指しており、これは人間の言語学習者には存在しない。

関連論文リスト

• Empirically evaluating commonsense intelligence in large language models with large-scale human judgments [4.7206754497888035]
  本稿では,人工知能における常識を評価する新しい手法を提案する。 モデルの判断と人口の対応を計測する。 私たちのフレームワークは、異なる、しばしば互換性のない、知識の社会的備蓄を持つ人間の集合体にAIモデルを適用することの要求に寄与します。
  論文  参考訳（メタデータ） (2025-05-15T13:55:27Z)
• Can Language Models Learn Typologically Implausible Languages? [62.823015163987996]
  人間の言語にまたがる文法的特徴は、人間の学習バイアスに起因する興味深い相関関係を示している。 言語モデル(LM)が言語普遍性におけるドメイン一般学習バイアスの役割をよりよく決定する方法について論じる。 本研究は,英語(頭初期)と日本語(頭最終)の超自然主義的だが反実的なバージョンを用いて,LMを試験する。
  論文  参考訳（メタデータ） (2025-02-17T20:40:01Z)
• Language Models Learn Rare Phenomena from Less Rare Phenomena: The Case of the Missing AANNs [19.81504712176621]
  言語モデルは希少な現象から一般化することで希少な文法現象を学習できることを示す。 この結果から, LMが希少な現象から一般化することで, 希少な文法現象を学習できることが示唆された。
  論文  参考訳（メタデータ） (2024-03-28T20:35:10Z)
• Evaluating Neural Language Models as Cognitive Models of Language Acquisition [4.779196219827507]
  我々は、ニューラルネットワークモデルの構文能力を評価するための最も顕著なベンチマークは、十分に厳密でないかもしれないと論じる。 小規模データモデリングによる子言語習得を訓練すると、LMは単純なベースラインモデルで容易にマッチングできる。 子どもの言語習得に関する実証的研究と、LMをよりよく結びつけるための提案をまとめて締めくくった。
  論文  参考訳（メタデータ） (2023-10-31T00:16:17Z)
• Visual Grounding Helps Learn Word Meanings in Low-Data Regimes [47.7950860342515]
  現代のニューラル言語モデル(LM)は、人間の文の生成と理解をモデル化するための強力なツールである。 しかし、これらの結果を得るためには、LMは明らかに非人間的な方法で訓練されなければならない。 より自然主義的に訓練されたモデルは、より人間らしい言語学習を示すのか? 本稿では,言語習得における重要なサブタスクである単語学習の文脈において,この問題を考察する。
  論文  参考訳（メタデータ） (2023-10-20T03:33:36Z)
• Can language models handle recursively nested grammatical structures? A case study on comparing models and humans [0.0]
  言語モデルと人間の能力を比較するには? 私は、ネストした文法構造の処理というケーススタディを考えます。 特定の現象の認知モデルを評価することと、広範囲に訓練されたモデルを評価することには、重要な違いがあることを示唆する。
  論文  参考訳（メタデータ） (2022-10-27T10:25:12Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Are Representations Built from the Ground Up? An Empirical Examination of Local Composition in Language Models [91.3755431537592]
  構成的・非構成的句を表現することは言語理解にとって重要である。 まず,より長いフレーズのLM-内部表現を,その構成成分から予測する問題を定式化する。 意味的構成性の人間の判断と相関する予測精度を期待するが、大部分はそうではない。
  論文  参考訳（メタデータ） (2022-10-07T14:21:30Z)
• Towards Abstract Relational Learning in Human Robot Interaction [73.67226556788498]
  人間は環境における実体を豊かに表現する。 ロボットが人間とうまく対話する必要がある場合、同様の方法で実体、属性、一般化を表現する必要がある。 本研究では,人間とロボットの相互作用を通じて,これらの表現をどのように獲得するかという課題に対処する。
  論文  参考訳（メタデータ） (2020-11-20T12:06:46Z)
• Structural Supervision Improves Few-Shot Learning and Syntactic Generalization in Neural Language Models [47.42249565529833]
  人間は最小限の経験から単語に関する構造的特性を学ぶことができる。 我々は、現代のニューラル言語モデルがこの行動を英語で再現する能力を評価する。
  論文  参考訳（メタデータ） (2020-10-12T14:12:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。