論文の概要: Exemplar Retrieval Without Overhypothesis Induction: Limits of Distributional Sequence Learning in Early Word Learning

• arxiv url: http://arxiv.org/abs/2604.05243v1
• Date: Mon, 06 Apr 2026 23:11:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.524736
• Title: Exemplar Retrieval Without Overhypothesis Induction: Limits of Distributional Sequence Learning in Early Word Learning
• Title（参考訳）: 過剰仮説を伴わない先行検索:初期単語学習における分布列学習の限界
• Authors: Jon-Paul Cacioli,
• Abstract要約: 子どもたちは、形状がオブジェクトのカテゴリを定義する傾向がある機能であることを学びます。 合成コーパスを用いた自己回帰変換言語モデルの訓練を行った。 モデルは、構造化された名詞からドメインへの抽象化ではなく、フレームからフィーチャーまでのテンプレートマッチングに依存している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Background: Children do not simply learn that balls are round and blocks are square. They learn that shape is the kind of feature that tends to define object categories -- a second-order generalisation known as an overhypothesis [1, 2]. What kind of learning mechanism is sufficient for this inductive leap? Methods: We trained autoregressive transformer language models (3.4M-25.6M parameters) on synthetic corpora in which shape is the stable feature dimension across categories, with eight conditions controlling for alternative explanations. Results: Across 120 pre-registered runs evaluated on a 1,040-item wug test battery, every model achieved perfect first-order exemplar retrieval (100%) while second-order generalisation to novel nouns remained at chance (50-52%), a result confirmed by equivalence testing. A feature-swap diagnostic revealed that models rely on frame-to-feature template matching rather than structured noun-to-domain-to-feature abstraction. Conclusions: These results reveal a clear limitation of autoregressive distributional sequence learning under developmental-scale training conditions.
• Abstract（参考訳）: 背景: 子どもたちは単にボールが丸く、ブロックが正方形であることを学ばない。 彼らは、形状はオブジェクトカテゴリを定義する傾向がある機能の一種である、ということを学びます。 この誘導的な跳躍にはどのような学習メカニズムが十分か? 方法: 自己回帰型トランスフォーマー言語モデル(3.4M-25.6Mパラメータ)をカテゴリー毎に安定な特徴次元を持つ合成コーパスで訓練し, 8条件で代替説明を制御した。 結果: 1,040itemのWugテストバッテリで120回以上の事前登録を行い, 各モデルが完全一階例検索(100%)を達成し, 新規名詞への二階一般化は偶然に(50-52%)、同値試験により確認された。 機能スワップ診断では、モデルは構造化された名詞からドメインへの抽象化ではなく、フレームからフィーチャーまでのテンプレートマッチングに依存していることが明らかになった。 結論: これらの結果から, 発達段階の学習条件下での自己回帰分布列学習の限界が明らかとなった。

関連論文リスト

• AI Mental Models: Learned Intuition and Deliberation in a Bounded Neural Architecture [0.0]
  本稿では,有界なニューラルアーキテクチャが,シロジカル推論ベンチマーク上での直観と熟考の間に有意義な分断を生じさせるかどうかを問う。 実験1では、5倍のクロスバリデーションの下で、完全な9方向の人間の応答分布を予測するための直接神経ベースラインを評価した。 実験2では、計算的精神モデル理論に動機づけられた、直観と熟考の別々の経路を持つ有界なデュアルパスアーキテクチャを導入する。
  論文  参考訳（メタデータ） (2026-03-23T20:44:38Z)
• Closed-Form Training Dynamics Reveal Learned Features and Linear Structure in Word2Vec-like Models [5.015875080287129]
  word2vecのような自己教師付き単語埋め込みアルゴリズムは、言語モデリングにおける表現学習を研究するための最小限の設定を提供する。 ダウンストリームタスクにおけるトレーニングダイナミクスと最終性能は、経験的に word2vec と非常によく似ていることを示す。
  論文  参考訳（メタデータ） (2025-02-14T02:16:48Z)
• Geometric Prior Guided Feature Representation Learning for Long-Tailed Classification [47.09355487357069]
  そこで,本論文では,よく表現されたヘッドクラスの特徴分布の幾何学的情報を活用し,モデルにテールクラスの基盤となる分布を学習させる手法を提案する。 パータード機能は、可能な限りテールクラスの基盤となる分布をカバーし、テスト領域におけるモデルの一般化性能を向上させることを目的としている。
  論文  参考訳（メタデータ） (2024-01-21T09:16:29Z)
• Unleashing the power of Neural Collapse for Transferability Estimation [42.09673383041276]
  よく訓練されたモデルは神経崩壊の現象を示す。 本稿では、転送可能性推定のためのFair Collapse(FaCe)と呼ばれる新しい手法を提案する。 FaCeは、画像分類、セマンティックセグメンテーション、テキスト分類など、さまざまなタスクにおける最先端のパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2023-10-09T14:30:10Z)
• Training Trajectories of Language Models Across Scales [99.38721327771208]
  言語モデルのスケールアップは、前例のないパフォーマンス向上につながった。 異なるサイズの言語モデルは事前学習中にどのように学習するか? より大きな言語モデルはなぜ望ましい振る舞いを示すのか?
  論文  参考訳（メタデータ） (2022-12-19T19:16:29Z)
• Mutual Exclusivity Training and Primitive Augmentation to Induce Compositionality [84.94877848357896]
  最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。 本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。 広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
  論文  参考訳（メタデータ） (2022-11-28T17:36:41Z)
• Semantic Self-adaptation: Enhancing Generalization with a Single Sample [45.111358665370524]
  セマンティックセグメンテーションのための自己適応型アプローチを提案する。 整合正則化を用いて畳み込み層のパラメータを入力画像に微調整する。 実験により, 自己適応は訓練時のモデル正規化の確立した実践を補完する可能性が示唆された。
  論文  参考訳（メタデータ） (2022-08-10T12:29:01Z)
• On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
  異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。 このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。 我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-09T17:12:32Z)
• Understanding Classifier Mistakes with Generative Models [88.20470690631372]
  ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。 本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。 我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
  論文  参考訳（メタデータ） (2020-10-05T22:13:21Z)
• Linguistically inspired morphological inflection with a sequence to sequence model [19.892441884896893]
  我々の研究課題は、ニューラルネットワークが反射生成のための屈折形態を学習できるかどうかである。 我々は、この仮説をテストするために、屈折コーパスと単一の層Seq2seqモデルを使用している。 キャラクタ・ツー・キャラクタとインフレクションアフィクスをキャラクタブロックとして予測することにより,文字形態に基づくモデルでインフレクションを生成する。
  論文  参考訳（メタデータ） (2020-09-04T08:58:42Z)
• Do Neural Models Learn Systematicity of Monotonicity Inference in Natural Language? [41.649440404203595]
  本稿では,ニューラルネットワークが自然言語の単調推論の体系性を学習できるかどうかを評価する手法を提案する。 単調性推論の4つの側面を考察し、モデルが異なるトレーニング/テスト分割における語彙的および論理的現象を体系的に解釈できるかどうかを検証する。
  論文  参考訳（メタデータ） (2020-04-30T14:48:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。