論文の概要: Augustinian BabyLM: What Ostensive Definition Can and Cannot Teach a Small Language Model
- arxiv url: http://arxiv.org/abs/2609.11870v1
- Date: Thu, 10 Sep 2026 17:43:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.462319
- Title: Augustinian BabyLM: What Ostensive Definition Can and Cannot Teach a Small Language Model
- Title（参考訳）: Augustinian BabyLM: Ostensive Definitionができることと、小さな言語モデルを教えることができないこと
- Abstract要約: 私は小さなマスキング言語モデルのためにセントオーガスティンの単語学習(浸透による意味)の絵を実装した。
未播種単語の合成的接地が,その正当性に有利であることを示す。
- 参考スコア（独自算出の注目度）: 1.827510863075184
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A language model normally begins training with random word embeddings: whatever 'banana' means must be learned from training corpora. I implement St. Augustine's picture of word learning, meaning by ostension, for a small masked language model (DeBERTa) trained on 10M words: before training, visually grounded tokens receive embeddings derived from the image regions they label; other tokens start random. Visual initialization leaves a measurable imprint that lasts until the end of training. At the same time, the effect remains invisible under most BabyLM benchmarks, which probe abstract grammatical knowledge: visual initialization does not affect performance there. The only zero-shot exception is object-property knowledge (COMPS, Misra et al. 2023), where seeding helps in every configuration. To follow up on this result, I build a corpus-tailored version of the Visual-Property Swap benchmark (Lin et al., 2026), which tests color, material, size, and shape knowledge, with per-item training frequency and seeded status. Here, vision-seeded models have a persistent, seed- replicated advantage, confined to the seeded words. As a causal test, I show that synthetic grounding of previously unseeded words transfers the advantage to exactly those words. Function words and abstract vocabulary also receive strong visual seeds and retain them throughout training, and the training objective draws on them: held-out mask-prediction loss falls for these words in every seed. However, no benchmark I run registers this. What evaluation would pick this up remains an open question.
- Abstract（参考訳）: 言語モデルは通常、ランダムな単語の埋め込みでトレーニングを開始する。
私は、St. Augustineの単語学習の絵、つまり浸透によって、1000万語で訓練された小さなマスク付き言語モデル(DeBERTa)に実装します:トレーニングの前に、視覚的に接地されたトークンは、ラベル付けされた画像領域から派生した埋め込みを受け取り、他のトークンはランダムに開始します。
視覚的初期化は、トレーニングの終了まで続く測定可能なインプリントを残します。
同時に、ほとんどのBabyLMベンチマークでは、視覚的初期化はパフォーマンスに影響を与えないという抽象文法的知識を探索する効果は目に見えないままである。
唯一のゼロショット例外はオブジェクトプロパティ知識(COMPS, Misra et al 2023)である。
この結果に従うために、私はVisual-Property Swapベンチマーク(Lin et al , 2026)のコーパス調整バージョンを構築しました。
ここでは、視覚的な種子モデルには、シードされた単語に限られる永続的で、シードの複製された利点がある。
因果検定の結果,未播種単語の合成的接地は,その正当性に有利であることがわかった。
関数語と抽象語彙も強い視覚的シードを受け取り、トレーニングを通してそれらを保持し、トレーニングの目的はそれらに引き寄せられる。
しかし、私が実行しているベンチマークは、これを登録しません。
どんな評価を受けるかは、まだ明らかな疑問だ。
関連論文リスト
- Transformer verbatim in-context retrieval across time and scale [2.7941582470640784]
場合によっては、言語モデルはコンテキスト内情報を冗長に検索しなければならない。
本研究は, 学習過程の早い段階から, 言語内単語検索が急激な移行の中で発達したことを示す。
この結果から, 文脈内単語検索の発達はゼロショットベンチマークの学習と正の相関関係があることが判明した。
論文 参考訳（メタデータ） (2024-11-11T15:50:01Z) - Pixel Sentence Representation Learning [67.4775296225521]
本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。
タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。
我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
論文 参考訳（メタデータ） (2024-02-13T02:46:45Z) - The Neglected Tails in Vision-Language Models [51.79913798808725]
視覚言語モデル(VLM)はゼロショット認識において優れているが,その性能は視覚的概念によって大きく異なる。
ゼロショットVLMの不均衡性能を軽減するために,Retrieval-Augmented Learning (REAL)を提案する。
論文 参考訳（メタデータ） (2024-01-23T01:25:00Z) - Revisiting the Role of Language Priors in Vision-Language Models [90.0317841097143]
視覚言語モデル(VLM)は、微調整なしで、ゼロショット方式で様々な視覚的理解タスクに適用される。
我々は、画像から次の単語を生成するために訓練された$textitgenerative VLMs$について研究する。
画像テキスト検索の図解的タスクにおけるゼロショット性能を,8つの人気のある視覚言語ベンチマークで検証する。
論文 参考訳（メタデータ） (2023-06-02T19:19:43Z) - Word class representations spontaneously emerge in a deep neural network
trained on next word prediction [7.240611820374677]
人間はどのように言語を学ぶのか、そして、最初の言語は全く学べるのか?
これらの基本的な疑問はいまだに熱心に議論されている。
特に、次の単語を予測するために、人工的な深層ニューラルネットワークを訓練する。
その結果,9ワード入力シーケンスの内部表現は10ワードの単語クラスに従ってクラスタ化され,出力として予測されることがわかった。
論文 参考訳（メタデータ） (2023-02-15T11:02:50Z) - Visually-augmented pretrained language models for NLP tasks without
images [77.74849855049523]
既存のソリューションはしばしば視覚的知識増強のために明示的なイメージに依存している。
我々は、新しいtextbfVisually-textbfAugmented fine-tuningアプローチを提案する。
我々のアプローチは、BERT、RoBERTa、BART、T5を異なるスケールで継続的に改善することができる。
論文 参考訳（メタデータ） (2022-12-15T16:13:25Z) - Language with Vision: a Study on Grounded Word and Sentence Embeddings [6.231247903840833]
視覚における接地言語は、認知的に妥当な単語と文表現の構築を目指す研究の活発な分野である。
本研究では,事前学習した単語埋め込みのための基礎計算モデルを提案する。
本モデルは,テキスト埋め込みを視覚情報と整合させることにより,言語と視覚の相互作用を効果的にバランスさせる。
論文 参考訳（メタデータ） (2022-06-17T15:04:05Z) - CharBERT: Character-aware Pre-trained Language Model [36.9333890698306]
本稿ではCharBERTという文字認識事前学習言語モデルを提案する。
まず、逐次的文字表現から各トークンに対する文脈単語埋め込みを構築する。
次に、新しい異種相互作用モジュールによって文字とサブワードの表現を融合する。
論文 参考訳（メタデータ） (2020-11-03T07:13:06Z) - Visually Grounded Compound PCFGs [65.04669567781634]
言語理解のための視覚的基盤の爆発は、最近多くの注目を集めている。
本研究では,視覚的な文法誘導について検討し,未ラベルテキストとその視覚的キャプションから選挙区を学習する。
論文 参考訳（メタデータ） (2020-09-25T19:07:00Z) - Contrastive Learning for Weakly Supervised Phrase Grounding [99.73968052506206]
単語領域の注目度を最適化することにより,句の接頭辞が学習可能であることを示す。
キーとなる考え方は、言語モデルに基づく単語置換を通して学習するための効果的な負のキャプションを構築することである。
COCO-Captionsでトレーニングされた弱い教師付きフレーズグラウンドモデルは、Flickr30Kベンチマークで76.7%の精度を達成するために、健全な5.7%の上昇を示している。
論文 参考訳（メタデータ） (2020-06-17T15:00:53Z) - Word Sense Disambiguation for 158 Languages using Word Embeddings Only [80.79437083582643]
文脈における単語感覚の曖昧さは人間にとって容易であるが、自動的アプローチでは大きな課題である。
本稿では,学習前の標準単語埋め込みモデルを入力として,完全に学習した単語認識のインベントリを誘導する手法を提案する。
この手法を用いて、158の言語に対して、事前訓練されたfastText単語の埋め込みに基づいて、センスインベントリのコレクションを誘導する。
論文 参考訳（メタデータ） (2020-03-14T14:50:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。