論文の概要: Assessing the alignment between infants' visual and linguistic experience using multimodal language models

• arxiv url: http://arxiv.org/abs/2511.18824v1
• Date: Mon, 24 Nov 2025 06:58:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-25 18:34:25.062928
• Title: Assessing the alignment between infants' visual and linguistic experience using multimodal language models
• Title（参考訳）: 多モーダル言語モデルを用いた幼児の視覚経験と言語経験の整合性の評価
• Authors: Alvin Wei Ming Tan, Jane Yang, Tarun Sepuri, Khai Loong Aw, Robert Z. Sparks, Zi Yin, Virginia A. Marchman, Michael C. Frank, Bria Long,
• Abstract要約: 日常学習における子どもの視覚的・言語的経験と時間的整合性について 学習のための理想化された整列モーメントは、現代の機械学習データセットと比較して、子供の日常体験において比較的稀であることを示す。 これらの結果から, 単語学習を記述したモデルでは, 頻繁なアライメントが制約であることが示唆された。
• 参考スコア（独自算出の注目度）: 2.275358921334511
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Figuring out which objects or concepts words refer to is a central language learning challenge for young children. Most models of this process posit that children learn early object labels from co-occurrences of words and their referents that occur when someone around them talks about an object in the immediate physical environment. But how aligned in time are children's visual and linguistic experiences during everyday learning? To date, answers to this question have been limited by the need for labor-intensive manual annotations of vision-language co-occurrences. Here, we evaluate the use of contrastive language-image pretraining (CLIP) models to automatically characterize vision-language alignment in egocentric videos taken from the infant perspective in home environments. After validating CLIP alignment scores using human alignment judgments, we apply this metric to a large corpus of infant-perspective videos. We show that idealized aligned moments for learning (e.g., "look at the ball" with a ball present in the child's view) are relatively rare in children's everyday experiences compared to modern machine learning datasets, and highlight variability in alignment both within and across children. These findings suggest that infrequent alignment is a constraint for models describing early word learning and offer a new method for investigating children's multimodal environment.
• Abstract（参考訳）: どの物体や言葉が参照するかを判断することは、幼児にとって中心的な言語学習課題である。 このプロセスのほとんどのモデルは、子どもたちが、周囲の誰かが身近な物理的環境の中でオブジェクトについて話しているときに起こる単語とその参照から、早期のオブジェクトラベルを学ぶことを示唆している。 しかし、日常的な学習における子どもの視覚的・言語的経験はどのように一致しているか? これまでのところ、この質問に対する回答は、視覚言語共起の労働集約的な手動アノテーションの必要性によって制限されてきた。 そこで本研究では,幼児の視点から撮影したエゴセントリックビデオにおいて,視覚言語アライメントを自動的に特徴付けるために,コントラッシブ言語画像事前学習(CLIP)モデルを用いて評価する。 ヒトのアライメント判定を用いてCLIPアライメントスコアを検証した後、この指標を乳幼児向けビデオの大規模なコーパスに適用する。 本研究は, 子どもの日常体験において, 現代の機械学習データセットと比較して, 学習のための理想化されたアライメント・モーメント(例えば, 子どもの視点でボールを見る)が比較的稀であることを示し, 子どもの内外におけるアライメントの多様性を強調した。 これらの結果から, 頻繁なアライメントは, 早期語学学習を記述するモデルの制約であり, 子どものマルチモーダル環境を調査するための新しい手法を提供する可能性が示唆された。

関連論文リスト

• Discovering Hidden Visual Concepts Beyond Linguistic Input in Infant Learning [18.43931715859825]
  コンピュータビジョンが人間の視覚システムを再現しようとすると、幼児の視覚発達を理解することは貴重な洞察を与えるかもしれない。 本稿では,この問題を探求する学際的研究について述べる。 Vongらによる最近発表されたScienceのモデルを分析する。 これらのニューロンは、モデルの本来の語彙を超えた物体を認識できることを実証する。
  論文  参考訳（メタデータ） (2025-01-09T12:55:55Z)
• A model of early word acquisition based on realistic-scale audiovisual naming events [10.047470656294333]
  音声知覚入力における正規性からの統計的学習により,早期語が獲得できる範囲について検討した。 生音声の統計的規則性や画素レベルの視覚入力から学習するモデルを用いて,12ヵ月までの幼児の語学学習を現実的な環境でシミュレーションした。 以上の結果から, 幼児期と同等の語彙成長速度で, 単語の認識とそれに対応する視覚オブジェクトの関連付けを効果的に学習できることが示唆された。
  論文  参考訳（メタデータ） (2024-06-07T21:05:59Z)
• Pixel Sentence Representation Learning [67.4775296225521]
  本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。 タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。 我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
  論文  参考訳（メタデータ） (2024-02-13T02:46:45Z)
• Caregiver Talk Shapes Toddler Vision: A Computational Study of Dyadic Play [8.164232628099619]
  本稿では, ディヤドプレイにおける視覚表現学習の計算モデルを提案する。 実介護者の統計値に一致した発話は, カテゴリー認識の改善を支援する表現を生じさせることを示す。
  論文  参考訳（メタデータ） (2023-12-07T08:18:40Z)
• Visually Grounded Language Learning: a review of language games, datasets, tasks, and models [60.2604624857992]
  多くのVision+Language (V+L)タスクは、視覚的モダリティでシンボルをグラウンドできるモデルを作成することを目的として定義されている。 本稿では,V+L分野において提案されるいくつかの課題とモデルについて,系統的な文献レビューを行う。
  論文  参考訳（メタデータ） (2023-12-05T02:17:29Z)
• Visual Grounding Helps Learn Word Meanings in Low-Data Regimes [47.7950860342515]
  現代のニューラル言語モデル(LM)は、人間の文の生成と理解をモデル化するための強力なツールである。 しかし、これらの結果を得るためには、LMは明らかに非人間的な方法で訓練されなければならない。 より自然主義的に訓練されたモデルは、より人間らしい言語学習を示すのか? 本稿では,言語習得における重要なサブタスクである単語学習の文脈において,この問題を考察する。
  論文  参考訳（メタデータ） (2023-10-20T03:33:36Z)
• BabySLM: language-acquisition-friendly benchmark of self-supervised spoken language models [56.93604813379634]
  音声表現を学習するための自己指導技術は、人間のラベルを必要とせずに、音声への露出から言語能力を高めることが示されている。 語彙および構文レベルで音声言語モデルを探索するために,言語習得に親しみやすいベンチマークを提案する。 テキストと音声のギャップを埋めることと、クリーンな音声とその内話のギャップを埋めることである。
  論文  参考訳（メタデータ） (2023-06-02T12:54:38Z)
• Localization vs. Semantics: Visual Representations in Unimodal and Multimodal Models [57.08925810659545]
  既存の視覚・言語モデルと視覚のみのモデルにおける視覚表現の比較分析を行う。 我々の経験的観察は、視覚・言語モデルがラベル予測タスクに優れていることを示唆している。 我々の研究は、視覚学習における言語の役割に光を当て、様々な事前学習モデルの実証的なガイドとして機能することを願っている。
  論文  参考訳（メタデータ） (2022-12-01T05:00:18Z)
• Word Acquisition in Neural Language Models [0.38073142980733]
  ニューラルネットワークモデルは,学習中に個々の単語を習得し,学習曲線を抽出し,600以上の単語の獲得年齢を推定する。 子どもや言語モデルでは, 具体性, 単語長, 語彙クラスの影響が顕著に異なることがわかった。
  論文  参考訳（メタデータ） (2021-10-05T23:26:16Z)
• Vokenization: Improving Language Understanding with Contextualized, Visual-Grounded Supervision [110.66085917826648]
  我々は,言語トークンを関連画像に文脈的にマッピングすることで,言語のみのデータに対するマルチモーダルアライメントを補間する手法を開発した。 語彙化」は比較的小さな画像キャプションデータセットに基づいて訓練され、それを大規模言語コーパスのための語彙生成に適用する。 これらの文脈的に生成された語彙を用いて学習し、視覚的に制御された言語モデルにより、複数の純粋言語タスクにおいて、自己教師による代替よりも一貫した改善が示される。
  論文  参考訳（メタデータ） (2020-10-14T02:11:51Z)
• A Computational Model of Early Word Learning from the Infant's Point of View [15.443815646555125]
  本研究では,親との遊戯中に幼児の学習者から収集したエゴセントリックな映像と視線データを用いた。 次に、畳み込みニューラルネットワーク(CNN)モデルを用いて、幼児の視点から感覚データを処理し、スクラッチから名前とオブジェクトの関連を学習した。 本研究は,幼児期の単語学習をシミュレートするために生のエゴセントリックビデオを利用する最初のモデルとして,早期語学習の問題を解くことができるという原理の証明を提供する。
  論文  参考訳（メタデータ） (2020-06-04T12:08:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。