論文の概要: EgoBabyVLM: Benchmarking Cross-Modal Learning from Naturalistic Egocentric Video Data

• arxiv url: http://arxiv.org/abs/2605.19130v1
• Date: Mon, 18 May 2026 21:30:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:08.997816
• Title: EgoBabyVLM: Benchmarking Cross-Modal Learning from Naturalistic Egocentric Video Data
• Title（参考訳）: EgoBabyVLM: 自然主義的エゴセントリックビデオデータによるクロスモーダル学習のベンチマーク
• Authors: Dongyan Lin, Phillip Rust, Angel Villar Corrales, Alvin W. M. Tan, Mahi Luthra, Charles-Éric Saint-James, Rashel Moritz, Sheila Krogh-Jespersen, Vanessa Stark, Surya Parimi, Jiayi Shen, Youssef Benchekroun, Yosuke Higuchi, Martin Gleize, Tom Fizycki, Nicolas Hamilakis, Manel Khentout, Sho Tsuji, Balázs Kégl, Juan Pino, Michael C. Frank, Emmanuel Dupoux,
• Abstract要約: 子どもたちは、限られたビジュオ言語入力から顕著な頑健さで言語基盤を取得する。 現在の視覚言語モデルは、ウェアラブルデバイス、エンボディエージェント、幼児用ヘッドカムによって生産される、疎外的で、バランスのとれたエゴセントリックなストリームに一般化することができない。 EgoBabyVLM Challengeを導入し、幼児が経験する自然主義的なデータから言語学習の基盤となるモデルを開発する。
• 参考スコア（独自算出の注目度）: 20.729468513123756
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Children acquire language grounding with remarkable robustness from limited visuo-linguistic input in ways that surpass today's best large multimodal models. Recent research suggests current vision-language models (VLMs) trained on curated web data fail to generalize to the sparse, weakly-aligned egocentric streams produced by wearable devices, embodied agents, and infant head-cams -- and no fixed evaluation pipeline exists for measuring progress on this regime. We train VLMs on datasets with varying degrees of semantic alignment between visual and linguistic inputs, including naturalistic infant and adult egocentric videos, and evaluate them with a comprehensive suite spanning multimodal language grounding and unimodal vision and language tasks. At the core of this suite is Machine-DevBench, a corpus-grounded benchmark of lexical and grammatical competence, automatically generated from the model's training vocabulary across logarithmic frequency bins to eliminate the train/eval mismatch and low statistical power of prior developmental benchmarks. Our results show that current VLM paradigms hinge on the tight semantic alignment of curated data and fail to exploit the weakly-aligned signal that dominates naturalistic egocentric input -- the very regime in which humans thrive. To motivate progress, we introduce the EgoBabyVLM Challenge to drive the development of models capable of grounded language learning from the kind of naturalistic data that human infants experience.
• Abstract（参考訳）: 子どもたちは、今日の最も大きなマルチモーダルモデルを上回る方法で、限られたビジュオ言語入力から顕著な頑健さで言語基盤を取得する。 近年の研究では、キュレートされたWebデータに基づいてトレーニングされた現在のビジョン言語モデル(VLM)は、ウェアラブルデバイス、エンボディエージェント、幼児の頭部カメラによって生成された、疎結合でアライメントの弱いエゴセントリックストリームに一般化できず、この体制の進捗を測定するための固定された評価パイプラインは存在しないことが示唆されている。 我々は、自然主義的幼児と成人のエゴセントリックなビデオを含む視覚的入力と言語的入力のセマンティックアライメントの程度が異なるデータセット上でVLMを訓練し、マルチモーダル言語基盤と非モーダル視覚と言語タスクを網羅した総合的なスイートで評価する。 このスイートの中核にあるのがMachine-DevBench(英語版)であり、これは語彙と文法の能力のコーパスグラウンドによるベンチマークで、対数周波数のビンをまたいだモデルのトレーニング語彙から自動的に生成される。 我々の結果は、現在のVLMパラダイムは、キュレートされたデータの厳密なセマンティックアライメントにヒンジし、自然主義的なエゴセントリックな入力を支配する弱い整合性信号(人間が繁栄する体制)を利用できないことを示している。 EgoBabyVLM Challengeを導入し、幼児が経験する自然主義的なデータから言語学習の基盤となるモデルを開発する。

関連論文リスト

• MMaDA-VLA: Large Diffusion Vision-Language-Action Model with Unified Multi-Modal Instruction and Generation [47.2088748094605]
  Vision-Language-Action(VLA)モデルは、視覚的な観察や自然言語の指示からロボットを操作することを目的としている。 MMaDA-VLAは,マルチモーダル理解と生成をひとつのフレームワークで統一する,完全ネイティブな大規模拡散VLAモデルである。
  論文  参考訳（メタデータ） (2026-03-26T12:55:51Z)
• Beyond Language Modeling: An Exploration of Multimodal Pretraining [125.34714978184638]
  我々は、制御されたオフスクラッチ事前学習実験を通して経験的明瞭度を提供する。 我々はトランスフュージョン・フレームワークを採用し、言語と視覚の拡散を次々に予測する。 我々は、MoEアーキテクチャが、言語によって要求される高いモデル容量を提供することにより、このスケーリング非対称性を調和させることを実証する。
  論文  参考訳（メタデータ） (2026-03-03T18:58:00Z)
• Rethinking Visual Intelligence: Insights from Video Pretraining [75.32388528274224]
  大規模言語モデル(LLM)は、大規模事前学習によってシステムが新しい問題に迅速に適応できることを実証している。 本稿では,映像拡散モデル(VDM)をギャップを埋めるための有望な方向として検討する。
  論文  参考訳（メタデータ） (2025-10-28T14:12:11Z)
• Visual Grounding Helps Learn Word Meanings in Low-Data Regimes [47.7950860342515]
  現代のニューラル言語モデル(LM)は、人間の文の生成と理解をモデル化するための強力なツールである。 しかし、これらの結果を得るためには、LMは明らかに非人間的な方法で訓練されなければならない。 より自然主義的に訓練されたモデルは、より人間らしい言語学習を示すのか? 本稿では,言語習得における重要なサブタスクである単語学習の文脈において,この問題を考察する。
  論文  参考訳（メタデータ） (2023-10-20T03:33:36Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。