論文の概要: BabyVLM-V2: Toward Developmentally Grounded Pretraining and Benchmarking of Vision Foundation Models
- arxiv url: http://arxiv.org/abs/2512.10932v1
- Date: Thu, 11 Dec 2025 18:57:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-12 16:15:42.556688
- Title: BabyVLM-V2: Toward Developmentally Grounded Pretraining and Benchmarking of Vision Foundation Models
- Title（参考訳）: BabyVLM-V2:Vision Foundation Modelの事前学習とベンチマークに向けて
- Abstract要約: 本稿では,幼児に触発された視覚言語モデリングのための開発基盤となるBabyVLM-V2を紹介する。
プレトレーニングセットは、縦型乳幼児中心の聴覚コーパスのキュレーションを最小化しつつ、カバー範囲を最大化する。
DevCV Toolboxは、先日リリースされたNIH Baby Toolboxのビジョン関連のすべての指標を、10のマルチモーダルタスクのベンチマークスイートに適合させる。
- 参考スコア（独自算出の注目度）: 69.84938298826121
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Early children's developmental trajectories set up a natural goal for sample-efficient pretraining of vision foundation models. We introduce BabyVLM-V2, a developmentally grounded framework for infant-inspired vision-language modeling that extensively improves upon BabyVLM-V1 through a longitudinal, multifaceted pretraining set, a versatile model, and, most importantly, DevCV Toolbox for cognitive evaluation. The pretraining set maximizes coverage while minimizing curation of a longitudinal, infant-centric audiovisual corpus, yielding video-utterance, image-utterance, and multi-turn conversational data that mirror infant experiences. DevCV Toolbox adapts all vision-related measures of the recently released NIH Baby Toolbox into a benchmark suite of ten multimodal tasks, covering spatial reasoning, memory, and vocabulary understanding aligned with early children's capabilities. Experimental results show that a compact model pretrained from scratch can achieve competitive performance on DevCV Toolbox, outperforming GPT-4o on some tasks. We hope the principled, unified BabyVLM-V2 framework will accelerate research in developmentally plausible pretraining of vision foundation models.
- Abstract（参考訳）: 幼児の発達軌道は、視覚基盤モデルの標本効率向上のための自然な目標を設定した。
幼児にインスパイアされた視覚言語モデリングのための発達的基盤となるフレームワークであるBabyVLM-V2を紹介する。
プレトレーニングセットは、長手、幼児中心の聴覚コーパスのキュレーションを最小化しつつ、カバー範囲を最大化し、幼児の体験を反映したビデオ発話、画像発話、マルチターン会話データを出力する。
DevCV Toolboxは、先日リリースされたNIH Baby Toolboxの視覚に関するすべての指標を、空間推論、メモリ、幼児の能力に合わせた語彙理解を含む、10のマルチモーダルタスクのベンチマークスイートに適合させる。
実験結果から,DevCV Toolboxでは,スクラッチから事前学習したコンパクトモデルにより競争性能が向上し,GPT-4oの処理性能が向上することが示唆された。
原理的に統一されたBabyVLM-V2フレームワークは、視覚基盤モデルの発達的に妥当な事前訓練の研究を加速することを期待している。
関連論文リスト
- GEM: Generative Supervision Helps Embodied Intelligence [60.28190143133428]
VLM(Embodied Vision-Language Models)は、ロボット工学における優れた性能と一般化を実証している。
標準的なテキスト誘導事前学習パラダイムの高レベルのセマンティックフォーカスと、エンボディ環境での実行に不可欠な低レベルの空間的および物理的知識との間には、大きなギャップが残っている。
我々は、この分割を橋渡しするために設計された、ジェネレーティブ制御されたエンボディード視覚言語モデルであるGEMを紹介する。
論文 参考訳（メタデータ） (2026-05-27T14:39:42Z) - EgoBabyVLM: Benchmarking Cross-Modal Learning from Naturalistic Egocentric Video Data [20.729468513123756]
子どもたちは、限られたビジュオ言語入力から顕著な頑健さで言語基盤を取得する。
現在の視覚言語モデルは、ウェアラブルデバイス、エンボディエージェント、幼児用ヘッドカムによって生産される、疎外的で、バランスのとれたエゴセントリックなストリームに一般化することができない。
EgoBabyVLM Challengeを導入し、幼児が経験する自然主義的なデータから言語学習の基盤となるモデルを開発する。
論文 参考訳（メタデータ） (2026-05-18T21:30:54Z) - InVitroVision: a Multi-Modal AI Model for Automated Description of Embryo Development using Natural Language [0.09381376621526816]
本研究では,胚の形態と発達の自然言語記述を予測するために,基礎的視覚言語モデルを微調整できるかどうかを検討する。
公開されている胚のタイムラプスデータセットを用いて,1,000の画像と対応するキャプションしか持たない多モーダル視覚言語モデルPaliGemma-2を微調整した。
以上の結果から,微調整モデルであるInVitroVisionが商業モデル,ChatGPT 5.2,基本モデルを上回る性能を示した。
論文 参考訳（メタデータ） (2026-04-22T20:05:37Z) - PokeVLA: Empowering Pocket-Sized Vision-Language-Action Model with Comprehensive World Knowledge Guidance [24.102770290097435]
PokeVLAは、視覚言語理解をアクション学習に注入する、埋め込み操作のための軽量モデルである。
まず、2.4Mサンプルのマルチモーダルデータセット上で、コンパクトな視覚言語モデル(PokeVLM)を事前訓練する。
LIBERO-Plusベンチマークと実世界のデプロイで、最先端のパフォーマンスが実証されている。
論文 参考訳（メタデータ） (2026-04-22T17:58:19Z) - A Training-Free Guess What Vision Language Model from Snippets to Open-Vocabulary Object Detection [16.166979262501425]
Open-Vocabulary Object Detection (OVOD)は、あらゆるものを検知する機能を開発することを目的としている。
本稿では,普遍的な理解パラダイムを形成するために,学習自由なギース・オブ・ビジョン言語モデルを提案する。
提案したGW-VLMは,トレーニングステップを使わずに,最先端の手法と比較して優れたOVOD性能を実現することができる。
論文 参考訳（メタデータ） (2026-01-17T05:14:42Z) - VITAL: Vision-Encoder-centered Pre-training for LMMs in Visual Quality Assessment [88.83260031198023]
本稿では,視覚エンコーダを中心とした生成事前学習パイプラインを提案し,VITAL-Series LMMを開発した。
これまでで最大のVQualAトレーニングデータセットである、450万以上の視覚言語(VL)ペアを構築した。
モデルの定量的スコアリング精度を同時に向上するマルチタスクトレーニングワークフローを採用している。
論文 参考訳（メタデータ） (2025-11-22T07:55:21Z) - Rethinking Visual Intelligence: Insights from Video Pretraining [75.32388528274224]
大規模言語モデル(LLM)は、大規模事前学習によってシステムが新しい問題に迅速に適応できることを実証している。
本稿では,映像拡散モデル(VDM)をギャップを埋めるための有望な方向として検討する。
論文 参考訳（メタデータ） (2025-10-28T14:12:11Z) - Kwai Keye-VL Technical Report [80.53170317017147]
ショートビデオ理解のためのマルチモーダル基盤モデルである textbfKwai Keye-VL を紹介する。
Keye-VLの開発は,ビデオに重点を置いた大規模で高品質なデータセットと,革新的なトレーニングレシピという,2つのコア柱に留まっている。
提案手法の有効性を検証するため,我々は,Kee-VLが公開ビデオベンチマークにおける最先端の成果を達成し,一般的な画像ベースタスクにおいて高い競争力を保っていることを示す,広範囲な評価を行う。
論文 参考訳（メタデータ） (2025-07-02T17:57:28Z) - BabyVLM: Data-Efficient Pretraining of VLMs Inspired by Infant Learning [33.64851748019174]
ヒトの幼児は、最小限の入力から視覚的推論スキルを急速に発達させる。
最近の取り組みは、SAYCamのような幼児にインスパイアされたデータセットを活用している。
包括的ドメイン評価ベンチマークと合成トレーニングデータセットからなる新しいフレームワークであるBabyVLMを提案する。
論文 参考訳（メタデータ） (2025-04-13T04:17:12Z) - Vision-R1: Evolving Human-Free Alignment in Large Vision-Language Models via Vision-Guided Reinforcement Learning [26.14137626882127]
LVLM(Large Vision-Language Models)は通常、2段階の訓練パラダイムの事前訓練と教師付き微調整を行う。
言語領域から派生した嗜好最適化は,学習後強化戦略として有効である。
本稿では,LVLMのための新しい視覚誘導型R1様強化学習アルゴリズムであるVision-R1を提案する。
論文 参考訳（メタデータ） (2025-03-23T10:21:14Z) - ReVLA: Reverting Visual Domain Limitation of Robotic Foundation Models [55.07988373824348]
既存の3つのロボット基礎モデルの視覚的一般化能力について検討する。
本研究は,既存のモデルがドメイン外シナリオに対する堅牢性を示していないことを示す。
モデルマージに基づく段階的なバックボーンリバーサルアプローチを提案する。
論文 参考訳（メタデータ） (2024-09-23T17:47:59Z) - Harnessing Vision-Language Pretrained Models with Temporal-Aware Adaptation for Referring Video Object Segmentation [34.37450315995176]
現在の参照ビデオオブジェクト(RVOS)メソッドは通常、バックボーンとして独立して事前訓練された視覚と言語モデルを使用する。
画素レベルの予測に事前学習した表現を適応させる時間認識型プロンプトチューニング手法を提案する。
提案手法は最先端のアルゴリズムに対して良好に動作し,強力な一般化能力を示す。
論文 参考訳（メタデータ） (2024-05-17T08:14:22Z) - Unsupervised Vision-and-Language Pre-training Without Parallel Images
and Captions [92.47566804182338]
画像キャプションコーパスを使わずに教師なし事前学習により、強力なV&L表現モデルを学習できるかどうかを検討する。
特に,テキストのみのコーパスと画像のみのコーパスで,マスク・アンド・予測の事前学習を行うことを提案する。
4つの英語のV&Lベンチマークで、アライメントされたデータで事前訓練されたモデルに近いこのような単純なアプローチの性能が得られた。
論文 参考訳（メタデータ） (2020-10-24T08:17:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。