論文の概要: Continual Visual and Verbal Learning Through a Child's Egocentric Input

• arxiv url: http://arxiv.org/abs/2606.05115v1
• Date: Wed, 03 Jun 2026 17:20:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.923303
• Title: Continual Visual and Verbal Learning Through a Child's Egocentric Input
• Title（参考訳）: 子どものエゴセントリック入力による連続的視覚・言語学習
• Authors: Xiaoyang Jiang, Yanlai Yang, Kenneth A. Norman, Brenden Lake, Mengye Ren,
• Abstract要約: 本研究では,SAYCamデータセットを単一の時系列パスで処理する連続的マルチモーダル学習フレームワークであるBabyCLを紹介する。 BabyCLは、SAYCam Labeled-S 4AFCベンチマークでストリーミング学習のベースラインを上回り、オフライントレーニングの上限をかなり狭めている。
• 参考スコア（独自算出の注目度）: 10.646999019263442
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Children learn the meanings of words from a continuous, temporally structured stream of egocentric experience. Recent work shows that neural networks can also learn word-referent mappings from a child's egocentric video recordings, but they cycle through the shuffled data for hundreds of epochs, contrasting with how children actually encounter their environment. We introduce BabyCL, a continual multimodal learning framework that processes the SAYCam dataset in a single chronological pass, combining streaming visual representation learning with an image-text contrastive objective. BabyCL combines a multi-stage temporal segmentation of the stream with a dual replay buffer that independently manages visual and multimodal histories, and it is jointly trained with three contrastive losses on a shared backbone. Under a matched optimization budget, BabyCL outperforms streaming learning baselines on the SAYCam Labeled-S 4AFC benchmark, substantially narrowing the gap to an upper bound of offline training. Ablations show that the gains are robust to the length of the online temporal segmentation window and the eviction rule of the replay buffer. Together, these results show that meaningful word-referent mappings can emerge under training conditions much closer to a child's actual experience.
• Abstract（参考訳）: 子どもたちは、エゴセントリックな体験の連続的、時間的に構造化されたストリームから単語の意味を学ぶ。 最近の研究では、ニューラルネットワークが子供の自我中心のビデオ記録から単語参照マッピングを学習できることが示されています。 本研究では,SAYCamデータセットを単一の時系列パスで処理する連続的マルチモーダル学習フレームワークであるBabyCLを紹介する。 BabyCLは、ストリームの多段階時間分割と、視覚的およびマルチモーダルな履歴を独立に管理するデュアルリプレイバッファを組み合わせる。 一致した最適化予算の下で、BabyCLはSAYCam Labeled-S 4AFCベンチマークでストリーミング学習のベースラインを上回り、オフライントレーニングの上限をかなり狭めている。 アブレーションは、ゲインがオンライン時間分割ウィンドウの長さとリプレイバッファの排除規則に頑健であることを示している。 これらの結果から,実体験に近い訓練条件下では,有意な単語参照マッピングが出現する可能性が示唆された。

関連論文リスト

• DynaStride: Dynamic Stride Windowing with MMCoT for Instructional Multi-Scene Captioning [3.47287766500271]
  インストラクショナルビデオにおけるシーンレベルのキャプションは、視覚的手がかりと時間的構造の両方を理解することで学習を強化することができる。 手動シーンセグメンテーションを必要とせずに、コヒーレントなシーンレベルのキャプションを生成するパイプラインDynaStrideを導入する。 我々はDynaStrideが時間的コヒーレントで情報的なキャプションを生成することを示し、AIによる指導コンテンツ生成を改善するための有望な方向性を示唆している。
  論文  参考訳（メタデータ） (2025-10-27T22:29:08Z)
• Memory Storyboard: Leveraging Temporal Segmentation for Streaming Self-Supervised Learning from Egocentric Videos [13.687045169487774]
  本研究では,長大な実世界のエゴセントリックなビデオストリームからの自己教師型学習のストリーミングについて検討する。 人間の知覚と記憶における事象セグメンテーションのメカニズムに着想を得て,我々は「記憶ストーリーボード」を提案する。 効率的な時間分割を実現するために,2階層のメモリ階層を提案する。
  論文  参考訳（メタデータ） (2025-01-21T16:19:38Z)
• SignVTCL: Multi-Modal Continuous Sign Language Recognition Enhanced by Visual-Textual Contrastive Learning [51.800031281177105]
  SignVTCLは、視覚・テキストのコントラスト学習によって強化された連続手話認識フレームワークである。 マルチモーダルデータ(ビデオ、キーポイント、光学フロー)を同時に統合し、統一された視覚バックボーンをトレーニングする。 従来の方法と比較して最先端の結果が得られます。
  論文  参考訳（メタデータ） (2024-01-22T11:04:55Z)
• Learning from One Continuous Video Stream [70.30084026960819]
  1つの連続ビデオストリームからオンライン学習のためのフレームワークを導入する。 連続するビデオフレーム間の高い相関を考えると、これは大きな課題となる。 プリトレーニングとシングルストリーム評価を切り替える実用的で柔軟な方法として,ピクセル・ツー・ピクセル・モデリングを採用している。
  論文  参考訳（メタデータ） (2023-12-01T14:03:30Z)
• Label-Efficient Online Continual Object Detection in Streaming Video [26.090873634405895]
  既存の連続学習法(CL)では、ビデオストリームでフレームを学習するために完全な注釈付きラベルが必要である。 ストリーミングストリームにおける連続物体検出のためのプラグイン・アンド・プレイモジュールを提案する。 本手法は,実写ビデオの2つのベンチマークにおいて,全監督レベルにおいて有意な改善が得られた。
  論文  参考訳（メタデータ） (2022-06-01T08:22:34Z)
• vCLIMB: A Novel Video Class Incremental Learning Benchmark [53.90485760679411]
  本稿では,ビデオ連続学習ベンチマークvCLIMBを紹介する。 vCLIMBは、ビデオ連続学習における深層モデルの破滅的な忘れを解析するための標準化されたテストベッドである。 本稿では,メモリベース連続学習法に適用可能な時間的整合性正規化を提案する。
  論文  参考訳（メタデータ） (2022-01-23T22:14:17Z)
• Look at What I'm Doing: Self-Supervised Spatial Grounding of Narrations in Instructional Videos [78.34818195786846]
  ビデオにおけるナレーション相互作用を空間的局所化するタスクについて紹介する。 提案手法の鍵となるのは,映像の大規模コーパスにおける自己スーパービジョンとの相互作用の空間的ローカライズを学習する能力である。 学習中のコントラスト損失を効果的に最適化できる多層マルチモーダルアテンションネットワークを提案する。
  論文  参考訳（メタデータ） (2021-10-20T14:45:13Z)
• SimulLR: Simultaneous Lip Reading Transducer with Attention-Guided Adaptive Memory [61.44510300515693]
  注意誘導型適応メモリを用いた同時唇読解用トランスデューサSimulLRについて検討した。 実験の結果、SimulLRは最先端の非同期手法に比べて9.10倍の高速化を実現していることがわかった。
  論文  参考訳（メタデータ） (2021-08-31T05:54:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。