論文の概要: Transformers self-organize like newborn visual systems when trained in prenatal worlds

• arxiv url: http://arxiv.org/abs/2601.03117v1
• Date: Tue, 06 Jan 2026 15:47:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-07 17:02:12.99783
• Title: Transformers self-organize like newborn visual systems when trained in prenatal worlds
• Title（参考訳）: トランスフォーマーは、出生前世界で訓練された場合、新生児の視覚系のように自己組織する
• Authors: Lalit Pandey, Samantha M. W. Wood, Justin N. Wood,
• Abstract要約: 脳は出生前感覚経験(網膜波など)で「訓練」されるのに対し、トランスフォーマーは通常、生物学的に妥当でない大規模なデータセットで訓練される。 我々は、トランスフォーマーが脳のように学習すれば、同じ出生前データに曝されると、新生児の脳と同じ構造を発達させるべきだと推論した。
• 参考スコア（独自算出の注目度）: 2.9748898344267776
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Do transformers learn like brains? A key challenge in addressing this question is that transformers and brains are trained on fundamentally different data. Brains are initially "trained" on prenatal sensory experiences (e.g., retinal waves), whereas transformers are typically trained on large datasets that are not biologically plausible. We reasoned that if transformers learn like brains, then they should develop the same structure as newborn brains when exposed to the same prenatal data. To test this prediction, we simulated prenatal visual input using a retinal wave generator. Then, using self-supervised temporal learning, we trained transformers to adapt to those retinal waves. During training, the transformers spontaneously developed the same structure as newborn visual systems: (1) early layers became sensitive to edges, (2) later layers became sensitive to shapes, and (3) the models developed larger receptive fields across layers. The organization of newborn visual systems emerges spontaneously when transformers adapt to a prenatal visual world. This developmental convergence suggests that brains and transformers learn in common ways and follow the same general fitting principles.
• Abstract（参考訳）: トランスフォーマーは脳のように学習するのか? この問題に対処する上で重要な課題は、トランスフォーマーと脳が根本的に異なるデータで訓練されていることだ。 脳は当初、出生前の感覚経験(例えば網膜波)で「訓練」されるが、トランスフォーマーは通常、生物学的に妥当でない大規模なデータセットで訓練される。 我々は、トランスフォーマーが脳のように学習すれば、同じ出生前データに曝されると、新生児の脳と同じ構造を発達させるべきだと推論した。 この予測をテストするために、網膜波発生器を用いて出生前視覚入力をシミュレートした。 そして、自己教師付き時間学習を用いて、その網膜波に適応するようにトランスフォーマーを訓練した。 1)初期層は縁に敏感になり,(2)後期層は形状に敏感になり,(3)モデルが層全体に広範に受容野を発達させた。 新生児視覚システムの組織化は、トランスフォーマーが出生前視覚の世界に適応する際に自然に現れる。 この発達的収束は、脳とトランスフォーマーが共通の方法で学び、同じ一般的な原則に従うことを示唆している。

関連論文リスト

• Unveil Benign Overfitting for Transformer in Vision: Training Dynamics, Convergence, and Generalization [88.5582111768376]
  本研究では, ソフトマックスを用いた自己保持層と, 勾配勾配下での完全連結層からなるトランスフォーマーの最適化について検討した。 この結果から,データモデルにおける信号対雑音比に基づいて,小さなテストエラー位相と大規模なテストエラー状態とを区別できるシャープ条件を確立した。
  論文  参考訳（メタデータ） (2024-09-28T13:24:11Z)
• An Introduction to Transformers [23.915718146956355]
  Transformerは、有用なシーケンスやデータポイントのセットを学ぶために使用できるニューラルネットワークコンポーネントである。 本稿では,トランスアーキテクチャの数学的,正確,直感的,クリーンな記述を目指す。
  論文  参考訳（メタデータ） (2023-04-20T14:54:19Z)
• Transformers learn in-context by gradient descent [58.24152335931036]
  自己回帰目標におけるトランスフォーマーの訓練は、勾配に基づくメタラーニングの定式化と密接に関連している。 トレーニングされたトランスフォーマーがメザ最適化器となる方法,すなわち,前方通過における勾配降下によるモデル学習方法を示す。
  論文  参考訳（メタデータ） (2022-12-15T09:21:21Z)
• Deep Reinforcement Learning with Swin Transformers [8.938418994111716]
  本稿では,Swin Transformers: Swin DQNに基づくオンライン強化学習スキームについて紹介する。 既存の研究とは対照的に,アーケード学習環境における49のゲーム実験において,本手法は優れた性能を示す。
  論文  参考訳（メタデータ） (2022-06-30T13:20:48Z)
• Semi-Supervised Vision Transformers [76.83020291497895]
  半教師付き画像分類のための視覚変換器の訓練について検討する。 半教師付き ImageNet 設定では,ビジョントランスフォーマーの性能が良くない。 CNNは小さなラベル付きデータ構造において優れた結果を得る。
  論文  参考訳（メタデータ） (2021-11-22T09:28:13Z)
• A Survey on Visual Transformer [126.56860258176324]
  Transformerは、主に自己認識機構に基づくディープニューラルネットワークの一種である。 本稿では、これらの視覚変換器モデルについて、異なるタスクで分類し、それらの利点と欠点を分析することでレビューする。
  論文  参考訳（メタデータ） (2020-12-23T09:37:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。