論文の概要: ReWaRD: Retinal Waves for Pre-Training Artificial Neural Networks Mimicking Real Prenatal Development

• arxiv url: http://arxiv.org/abs/2311.17232v1
• Date: Tue, 28 Nov 2023 21:14:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 23:13:52.140940
• Title: ReWaRD: Retinal Waves for Pre-Training Artificial Neural Networks Mimicking Real Prenatal Development
• Title（参考訳）: ReWaRD: 出生前発達を模倣するニューラルネットワークのための網膜波
• Authors: Benjamin Cappell and Andreas Stoll and Williams Chukwudi Umah and Bernhard Egger
• Abstract要約: 出生前および出生後網膜波は、霊長類の視覚系に対する事前学習機構であることが示唆されている。 我々は、異なる人工畳み込みニューラルネットワークを事前学習することで、この開発メカニズムを模倣する計算モデルを構築した。 この生物学的に妥当な事前学習の結果として生じる特徴は、霊長類の視覚系のV1特徴と密接に一致している。
• 参考スコア（独自算出の注目度）: 5.222115919729418
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Computational models trained on a large amount of natural images are the state-of-the-art to study human vision - usually adult vision. Computational models of infant vision and its further development are gaining more and more attention in the community. In this work we aim at the very beginning of our visual experience - pre- and post-natal retinal waves which suggest to be a pre-training mechanism for the primate visual system at a very early stage of development. We see this approach as an instance of biologically plausible data driven inductive bias through pre-training. We built a computational model that mimics this development mechanism by pre-training different artificial convolutional neural networks with simulated retinal wave images. The resulting features of this biologically plausible pre-training closely match the V1 features of the primate visual system. We show that the performance gain by pre-training with retinal waves is similar to a state-of-the art pre-training pipeline. Our framework contains the retinal wave generator, as well as a training strategy, which can be a first step in a curriculum learning based training diet for various models of development. We release code, data and trained networks to build the basis for future work on visual development and based on a curriculum learning approach including prenatal development to support studies of innate vs. learned properties of the primate visual system. An additional benefit of our pre-trained networks for neuroscience or computer vision applications is the absence of biases inherited from datasets like ImageNet.
• Abstract（参考訳）: 大量の自然画像に基づいて訓練された計算モデルは、人間の視覚を研究する最先端技術である。 幼児の視覚の計算モデルとそのさらなる発展は、コミュニティでますます注目を集めている。 この研究では、視覚体験の始まり – 生前および生後の網膜波 – を目標としており、これは霊長類視覚システムの開発のごく初期段階における事前学習メカニズムであることを示唆している。 我々は、このアプローチを、事前学習による生物学的にもっともらしいデータ駆動誘導バイアスの例と見なしている。 我々は、人工畳み込みニューラルネットワークをシミュレーションされた網膜波画像で事前学習することで、この発達メカニズムを模倣する計算モデルを構築した。 この生物学的に可能な事前学習の結果として得られた特徴は、霊長類視覚システムのv1の特徴と密接に一致する。 網膜波による事前トレーニングによるパフォーマンス向上は,最先端の事前トレーニングパイプラインに類似している。 我々のフレームワークには網膜波発生器とトレーニング戦略が含まれており、これは様々な開発モデルのためのカリキュラム学習に基づく学習ダイエットの第一段階となる。 我々は、視覚発達に関する将来の研究の基礎を構築するためのコード、データ、訓練されたネットワークをリリースし、出生前開発を含むカリキュラム学習アプローチに基づいて、霊長類視覚系の自然と学習特性の研究を支援する。 神経科学やコンピュータビジョンの応用のためのトレーニング済みネットワークのメリットは、ImageNetのようなデータセットから受け継がれたバイアスがないことです。

関連論文リスト

• Brain-like representational straightening of natural movies in robust feedforward neural networks [2.8749107965043286]
  表現の直線化(Representational straightening)とは、自然映画から撮影された一連のフレームの視覚的特徴表現の曲率を減少させることである。 入力画像中の雑音に対するロバスト性は、フィードフォワードニューラルネットワークにおいて表現的ストレート化をもたらす。
  論文  参考訳（メタデータ） (2023-08-26T13:04:36Z)
• Neural Foundations of Mental Simulation: Future Prediction of Latent Representations on Dynamic Scenes [3.2744507958793143]
  我々は、目標駆動型モデリングアプローチと高密度神経生理学的データと人間の行動的読み出しを組み合わせることで、この問題を阻害する。 具体的には,豊かで倫理的に関連のある環境の将来の状態を予測するために,知覚認知ネットワークのいくつかのクラスを構築し,評価する。 これらのモデルクラス間での強い差別化は、さまざまな環境内と環境内の両方で、神経的および行動的データを予測できる能力である。
  論文  参考訳（メタデータ） (2023-05-19T15:56:06Z)
• Adapting Brain-Like Neural Networks for Modeling Cortical Visual Prostheses [68.96380145211093]
  皮質補綴は視覚野に移植された装置で、電気的にニューロンを刺激することで失った視力を回復しようとする。 現在、これらのデバイスが提供する視覚は限られており、刺激による視覚知覚を正確に予測することはオープンな課題である。 我々は、視覚システムの有望なモデルとして登場した「脳様」畳み込みニューラルネットワーク(CNN)を活用することで、この問題に対処することを提案する。
  論文  参考訳（メタデータ） (2022-09-27T17:33:19Z)
• Adversarially trained neural representations may already be as robust as corresponding biological neural representations [66.73634912993006]
  本研究では,霊長類脳活動に直接対人的視覚攻撃を行う方法を開発した。 霊長類の視覚系を構成する生物学的ニューロンは、既存の(不正に訓練された)人工ニューラルネットワークに匹敵する敵の摂動に感受性を示す。
  論文  参考訳（メタデータ） (2022-06-19T04:15:29Z)
• Peripheral Vision Transformer [52.55309200601883]
  我々は生物学的にインスパイアされたアプローチを採用し、視覚認識のためのディープニューラルネットワークの周辺視覚をモデル化する。 本稿では,マルチヘッド自己アテンション層に周辺位置エンコーディングを組み込むことにより,トレーニングデータから視覚領域を様々な周辺領域に分割することをネットワークが学べるようにすることを提案する。 大規模画像Netデータセット上でPerViTと呼ばれる提案したネットワークを評価し,マシン知覚モデルの内部動作を体系的に検討した。
  論文  参考訳（メタデータ） (2022-06-14T12:47:47Z)
• Reinforcement Learning with Action-Free Pre-Training from Videos [95.25074614579646]
  本稿では,ビデオにおける生成前学習を通じて動的理解に役立つ表現を学習するフレームワークを提案する。 我々のフレームワークは、視覚に基づく強化学習の最終性能とサンプル効率の両方を著しく改善する。
  論文  参考訳（メタデータ） (2022-03-25T19:44:09Z)
• Learning Personal Representations from fMRIby Predicting Neurofeedback Performance [52.77024349608834]
  機能的MRI(fMRI)によって導かれる自己神経変調タスクを行う個人のための個人表現を学習するためのディープニューラルネットワーク手法を提案する。 この表現は、直近のfMRIフレームが与えられた次のfMRIフレームにおける扁桃体活動を予測する自己教師型リカレントニューラルネットワークによって学習され、学習された個々の表現に条件付けされる。
  論文  参考訳（メタデータ） (2021-12-06T10:16:54Z)
• Deep Reinforcement Learning Models Predict Visual Responses in the Brain: A Preliminary Result [1.0323063834827415]
  強化学習を用いてニューラルネットワークモデルをトレーニングし、3Dコンピュータゲームをプレイします。 これらの強化学習モデルは、初期視覚領域において、神経応答予測精度のスコアを得る。 対照的に、教師付きニューラルネットワークモデルでは、より高い視覚領域において、より優れた神経応答予測が得られる。
  論文  参考訳（メタデータ） (2021-06-18T13:10:06Z)
• An evolutionary perspective on the design of neuromorphic shape filters [0.0]
  皮質系は高度な画像処理を提供するかもしれないが、おそらくはより単純なシステムで有効であることが証明された設計原則を使用している。 本稿では,形状情報を登録するための網膜機構と皮質機構について概説する。
  論文  参考訳（メタデータ） (2020-08-30T17:53:44Z)
• Retinopathy of Prematurity Stage Diagnosis Using Object Segmentation and Convolutional Neural Networks [68.96150598294072]
  未熟児網膜症(英: Retinopathy of Prematurity、ROP)は、主に体重の低い未熟児に影響を及ぼす眼疾患である。 網膜の血管の増殖を招き、視力喪失を招き、最終的には網膜剥離を招き、失明を引き起こす。 近年,ディープラーニングを用いて診断を自動化する試みが盛んに行われている。 本稿では,従来のモデルの成功を基盤として,オブジェクトセグメンテーションと畳み込みニューラルネットワーク(CNN)を組み合わせた新しいアーキテクチャを開発する。 提案システムでは,まず対象分割モデルを訓練し,画素レベルでの区切り線を識別し,その結果のマスクを追加の"カラー"チャネルとして付加する。
  論文  参考訳（メタデータ） (2020-04-03T14:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。