論文の概要: Critical Learning Periods for Multisensory Integration in Deep Networks
- arxiv url: http://arxiv.org/abs/2210.04643v1
- Date: Thu, 6 Oct 2022 23:50:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-11 14:23:32.844431
- Title: Critical Learning Periods for Multisensory Integration in Deep Networks
- Title（参考訳）: 深層ネットワークにおける多感覚統合のための臨界学習期間
- Authors: Michael Kleinman, Alessandro Achille, Stefano Soatto
- Abstract要約: ニューラルネットワークが様々な情報源からの情報を統合する能力は、トレーニングの初期段階において、適切な相関した信号に晒されることに批判的になることを示す。
臨界周期は、訓練されたシステムとその学習された表現の最終性能を決定づける、複雑で不安定な初期過渡的ダイナミクスから生じることを示す。
- 参考スコア（独自算出の注目度）: 139.6594925819784
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We show that the ability of a neural network to integrate information from
diverse sources hinges critically on being exposed to properly correlated
signals during the early phases of training. Interfering with the learning
process during this initial stage can permanently impair the development of a
skill, both in artificial and biological systems where the phenomenon is known
as critical learning period. We show that critical periods arise from the
complex and unstable early transient dynamics, which are decisive of final
performance of the trained system and their learned representations. This
evidence challenges the view, engendered by analysis of wide and shallow
networks, that early learning dynamics of neural networks are simple, akin to
those of a linear model. Indeed, we show that even deep linear networks exhibit
critical learning periods for multi-source integration, while shallow networks
do not. To better understand how the internal representations change according
to disturbances or sensory deficits, we introduce a new measure of source
sensitivity, which allows us to track the inhibition and integration of sources
during training. Our analysis of inhibition suggests cross-source
reconstruction as a natural auxiliary training objective, and indeed we show
that architectures trained with cross-sensor reconstruction objectives are
remarkably more resilient to critical periods. Our findings suggest that the
recent success in self-supervised multi-modal training compared to previous
supervised efforts may be in part due to more robust learning dynamics and not
solely due to better architectures and/or more data.
- Abstract（参考訳）: ニューラルネットワークが様々な情報源からの情報を統合する能力は、トレーニングの初期段階に適切に相関した信号に晒されることに批判的になる。
この初期段階での学習プロセスへの干渉は、この現象が臨界学習期間として知られる人工システムと生物学的システムの両方において、スキルの発達を永久に損なう可能性がある。
臨界周期は、訓練されたシステムの最終性能とその学習された表現を決定づける、複雑で不安定な初期過渡ダイナミクスから生じる。
この証拠は、広いネットワークと浅いネットワークの分析によって引き起こされる、ニューラルネットワークの早期学習ダイナミクスが線形モデルに類似した単純なものであるという見解に挑戦している。
実際,深層線形ネットワークでさえ,浅層ネットワークがそうでないにもかかわらず,マルチソース統合において重要な学習期間を示すことを示す。
障害や感覚障害に応じて内部表現がどのように変化するかをよりよく理解するために、トレーニング中のソースの抑制と統合を追跡できる新たなソース感度尺度を導入する。
本研究は, クロスソース・コンストラクションを自然な補助訓練対象とし, クロスセンサ・コンストラクションを訓練した建築は, 臨界期に対する耐性が著しく高いことを示すものである。
近年の自己指導型マルチモーダルトレーニングの成功は,より堅牢な学習のダイナミクスと,より優れたアーキテクチャやデータによってのみ実現されている可能性がある。
関連論文リスト
- Brain-inspired continual pre-trained learner via silent synaptic consolidation [2.872028467114491]
アーティは、成熟した脳で観察されるスパイク刺激依存性の可塑性を介してサイレントシナプスの活性化機構にインスパイアされている。
学習済みのネットワーク内で学習した知識のメモリ安定性を維持することで、成熟した脳のダイナミクスを模倣する。
推論中、人工的なサイレントと機能的なシナプスを使用して、事前訓練されたネットワークとサブネットワークとの間の正確な接続を確立する。
論文 参考訳（メタデータ） (2024-10-08T10:56:19Z) - How connectivity structure shapes rich and lazy learning in neural
circuits [14.236853424595333]
本稿では,初期重みの構造,特にその有効ランクがネットワーク学習体制に与える影響について検討する。
本研究は,学習体制形成における初期重み構造の役割を明らかにするものである。
論文 参考訳（メタデータ） (2023-10-12T17:08:45Z) - Critical Learning Periods Emerge Even in Deep Linear Networks [102.89011295243334]
クリティカルラーニング期間(Critical Learning periods)は、一時的な感覚障害が行動や学習表現に恒久的な影響を及ぼす発達初期の期間である。
生物学的ネットワークと人工ネットワークの急激な違いにもかかわらず、両方のシステムで臨界学習期間が経験的に観察されている。
論文 参考訳（メタデータ） (2023-08-23T16:01:50Z) - Synergistic information supports modality integration and flexible
learning in neural networks solving multiple tasks [107.8565143456161]
本稿では,様々な認知タスクを行う単純な人工ニューラルネットワークが採用する情報処理戦略について検討する。
結果は、ニューラルネットワークが複数の多様なタスクを学習するにつれて、シナジーが増加することを示している。
トレーニング中に無作為にニューロンを停止させると、ネットワークの冗長性が増加し、ロバスト性の増加に対応する。
論文 参考訳（メタデータ） (2022-10-06T15:36:27Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Statistical Mechanical Analysis of Catastrophic Forgetting in Continual
Learning with Teacher and Student Networks [5.209145866174911]
計算システムが絶えず変化する環境から学習すると、その過去の経験を急速に忘れてしまう。
教師-学生学習を用いて破滅的な忘れを解析するための理論的枠組みを提供する。
その結果,入力分布の類似度が小さく,対象関数の入出力関係が大きい場合,ネットワークは壊滅的な記憶を回避できることがわかった。
論文 参考訳（メタデータ） (2021-05-16T09:02:48Z) - Learning Contact Dynamics using Physically Structured Neural Networks [81.73947303886753]
ディープニューラルネットワークと微分方程式の接続を用いて、オブジェクト間の接触ダイナミクスを表現するディープネットワークアーキテクチャのファミリを設計する。
これらのネットワークは,ノイズ観測から不連続な接触事象をデータ効率良く学習できることを示す。
以上の結果から,タッチフィードバックの理想化形態は,この学習課題を扱いやすくするための重要な要素であることが示唆された。
論文 参考訳（メタデータ） (2021-02-22T17:33:51Z) - The Surprising Simplicity of the Early-Time Learning Dynamics of Neural
Networks [43.860358308049044]
研究において、これらの共通認識は、学習の初期段階において完全に誤りであることを示す。
この驚くべき単純さは、畳み込みアーキテクチャを持つより多くのレイヤを持つネットワークで持続することができる、と私たちは主張する。
論文 参考訳（メタデータ） (2020-06-25T17:42:49Z) - Understanding the Role of Training Regimes in Continual Learning [51.32945003239048]
破滅的な忘れは、ニューラルネットワークのトレーニングに影響を与え、複数のタスクを逐次学習する能力を制限する。
本研究では,タスクの局所的なミニマを拡大するトレーニング体制の形成に及ぼすドロップアウト,学習速度の低下,バッチサイズの影響について検討した。
論文 参考訳（メタデータ） (2020-06-12T06:00:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。