論文の概要: Synergistic information supports modality integration and flexible
learning in neural networks solving multiple tasks
- arxiv url: http://arxiv.org/abs/2210.02996v1
- Date: Thu, 6 Oct 2022 15:36:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-07 17:20:11.212220
- Title: Synergistic information supports modality integration and flexible
learning in neural networks solving multiple tasks
- Title（参考訳）: 複数のタスクを解くニューラルネットワークにおけるモダリティ統合と柔軟な学習を支援する相乗的情報
- Authors: Alexandra M. Proca, Fernando E. Rosas, Andrea I. Luppi, Daniel Bor,
Matthew Crosby, Pedro A.M. Mediano
- Abstract要約: 本稿では,様々な認知タスクを行う単純な人工ニューラルネットワークが採用する情報処理戦略について検討する。
結果は、ニューラルネットワークが複数の多様なタスクを学習するにつれて、シナジーが増加することを示している。
トレーニング中に無作為にニューロンを停止させると、ネットワークの冗長性が増加し、ロバスト性の増加に対応する。
- 参考スコア（独自算出の注目度）: 107.8565143456161
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Striking progress has recently been made in understanding human cognition by
analyzing how its neuronal underpinnings are engaged in different modes of
information processing. Specifically, neural information can be decomposed into
synergistic, redundant, and unique features, with synergistic components being
particularly aligned with complex cognition. However, two fundamental questions
remain unanswered: (a) precisely how and why a cognitive system can become
highly synergistic; and (b) how these informational states map onto artificial
neural networks in various learning modes. To address these questions, here we
employ an information-decomposition framework to investigate the information
processing strategies adopted by simple artificial neural networks performing a
variety of cognitive tasks in both supervised and reinforcement learning
settings. Our results show that synergy increases as neural networks learn
multiple diverse tasks. Furthermore, performance in tasks requiring integration
of multiple information sources critically relies on synergistic neurons.
Finally, randomly turning off neurons during training through dropout increases
network redundancy, corresponding to an increase in robustness. Overall, our
results suggest that while redundant information is required for robustness to
perturbations in the learning process, synergistic information is used to
combine information from multiple modalities -- and more generally for flexible
and efficient learning. These findings open the door to new ways of
investigating how and why learning systems employ specific
information-processing strategies, and support the principle that the capacity
for general-purpose learning critically relies in the system's information
dynamics.
- Abstract（参考訳）: 近年,その神経基盤が情報処理の異なるモードにどのように関与しているかを分析することによって,人間の認知を理解するための研究が進められている。
特に、神経情報は相乗的、冗長的、独特な特徴に分解することができ、相乗的成分は特に複雑な認知と一致している。
しかし、2つの基本的な疑問は未解決のままである。
(a)認知システムが高度に相乗的になる正確な方法と理由
b) これらの情報状態が、様々な学習モードで人工ニューラルネットワークにどのようにマップされるか。
これらの問題に対処するために,情報分解フレームワークを用いて,教師付き学習と強化学習の両方において,さまざまな認知タスクを実行するシンプルなニューラルネットワークが採用する情報処理戦略について検討する。
ニューラルネットワークが複数の多様なタスクを学習するにつれて、シナジーが増加することを示す。
さらに、複数の情報ソースの統合を必要とするタスクのパフォーマンスは、相乗的ニューロンに依存する。
最後に、トレーニング中にランダムにニューロンをオフにすることで、ロバスト性の増加に対応するネットワーク冗長性が向上する。
全体として、学習過程における摂動に対する堅牢性には冗長な情報が必要であるが、相乗的情報は複数の様相の情報を組み合わせたり、より一般的に柔軟で効率的な学習のために用いられる。
これらの知見は,学習システムが特定の情報処理戦略をどのように採用するか,またなぜ学習システムが特定の情報処理戦略を採用するのかを調査する新たな方法の扉を開く。
関連論文リスト
- From Lazy to Rich: Exact Learning Dynamics in Deep Linear Networks [47.13391046553908]
人工ネットワークでは、これらのモデルの有効性はタスク固有の表現を構築する能力に依存している。
以前の研究では、異なる初期化によって、表現が静的な遅延状態にあるネットワークや、表現が動的に進化するリッチ/フィーチャーな学習体制のいずれかにネットワークを配置できることが強調されていた。
これらの解は、豊かな状態から遅延状態までのスペクトルにわたる表現とニューラルカーネルの進化を捉えている。
論文 参考訳（メタデータ） (2024-09-22T23:19:04Z) - Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。
提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。
提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
論文 参考訳（メタデータ） (2024-07-05T14:11:28Z) - Advanced Computing and Related Applications Leveraging Brain-inspired
Spiking Neural Networks [0.0]
スパイクニューラルネットワークは、脳に似たコンピューティングを実現する人工知能のコアの1つである。
本稿では,5つのニューロンモデルの強み,弱さ,適用性について要約し,5つのネットワークトポロジの特徴を解析する。
論文 参考訳（メタデータ） (2023-09-08T16:41:08Z) - Higher-order mutual information reveals synergistic sub-networks for
multi-neuron importance [0.483420384410068]
以前の研究は、主に個々のニューロンにとって重要であった。
本研究では,シナジスティックあるいは冗長な情報を含むニューロン群について検討する。
結果から,本手法はプルーニングや教師なし表現学習に有効であることが示唆された。
論文 参考訳（メタデータ） (2022-11-01T12:21:15Z) - Critical Learning Periods for Multisensory Integration in Deep Networks [112.40005682521638]
ニューラルネットワークが様々な情報源からの情報を統合する能力は、トレーニングの初期段階において、適切な相関した信号に晒されることに批判的になることを示す。
臨界周期は、訓練されたシステムとその学習された表現の最終性能を決定づける、複雑で不安定な初期過渡的ダイナミクスから生じることを示す。
論文 参考訳（メタデータ） (2022-10-06T23:50:38Z) - Improving Systematic Generalization Through Modularity and Augmentation [1.2183405753834562]
モジュラリティとデータ拡張という、よく知られた2つのモデリング原則が、ニューラルネットワークの体系的な一般化にどのように影響するかを検討する。
合成ベンチマークの制御された設定においても、体系的な一般化を実現することは依然として困難である。
論文 参考訳（メタデータ） (2022-02-22T09:04:35Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳（メタデータ） (2021-04-29T14:31:09Z) - Explainable artificial intelligence for mechanics: physics-informing
neural networks for constitutive models [0.0]
メカニクスにおいて、物理インフォームドニューラルネットワークの新しい活発な分野は、機械的知識に基づいてディープニューラルネットワークを設計することによって、この欠点を緩和しようとする。
本論文では,機械データに訓練されたニューラルネットワークを後述する物理形成型アプローチへの第一歩を提案する。
これにより、主成分分析はRNNの細胞状態における分散表現をデコレーションし、既知の基本関数との比較を可能にする。
論文 参考訳（メタデータ） (2021-04-20T18:38:52Z) - Learning Contact Dynamics using Physically Structured Neural Networks [81.73947303886753]
ディープニューラルネットワークと微分方程式の接続を用いて、オブジェクト間の接触ダイナミクスを表現するディープネットワークアーキテクチャのファミリを設計する。
これらのネットワークは,ノイズ観測から不連続な接触事象をデータ効率良く学習できることを示す。
以上の結果から,タッチフィードバックの理想化形態は,この学習課題を扱いやすくするための重要な要素であることが示唆された。
論文 参考訳（メタデータ） (2021-02-22T17:33:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。