論文の概要: Infomorphic networks: Locally learning neural networks derived from
partial information decomposition
- arxiv url: http://arxiv.org/abs/2306.02149v1
- Date: Sat, 3 Jun 2023 16:34:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-06 19:55:54.479186
- Title: Infomorphic networks: Locally learning neural networks derived from
partial information decomposition
- Title(参考訳): 情報型ネットワーク:部分情報分解から得られる局所学習ニューラルネットワーク
- Authors: Marcel Graetz, Abdullah Makkeh, Andreas C. Schneider, David A.
Ehrlich, Viola Priesemann and Michael Wibral
- Abstract要約: 生体ニューロンの機能的特徴をエミュレートする新しいモデルニューロンを提案する。
我々は「不定形ネットワーク」の基礎となるパラメトリック局所学習規則を提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Understanding the intricate cooperation among individual neurons in
performing complex tasks remains a challenge to this date. In this paper, we
propose a novel type of model neuron that emulates the functional
characteristics of biological neurons by optimizing an abstract local
information processing goal. We have previously formulated such a goal function
based on principles from partial information decomposition (PID). Here, we
present a corresponding parametric local learning rule which serves as the
foundation of "infomorphic networks" as a novel concrete model of neural
networks. We demonstrate the versatility of these networks to perform tasks
from supervised, unsupervised and memory learning. By leveraging the
explanatory power and interpretable nature of the PID framework, these
infomorphic networks represent a valuable tool to advance our understanding of
cortical function.
- Abstract(参考訳): 複雑なタスクを実行する個々のニューロン間の複雑な協調を理解することは、今日でも課題である。
本稿では,抽象的な局所情報処理目標を最適化することにより,生体ニューロンの機能特性をエミュレートする新しいモデルニューロンを提案する。
我々はこれまで,部分的情報分解(pid)の原理に基づく目標関数を定式化してきた。
本稿では、ニューラルネットワークの新たな具体的なモデルとして、「不定形ネットワーク」の基礎となるパラメトリック局所学習規則を提案する。
教師なし,教師なし,メモリ学習からタスクを実行するネットワークの汎用性を実証する。
PIDフレームワークの説明力と解釈性を活用することで、これらのインフォモーフィックネットワークは皮質機能の理解を深めるための貴重なツールとなる。
関連論文リスト
- Conditional computation in neural networks: principles and research
trends [50.55999420565082]
本稿では,ニューラルネットワークの設計にテクトコンディショナリ計算を適用するという,新たな領域の原理とアイデアを要約する。
特に、入力に条件付きで計算グラフの一部を動的に活性化または非活性化するニューラルネットワークに焦点を当てる。
論文 参考訳(メタデータ) (2024-03-12T11:56:38Z) - Image segmentation with traveling waves in an exactly solvable recurrent
neural network [71.74150501418039]
繰り返しニューラルネットワークは、シーンの構造特性に応じて、画像をグループに効果的に分割できることを示す。
本稿では,このネットワークにおけるオブジェクトセグメンテーションのメカニズムを正確に記述する。
次に、グレースケール画像中の単純な幾何学的対象から自然画像まで、入力をまたいで一般化するオブジェクトセグメンテーションの簡単なアルゴリズムを実証する。
論文 参考訳(メタデータ) (2023-11-28T16:46:44Z) - Feature emergence via margin maximization: case studies in algebraic
tasks [4.401622714202886]
訓練されたニューラルネットワークは、一般群における合成を行うために、既約群理論表現に対応する特徴を用いることを示す。
より一般的に、私たちの技術が、ニューラルネットワークが特定の計算戦略を採用する理由のより深い理解を促進するのに役立つことを願っています。
論文 参考訳(メタデータ) (2023-11-13T18:56:33Z) - Complexity of Deep Neural Networks from the Perspective of Functional
Equivalence [1.3597551064547502]
機能的等価性の概念を考察し、異なるネットワークパラメータ化が同じ機能をもたらすことを示唆する。
本稿では,畳み込みニューラルネットワーク,残差ネットワーク,注意に基づくモデルの拡張について論じる。
論文 参考訳(メタデータ) (2023-05-19T04:01:27Z) - When Deep Learning Meets Polyhedral Theory: A Survey [6.899761345257773]
過去10年間で、ディープ・ニューラル・ラーニングの顕著な精度のおかげで、ディープは予測モデリングの一般的な方法論となった。
一方、ニューラルネットワークの構造はより単純で線形な関数に収束した。
論文 参考訳(メタデータ) (2023-04-29T11:46:53Z) - Decomposing neural networks as mappings of correlation functions [57.52754806616669]
本研究では,ディープフィードフォワードネットワークによって実装された確率分布のマッピングについて検討する。
ニューラルネットワークで使用できる異なる情報表現と同様に、データに不可欠な統計を識別する。
論文 参考訳(メタデータ) (2022-02-10T09:30:31Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Optimal Approximation with Sparse Neural Networks and Applications [0.0]
深い疎結合ニューラルネットワークを用いて、関数クラスの複雑性を$L(mathbb Rd)$で測定する。
また、ニューラルネットワークを誘導する関数の可算コレクションである表現システムについても紹介する。
次に、レート歪曲理論とウェッジレット構成を用いて、$beta$マンガ的関数と呼ばれるクラスの複雑性を分析する。
論文 参考訳(メタデータ) (2021-08-14T05:14:13Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳(メタデータ) (2021-04-29T14:31:09Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳(メタデータ) (2020-07-03T01:37:16Z) - Training spiking neural networks using reinforcement learning [0.0]
本稿では,スパイクニューラルネットワークのトレーニングを容易にするために,生物学的に有望なバックプロパゲーション代替法を提案する。
本研究では,空間的・時間的信用割当問題の解決における強化学習規則の適用可能性を検討することに注力する。
我々は、グリッドワールド、カートポール、マウンテンカーといった従来のRLドメインに適用することで、2つのアプローチを比較し、対比する。
論文 参考訳(メタデータ) (2020-05-12T17:40:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。