論文の概要: A General Framework for Interpretable Neural Learning based on Local Information-Theoretic Goal Functions
- arxiv url: http://arxiv.org/abs/2306.02149v2
- Date: Tue, 30 Apr 2024 13:56:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-01 20:07:22.758013
- Title: A General Framework for Interpretable Neural Learning based on Local Information-Theoretic Goal Functions
- Title（参考訳）: 局所情報理論目標関数に基づくニューラルラーニングの一般フレームワーク
- Authors: Abdullah Makkeh, Marcel Graetz, Andreas C. Schneider, David A. Ehrlich, Viola Priesemann, Michael Wibral,
- Abstract要約: 我々は、教師なし、教師なし、メモリ学習のタスクを実行するために、'不定型'ニューラルネットワークを導入する。
PIDフレームワークの解釈可能な性質を活用することで、インフォモーフィックネットワークは、局所学習の複雑な構造を理解するための貴重なツールとなる。
- 参考スコア（独自算出の注目度）: 1.5236380958983644
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite the impressive performance of biological and artificial networks, an intuitive understanding of how their local learning dynamics contribute to network-level task solutions remains a challenge to this date. Efforts to bring learning to a more local scale indeed lead to valuable insights, however, a general constructive approach to describe local learning goals that is both interpretable and adaptable across diverse tasks is still missing. We have previously formulated a local information processing goal that is highly adaptable and interpretable for a model neuron with compartmental structure. Building on recent advances in Partial Information Decomposition (PID), we here derive a corresponding parametric local learning rule, which allows us to introduce 'infomorphic' neural networks. We demonstrate the versatility of these networks to perform tasks from supervised, unsupervised and memory learning. By leveraging the interpretable nature of the PID framework, infomorphic networks represent a valuable tool to advance our understanding of the intricate structure of local learning.
- Abstract（参考訳）: 生物学的・人工的なネットワークの性能は目覚ましいが、彼らのローカル学習のダイナミクスがネットワークレベルのタスクソリューションにどのように貢献するかを直感的に理解することは、現在なお課題である。
より局所的な規模に学習をもたらす努力は、確かに価値ある洞察をもたらすが、様々なタスクにまたがって解釈可能かつ適応可能な、局所的な学習目標を記述するための一般的な構成的アプローチは、いまだに欠落している。
我々は以前,部分構造を持つモデルニューロンに対して,高度に適応し,解釈可能な局所情報処理目標を定式化した。
部分的情報分解(PID)の最近の進歩に基づいて、我々は、"不定形"ニューラルネットワークの導入を可能にするパラメトリックな局所学習規則を導出する。
教師なし,教師なし,メモリ学習からタスクを実行するネットワークの汎用性を実証する。
PIDフレームワークの解釈可能な性質を活用することで、インフォモーフィックネットワークは、局所学習の複雑な構造を理解するための貴重なツールとなる。
関連論文リスト
- Learning Where to Look: Self-supervised Viewpoint Selection for Active Localization using Geometrical Information [68.10033984296247]
本稿では, 位置決めの精度を高めるために, 視点選択の重要性を強調し, アクティブな位置決め領域について検討する。
私たちのコントリビューションは、リアルタイム操作用に設計されたシンプルなアーキテクチャ、自己教師付きデータトレーニング方法、および実世界のロボティクスアプリケーションに適した計画フレームワークにマップを一貫して統合する能力による、データ駆動型アプローチの使用に関するものです。
論文 参考訳（メタデータ） (2024-07-22T12:32:09Z) - Locally Supervised Learning with Periodic Global Guidance [19.41730292017383]
ニューラルネットワークの局所的ロスに基づくトレーニングにおいて,グローバルな目的を反復的に再現するために,周期的ガイド付き局所学習(PGL)を提案する。
本稿では,メモリフットプリントが低い場合に,簡単な周期的ガイダンス方式によって大幅な性能向上が期待できることを示す。
論文 参考訳（メタデータ） (2022-08-01T13:06:26Z) - The Neural Race Reduction: Dynamics of Abstraction in Gated Networks [12.130628846129973]
本稿では,情報フローの経路が学習力学に与える影響をスキーマ化するGated Deep Linear Networkフレームワークを紹介する。
正確な還元と、特定の場合において、学習のダイナミクスに対する正確な解が導出されます。
我々の研究は、ニューラルネットワークと学習に関する一般的な仮説を生み出し、より複雑なアーキテクチャの設計を理解するための数学的アプローチを提供する。
論文 参考訳（メタデータ） (2022-07-21T12:01:03Z) - Active Predictive Coding Networks: A Neural Solution to the Problem of
Learning Reference Frames and Part-Whole Hierarchies [1.5990720051907859]
APCN(Active Predictive Coding Networks)を紹介する。
APCNは、人工知能と脳モデリングの分野において、Hintonらによって引き起こされた主要な問題を解決するニューラルネットワークの新しいクラスである。
APCNは(a)画像を部分全体階層に解析し、(b)構成表現を学習し、(c)未知のオブジェクトのクラスにその知識を移すことを実証する。
論文 参考訳（メタデータ） (2022-01-14T21:22:48Z) - An Entropy-guided Reinforced Partial Convolutional Network for Zero-Shot
Learning [77.72330187258498]
エントロピー誘導強化部分畳み込みネットワーク(ERPCNet)を提案する。
ERPCNetは、人間のアノテーションのない意味的関連性と視覚的相関に基づいて、局所性を抽出し、集約する。
グローバルな協力的局所性を動的に発見するだけでなく、ポリシー勾配最適化のためにより高速に収束する。
論文 参考訳（メタデータ） (2021-11-03T11:13:13Z) - Navigating the Kaleidoscope of COVID-19 Misinformation Using Deep
Learning [0.76146285961466]
対象ドメインの局所的コンテキストとグローバル的コンテキストの両方をキャプチャする効果的なモデルを提案する。
i) 深層トランスフォーマーをベースとした事前学習モデルでは, 混合ドメイン変換学習が有効であり, 局所的な文脈を捉えるのが得意であり, 一般化が不十分である。
浅いネットワークベースのドメイン固有モデルと畳み込みニューラルネットワークの組み合わせは、階層的な方法でターゲットデータから局所的およびグローバル的コンテキストを直接抽出し、より一般化可能なソリューションを提供する。
論文 参考訳（メタデータ） (2021-09-19T15:49:25Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳（メタデータ） (2021-04-29T14:31:09Z) - Understanding the Role of Individual Units in a Deep Neural Network [85.23117441162772]
本稿では,画像分類と画像生成ネットワーク内の隠れ単位を系統的に同定する分析フレームワークを提案する。
まず、シーン分類に基づいて訓練された畳み込みニューラルネットワーク(CNN)を分析し、多様なオブジェクト概念にマッチするユニットを発見する。
第2に、シーンを生成するために訓練されたGANモデルについて、同様の分析手法を用いて分析する。
論文 参考訳（メタデータ） (2020-09-10T17:59:10Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。
結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
論文 参考訳（メタデータ） (2020-06-22T12:46:44Z) - Deep compositional robotic planners that follow natural language
commands [21.481360281719006]
サンプルベースのロボットプランナが、自然言語コマンドのシーケンスを理解するためにどのように拡張できるかを示す。
我々のアプローチは、オブジェクト、動詞、空間関係、属性を含む複雑なコマンドのパースに基づいて構築されたディープネットワークを組み合わせる。
論文 参考訳（メタデータ） (2020-02-12T19:56:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。