論文の概要: What should a neuron aim for? Designing local objective functions based on information theory

• arxiv url: http://arxiv.org/abs/2412.02482v3
• Date: Tue, 21 Jan 2025 09:46:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:18:23.855346
• Title: What should a neuron aim for? Designing local objective functions based on information theory
• Title（参考訳）: ニューロンが目指すべきものは何か?情報理論に基づく局所的目的関数の設計
• Authors: Andreas C. Schneider, Valentin Neuhaus, David A. Ehrlich, Abdullah Makkeh, Alexander S. Ecker, Viola Priesemann, Michael Wibral,
• Abstract要約: バイオインスパイアされた局所学習目標を設計することで、自己組織化された人工ニューロンをどのように達成できるかを示す。 これらの目標は、情報理論の最近の拡張である部分情報分解を用いてパラメータ化される。 我々の研究は、地域学習戦略の原則的情報理論の基礎を推進している。
• 参考スコア（独自算出の注目度）: 41.39714023784306
• License:
• Abstract: In modern deep neural networks, the learning dynamics of the individual neurons is often obscure, as the networks are trained via global optimization. Conversely, biological systems build on self-organized, local learning, achieving robustness and efficiency with limited global information. We here show how self-organization between individual artificial neurons can be achieved by designing abstract bio-inspired local learning goals. These goals are parameterized using a recent extension of information theory, Partial Information Decomposition (PID), which decomposes the information that a set of information sources holds about an outcome into unique, redundant and synergistic contributions. Our framework enables neurons to locally shape the integration of information from various input classes, i.e. feedforward, feedback, and lateral, by selecting which of the three inputs should contribute uniquely, redundantly or synergistically to the output. This selection is expressed as a weighted sum of PID terms, which, for a given problem, can be directly derived from intuitive reasoning or via numerical optimization, offering a window into understanding task-relevant local information processing. Achieving neuron-level interpretability while enabling strong performance using local learning, our work advances a principled information-theoretic foundation for local learning strategies.
• Abstract（参考訳）: 現代のディープニューラルネットワークでは、ネットワークはグローバルな最適化によって訓練されるため、個々のニューロンの学習ダイナミクスは曖昧であることが多い。 逆に、生物学的システムは自己組織的、局所的な学習に基づいて構築され、限られたグローバル情報で堅牢性と効率を達成する。 ここでは、抽象的なバイオインスパイアされた局所学習目標を設計することにより、個々の人工ニューロン間の自己組織化を実現する方法を示す。 これらの目的は、情報理論の最近の拡張である部分情報分解(PID)を用いてパラメータ化され、情報ソースのセットが結果について保持する情報を、ユニークで冗長でシナジスティックなコントリビューションに分解する。 本フレームワークは,3つの入力のうちどれが出力に一意に,冗長に,あるいは相乗的に寄与するかを選択することで,入力クラスの情報の統合,すなわちフィードフォワード,フィードバック,横方向の情報を局所的に形成することを可能にする。 この選択はPID項の重み付け和として表現され、与えられた問題に対して直感的な推論や数値最適化から直接導出することができ、タスク関連ローカル情報処理の窓を提供する。 本研究は,局所学習による強靭なパフォーマンスを実現しつつ,ニューロンレベルの解釈可能性を実現することを目的として,局所学習戦略の原理的情報理論基盤を整備する。

関連論文リスト

• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• A General Framework for Interpretable Neural Learning based on Local Information-Theoretic Goal Functions [1.5236380958983644]
  我々は、教師なし、教師なし、メモリ学習のタスクを実行するために、'不定型'ニューラルネットワークを導入する。 PIDフレームワークの解釈可能な性質を活用することで、インフォモーフィックネットワークは、局所学習の複雑な構造を理解するための貴重なツールとなる。
  論文  参考訳（メタデータ） (2023-06-03T16:34:25Z)
• Language Knowledge-Assisted Representation Learning for Skeleton-Based Action Recognition [71.35205097460124]
  人間が他人の行動を理解して認識する方法は、複雑な神経科学の問題である。 LA-GCNは、大規模言語モデル(LLM)知識アシストを用いたグラフ畳み込みネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-21T08:29:16Z)
• Redundancy and Concept Analysis for Code-trained Language Models [5.726842555987591]
  コード学習言語モデルは、様々なコードインテリジェンスタスクに非常に効果的であることが証明されている。 計算ボトルネックとメモリ制約のため、多くのソフトウェアエンジニアリングアプリケーションのトレーニングとデプロイが難しい場合がある。 我々は,ソースコードモデルに対する最初のニューロンレベルの解析を行い,潜在表現内でのテクスチエントニューロンの同定を行う。
  論文  参考訳（メタデータ） (2023-05-01T15:22:41Z)
• To Compress or Not to Compress- Self-Supervised Learning and Information Theory: A Review [30.87092042943743]
  ディープニューラルネットワークは教師付き学習タスクに優れるが、広範なラベル付きデータの必要性によって制約される。 自己組織化学習は有望な代替手段として登場し、明確なラベルなしでモデルを学習できる。 情報理論、特に情報ボトルネックの原則は、ディープニューラルネットワークの形成において重要な役割を担っている。
  論文  参考訳（メタデータ） (2023-04-19T00:33:59Z)
• Synergistic information supports modality integration and flexible learning in neural networks solving multiple tasks [107.8565143456161]
  本稿では,様々な認知タスクを行う単純な人工ニューラルネットワークが採用する情報処理戦略について検討する。 結果は、ニューラルネットワークが複数の多様なタスクを学習するにつれて、シナジーが増加することを示している。 トレーニング中に無作為にニューロンを停止させると、ネットワークの冗長性が増加し、ロバスト性の増加に対応する。
  論文  参考訳（メタデータ） (2022-10-06T15:36:27Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• FF-NSL: Feed-Forward Neural-Symbolic Learner [70.978007919101]
  本稿では,Feed-Forward Neural-Symbolic Learner (FF-NSL) と呼ばれるニューラルシンボリック学習フレームワークを紹介する。 FF-NSLは、ラベル付き非構造化データから解釈可能な仮説を学習するために、Answer Setセマンティクスに基づく最先端のICPシステムとニューラルネットワークを統合する。
  論文  参考訳（メタデータ） (2021-06-24T15:38:34Z)
• Malicious Network Traffic Detection via Deep Learning: An Information Theoretic View [0.0]
  本研究では,ホメオモルフィズムがマルウェアのトラフィックデータセットの学習表現に与える影響について検討する。 この結果から,学習された表現の詳細と,すべてのパラメータの多様体上で定義された特定の座標系は,関数近似とは全く異なることが示唆された。
  論文  参考訳（メタデータ） (2020-09-16T15:37:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。