論文の概要: Error Broadcast and Decorrelation as a Potential Artificial and Natural Learning Mechanism

• arxiv url: http://arxiv.org/abs/2504.11558v1
• Date: Tue, 15 Apr 2025 19:00:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-17 14:36:58.131542
• Title: Error Broadcast and Decorrelation as a Potential Artificial and Natural Learning Mechanism
• Title（参考訳）: 人工・自然学習機構としてのエラー放送とデコレーション
• Authors: Mete Erdogan, Cengiz Pehlevan, Alper T. Erdogan,
• Abstract要約: 本稿では,ニューラルネットワークの信頼割当問題に対処する新しい学習フレームワークであるError Broadcast and Decorrelation(EBD)アルゴリズムを紹介する。 EBDは、層活性化と出力エラーの相関関係をペナルティ化する層ワイド損失関数を定義し、重量輸送を必要とせずにエラーのブロードキャストに原則化されたアプローチを提供する。 数値実験により、EBDはベンチマークデータセット上の既知のエラーブロードキャスト手法に匹敵する性能を達成することが示された。
• 参考スコア（独自算出の注目度）: 34.75158394131716
• License:
• Abstract: We introduce the Error Broadcast and Decorrelation (EBD) algorithm, a novel learning framework that addresses the credit assignment problem in neural networks by directly broadcasting output error to individual layers. Leveraging the stochastic orthogonality property of the optimal minimum mean square error (MMSE) estimator, EBD defines layerwise loss functions to penalize correlations between layer activations and output errors, offering a principled approach to error broadcasting without the need for weight transport. The optimization framework naturally leads to the experimentally observed three-factor learning rule and integrates with biologically plausible frameworks to enhance performance and plausibility. Numerical experiments demonstrate that EBD achieves performance comparable to or better than known error-broadcast methods on benchmark datasets. While the scalability of EBD to very large or complex datasets remains to be further explored, our findings suggest it provides a biologically plausible, efficient, and adaptable alternative for neural network training. This approach could inform future advancements in artificial and natural learning paradigms.
• Abstract（参考訳）: 本稿では,ニューラルネットワークの信頼割当問題に対処する新しい学習フレームワークであるError Broadcast and Decorrelation(EBD)アルゴリズムを紹介する。 最適最小平均二乗誤差(MMSE)推定器の確率的直交性を利用して、EBDは層活性化と出力誤差の相関をペナルティ化する層ワイド損失関数を定義し、重量輸送を必要とせずにエラー放送の原理的アプローチを提供する。 最適化フレームワークは、実験的に観察された3要素学習ルールを自然に導き、生物学的に妥当なフレームワークと統合し、性能と妥当性を高める。 数値実験により、EBDはベンチマークデータセット上の既知のエラーブロードキャスト手法に匹敵する性能を達成することが示された。 EBDの非常に大きなデータセットや複雑なデータセットへの拡張性は、まだ検討されていないが、我々の研究結果は、ニューラルネットワークトレーニングの生物学的に妥当で、効率的で、適応可能な代替手段を提供することを示唆している。 このアプローチは、人工および自然学習パラダイムの今後の進歩を知らせる可能性がある。

関連論文リスト

• Automatic debiasing of neural networks via moment-constrained learning [0.0]
  偏差推定器の回帰関数をネーティブに学習し,対象関数のサンプル平均値を取得する。 本稿では,自動脱バイアスの欠点に対処する新しいRR学習手法として,モーメント制約学習を提案する。
  論文  参考訳（メタデータ） (2024-09-29T20:56:54Z)
• DFA-GNN: Forward Learning of Graph Neural Networks by Direct Feedback Alignment [57.62885438406724]
  グラフニューラルネットワークは、様々なアプリケーションにまたがる強力なパフォーマンスで認識されている。 BPには、その生物学的妥当性に挑戦する制限があり、グラフベースのタスクのためのトレーニングニューラルネットワークの効率、スケーラビリティ、並列性に影響を与える。 半教師付き学習のケーススタディを用いて,GNNに適した新しい前方学習フレームワークであるDFA-GNNを提案する。
  論文  参考訳（メタデータ） (2024-06-04T07:24:51Z)
• B-Learner: Quasi-Oracle Bounds on Heterogeneous Causal Effects Under Hidden Confounding [51.74479522965712]
  本稿では,B-Learnerと呼ばれるメタラーナーを提案する。 我々は、その推定が有効で、鋭く、効率的であることを証明し、既存の方法よりも一般的な条件下で構成推定器に対して準オーラル特性を持つことを示した。
  論文  参考訳（メタデータ） (2023-04-20T18:07:19Z)
• Constrained Parameter Inference as a Principle for Learning [5.080518039966762]
  本稿では,制約パラメータ推論(COPI)を学習の新たな原則として提案する。 COPIは、神経状態の非相関な入力とトップダウン摂動の制約下でのネットワークパラメータの推定を可能にする。 我々はCOPIが生物学的に妥当であるだけでなく、誤りの標準的なバックプロパゲーションと比較して、高速学習の利点も示していることを示した。
  論文  参考訳（メタデータ） (2022-03-22T13:40:57Z)
• Influence Estimation and Maximization via Neural Mean-Field Dynamics [60.91291234832546]
  本稿では,ニューラル平均場(NMF)ダイナミクスを用いた新しい学習フレームワークを提案する。 我々のフレームワークは拡散ネットワークの構造とノード感染確率の進化を同時に学習することができる。
  論文  参考訳（メタデータ） (2021-06-03T00:02:05Z)
• Attribute-Guided Adversarial Training for Robustness to Natural Perturbations [64.35805267250682]
  本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。 我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
  論文  参考訳（メタデータ） (2020-12-03T10:17:30Z)
• A simple normative network approximates local non-Hebbian learning in the cortex [12.940770779756482]
  神経科学実験は、皮質ニューロンによる感覚入力の処理は、指示信号によって変調されることを示した。 ここでは、規範的なアプローチを採用し、フィードフォワードデータの投影を導く監督的な入力として、これらの命令信号をモデル化する。 オンラインアルゴリズムは、シナプス学習規則が大脳皮質で観察されるカルシウムプラトー電位依存的な可塑性に類似しているニューラルネットワークによって実装することができる。
  論文  参考訳（メタデータ） (2020-10-23T20:49:44Z)
• Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
  本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。 本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。 我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
  論文  参考訳（メタデータ） (2020-06-16T18:45:20Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。