論文の概要: Error Broadcast and Decorrelation as a Potential Artificial and Natural Learning Mechanism

• arxiv url: http://arxiv.org/abs/2504.11558v2
• Date: Thu, 29 May 2025 10:44:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 20:45:56.876518
• Title: Error Broadcast and Decorrelation as a Potential Artificial and Natural Learning Mechanism
• Title（参考訳）: 人工・自然学習機構としてのエラー放送とデコレーション
• Authors: Mete Erdogan, Cengiz Pehlevan, Alper T. Erdogan,
• Abstract要約: 本稿では,ニューラルネットワークの新しい学習フレームワークであるError Broadcast and Decorrelation(EBD)を紹介する。 EBDは個々のレイヤに直接出力エラーを送信することで、クレジットの割り当てに対処する。 我々の研究は、EBDをニューラルネットワークトレーニングの効率よく、生物学的に妥当で、原則的に代替するものとして確立した。
• 参考スコア（独自算出の注目度）: 34.75158394131716
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce Error Broadcast and Decorrelation (EBD), a novel learning framework for neural networks that addresses credit assignment by directly broadcasting output errors to individual layers, circumventing weight transport of backpropagation. EBD is rigorously grounded in the stochastic orthogonality property of Minimum Mean Square Error estimators. This fundamental principle states that the error of an optimal estimator is orthogonal to functions of the input. Guided by this insight, EBD defines layerwise loss functions that directly penalize correlations between layer activations and output errors, thereby establishing a principled foundation for error broadcasting. This theoretically sound mechanism naturally leads to the experimentally observed three-factor learning rule and integrates with biologically plausible frameworks to enhance performance and plausibility. Numerical experiments demonstrate EBD's competitive or better performance against other error-broadcast methods on benchmark datasets. Our findings establish EBD as an efficient, biologically plausible, and principled alternative for neural network training.
• Abstract（参考訳）: ニューラルネットワークの新たな学習フレームワークであるError Broadcast and Decorrelation(EBD)を導入し,個々の層に直接出力エラーを出力することで,バックプロパゲーションの重み伝達を回避する。 EBDは最小平均角誤差推定器の確率直交性に厳密に基礎を置いている。 この基本原理は、最適推定子の誤差が入力の関数に直交していることを述べる。 この知見に導かれて、EBDは層活性化と出力誤差の相関を直接ペナルティ化する階層的損失関数を定義し、これによりエラー放送の原理的基礎を確立する。 この理論的に健全なメカニズムは、実験的に観察された3要素学習規則を自然に導き、生物学的にもっともらしいフレームワークと統合し、性能と妥当性を高める。 数値実験は、ベンチマークデータセット上の他のエラーブロードキャスト手法に対するEBDの競合性またはより良い性能を示す。 我々の研究は、EBDをニューラルネットワークトレーニングの効率よく、生物学的に妥当で、原則的に代替するものとして確立した。

関連論文リスト

• Consistency-based Abductive Reasoning over Perceptual Errors of Multiple Pre-trained Models in Novel Environments [5.5855749614100825]
  本稿では,複数の事前学習モデルを活用することで,このリコール低減を緩和できるという仮説を述べる。 我々は,一貫性に基づく推論問題として,様々なモデルからの矛盾する予測を特定し,管理することの課題を定式化する。 本研究は,複数の不完全なモデルから得られた知識を,難易度の高い新しいシナリオにおいて堅牢に統合するための効果的なメカニズムとして,一貫性に基づく誘拐の有効性を検証するものである。
  論文  参考訳（メタデータ） (2025-05-25T23:17:47Z)
• Interpretable Deep Regression Models with Interval-Censored Failure Time Data [1.2993568435938014]
  間隔制限付きデータの深層学習手法は、まだ探索が過小評価されており、特定のデータタイプやモデルに限られている。 本研究は、部分線形変換モデルの幅広いクラスを持つ区間知覚データに対する一般的な回帰フレームワークを提案する。 我々の手法をアルツハイマー病神経イメージングイニシアチブデータセットに適用すると、従来のアプローチと比較して新しい洞察と予測性能が向上する。
  論文  参考訳（メタデータ） (2025-03-25T15:27:32Z)
• Bridging Internal Probability and Self-Consistency for Effective and Efficient LLM Reasoning [53.25336975467293]
  パープレキシティや自己整合性などの手法の第一理論誤差分解解析について述べる。 パープレキシティ法は、適切な整合関数が存在しないため、かなりのモデル誤差に悩まされる。 本稿では、自己整合性とパープレキシティを統合したReasoning-Pruning Perplexity Consistency(RPC)と、低確率推論経路を排除したReasoning Pruningを提案する。
  論文  参考訳（メタデータ） (2025-02-01T18:09:49Z)
• Automatic debiasing of neural networks via moment-constrained learning [0.0]
  偏差推定器の回帰関数をネーティブに学習し,対象関数のサンプル平均値を取得する。 本稿では,自動脱バイアスの欠点に対処する新しいRR学習手法として,モーメント制約学習を提案する。
  論文  参考訳（メタデータ） (2024-09-29T20:56:54Z)
• Probability Distribution Learning and Its Application in Deep Learning [0.0]
  本稿では,確率分布学習(PD Learning)と呼ばれる理論学習フレームワークを紹介する。 PD学習は確率分布の学習に重点を置いており、確率の単純さの中で確率変数としてモデル化される。
  論文  参考訳（メタデータ） (2024-06-09T06:49:22Z)
• DFA-GNN: Forward Learning of Graph Neural Networks by Direct Feedback Alignment [57.62885438406724]
  グラフニューラルネットワークは、様々なアプリケーションにまたがる強力なパフォーマンスで認識されている。 BPには、その生物学的妥当性に挑戦する制限があり、グラフベースのタスクのためのトレーニングニューラルネットワークの効率、スケーラビリティ、並列性に影響を与える。 半教師付き学習のケーススタディを用いて,GNNに適した新しい前方学習フレームワークであるDFA-GNNを提案する。
  論文  参考訳（メタデータ） (2024-06-04T07:24:51Z)
• B-Learner: Quasi-Oracle Bounds on Heterogeneous Causal Effects Under Hidden Confounding [51.74479522965712]
  本稿では,B-Learnerと呼ばれるメタラーナーを提案する。 我々は、その推定が有効で、鋭く、効率的であることを証明し、既存の方法よりも一般的な条件下で構成推定器に対して準オーラル特性を持つことを示した。
  論文  参考訳（メタデータ） (2023-04-20T18:07:19Z)
• ApproxABFT: Approximate Algorithm-Based Fault Tolerance for Neural Network Processing [7.578258600530223]
  アルゴリズムに基づく耐障害性(ABFT)機構は信頼性向上のための有望なソリューションとなっている。 本稿では,適応的エラー許容しきい値を導入し,選択的障害回復を実現するための近似ABFTフレームワークを提案する。 提案した ApproxABFT は,従来の ABFT よりも43.39% の冗長計算オーバーヘッド削減を実現している。
  論文  参考訳（メタデータ） (2023-02-21T06:21:28Z)
• Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
  我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。 GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
  論文  参考訳（メタデータ） (2023-02-06T16:38:43Z)
• Constrained Parameter Inference as a Principle for Learning [5.080518039966762]
  本稿では,制約パラメータ推論(COPI)を学習の新たな原則として提案する。 COPIは、神経状態の非相関な入力とトップダウン摂動の制約下でのネットワークパラメータの推定を可能にする。 我々はCOPIが生物学的に妥当であるだけでなく、誤りの標準的なバックプロパゲーションと比較して、高速学習の利点も示していることを示した。
  論文  参考訳（メタデータ） (2022-03-22T13:40:57Z)
• Influence Estimation and Maximization via Neural Mean-Field Dynamics [60.91291234832546]
  本稿では,ニューラル平均場(NMF)ダイナミクスを用いた新しい学習フレームワークを提案する。 我々のフレームワークは拡散ネットワークの構造とノード感染確率の進化を同時に学習することができる。
  論文  参考訳（メタデータ） (2021-06-03T00:02:05Z)
• Attribute-Guided Adversarial Training for Robustness to Natural Perturbations [64.35805267250682]
  本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。 我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
  論文  参考訳（メタデータ） (2020-12-03T10:17:30Z)
• A simple normative network approximates local non-Hebbian learning in the cortex [12.940770779756482]
  神経科学実験は、皮質ニューロンによる感覚入力の処理は、指示信号によって変調されることを示した。 ここでは、規範的なアプローチを採用し、フィードフォワードデータの投影を導く監督的な入力として、これらの命令信号をモデル化する。 オンラインアルゴリズムは、シナプス学習規則が大脳皮質で観察されるカルシウムプラトー電位依存的な可塑性に類似しているニューラルネットワークによって実装することができる。
  論文  参考訳（メタデータ） (2020-10-23T20:49:44Z)
• Relaxing the Constraints on Predictive Coding Models [62.997667081978825]
  予測符号化(英: Predictive coding)は、脳が行う主計算が予測誤差の最小化であるとする皮質機能の影響力のある理論である。 アルゴリズムの標準的な実装は、同じ前方と後方の重み、後方の非線形微分、1-1エラーユニット接続といった、潜在的に神経的に予測できない特徴を含んでいる。 本稿では,これらの特徴はアルゴリズムに不可欠なものではなく,Hebbianの更新ルールを用いてパラメータセットを直接あるいは学習することで,学習性能に悪影響を及ぼすことなく除去可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-02T15:21:37Z)
• Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
  本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。 本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。 我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
  論文  参考訳（メタデータ） (2020-06-16T18:45:20Z)
• Non-Negative Bregman Divergence Minimization for Deep Direct Density Ratio Estimation [18.782750537161615]
  実験的なBD推定器の非負の補正手法を提案する。 提案手法は,不整合型外乱検出において良好な性能を示す。
  論文  参考訳（メタデータ） (2020-06-12T07:39:03Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。