論文の概要: Diffusing Blame: Task-Dependent Credit Assignment in Biologically Plausible Dual-Stream Networks
- arxiv url: http://arxiv.org/abs/2606.31700v1
- Date: Tue, 30 Jun 2026 14:09:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 18:27:19.248158
- Title: Diffusing Blame: Task-Dependent Credit Assignment in Biologically Plausible Dual-Stream Networks
- Title(参考訳): Diffusing Blame: 生物学的に可塑性なデュアルストリームネットワークにおけるタスク依存型クレジットアサインメント
- Abstract要約: 本稿では、二項分類を超えて誤差拡散を拡張するためのモジュロエラールーティングを提案する。
本手法で訓練したデュアルストリーム興奮抑制アーキテクチャは,MNISTの96.7%を達成している。
強化学習では,EDをPPO(Proximal Policy Optimization)と統合し,Google BraxとCraftaxの継続的制御タスクで評価する。
- 参考スコア(独自算出の注目度): 20.760754362327933
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Biological neural circuits obey Dale's principle: each neuron's synapses are uniformly excitatory or inhibitory. Artificial networks that respect this constraint must coordinate separate excitatory and inhibitory populations, fundamentally changing how credit is assigned during learning. Several biologically plausible learning rules avoid backpropagation's weight transport requirement, but it has been difficult to achieve strong performance under Dale's principle beyond MNIST. Error Diffusion (ED) was originally proposed in a dual-stream excitatory/inhibitory architecture, where learning is driven by routing global error signals to all layers without transporting transposed forward weights or relying on random feedback matrices. Whether such a rule can scale under Dale's principle across both supervised classification and reinforcement learning remains unknown. Here, we introduce modulo error routing to extend Error Diffusion beyond binary classification, and show that a dual-stream excitatory/inhibitory architecture trained with this method achieves 96.7% on MNIST and establishes a 61.7% baseline on CIFAR-10, demonstrating that representation learning is possible even when strictly enforcing Dale's principle. For the classification setting, we introduce three domain-specific innovations: layer-specific sigmoid widths, batch-centered class error signals, and asymmetric initialization, and ablation analysis reveals that their relative importance reverses between MNIST and CIFAR-10, exposing task-dependent credit-assignment bottlenecks invisible to single-benchmark evaluation. In reinforcement learning, we integrate ED with Proximal Policy Optimization (PPO) and evaluate it on continuous-control tasks in Google Brax and on Craftax, an open-ended exploration task. We show that ED-PPO achieves competitive performance relative to Direct Feedback Alignment, a backpropagation-free baseline.
- Abstract(参考訳): 生物学的神経回路はデールの原理に従っており、各ニューロンのシナプスは一様興奮または抑制的である。
この制約を尊重する人工ネットワークは、分離された排他的および阻害的な集団を調整し、学習中にクレジットがどのように割り当てられるかを根本的に変える必要がある。
いくつかの生物学的に妥当な学習規則は、バックプロパゲーションのウェイトトランスポート要求を回避しているが、Daleの原理によりMNISTを超えて強い性能を達成することは困難である。
Error Diffusion (ED) はもともとデュアルストリームの排他的/阻害的アーキテクチャで提案され、これは学習が全層にグローバルなエラー信号をルーティングすることで、転送された前方重みを移動したり、ランダムなフィードバック行列に依存することなく駆動される。
このような規則が、監督された分類と強化学習の両方にわたってデイルの原理の下でスケールできるかどうかは不明である。
そこで本研究では,二分法を超えて誤差拡散を拡大するモジュロエラールーティングを導入し,本手法でトレーニングした2重ストリームの排他的/阻止的アーキテクチャがMNISTで96.7%,CIFAR-10で61.7%のベースラインを確立し,Daleの原理を厳格に適用しても表現学習が可能であることを示す。
分類設定では, レイヤ固有のシグミド幅, バッチ中心のクラスエラー信号, 非対称初期化の3つの領域固有のイノベーションを導入し, アブレーション解析により, MNIST と CIFAR-10 の相対的重要性が逆転し, 単一ベンチマーク評価で見えないタスク依存型クレジットアサインメントボトルネックを明らかにする。
強化学習では、EDとPPOを統合し、Google Braxの継続的制御タスクと、オープンな調査タスクであるCraftaxで評価する。
ED-PPOは,バックプロパゲーションフリーのベースラインであるダイレクトフィードバックアライメントと比較して,競争性能が高いことを示す。
関連論文リスト
- Neural-ESO: A Dual-Pathway Architecture for Provably Robust Learning-Based Control [5.565368627826789]
ニューラル拡張状態オブザーバ(Neural-ESO)に基づく学習支援型外乱回避フレームワークを提案する。
一度デプロイされた学習モデルに大きく依存する既存の学習ベースの制御方法とは異なり、Neural-ESOはデュアルパスアーキテクチャを採用している。
学習成分にリプシッツを有界にすることで閉ループ誤差の均一な有界性を保証することを示す。
論文 参考訳(メタデータ) (2026-07-07T17:41:38Z) - Purified OPSD: On-Policy Self-Distillation Without Losing How to Think [52.879387744920415]
オンライン自己蒸留(OPSD)は長いチェーン・オブ・ソート(Long-CoT)推論モデルでは一貫して失敗する。
まず,教師が指導信号の非伝達可能成分を分離するために,参照のみの教師を構築する。
第2に、この残差をよく形成されたPMIターゲット分布に変換するメカニズムとして、ポイントワイズ相互情報(PMI)を用いる。
論文 参考訳(メタデータ) (2026-07-02T14:33:07Z) - GEMS: Geometric Constraints Enable Multi-Semantic Superposition in LLMs [5.018957704056544]
アクティベーションステアリング(Activation steering)は、推論時に中間隠れ状態を変更することで、リトレーニングなしでモデル動作を制御する。
制約なしに複数の意味的方向が重畳されると、モデルは崩壊する。
GEMSは,各ソースを対応する幾何学的制約にマッピングする訓練不要な手法である。
論文 参考訳(メタデータ) (2026-06-18T08:43:33Z) - TopoCurate:Modeling Interaction Topology for Tool-Use Agent Training [53.93696896939915]
訓練用ツール使用エージェントは一般的に、パスレート選択されたタスクに対して、軌道変更の成功と強化学習(RL)に依存している。
TopoCurateは,同一タスクから多段階的なロールアウトを統一的な意味的商トポロジに投影する対話型フレームワークである。
TopoCurateは最先端のベースラインに対して4.2%(SFT)と6.9%(RL)という一貫したゲインを達成している。
論文 参考訳(メタデータ) (2026-03-02T10:38:54Z) - Information Fidelity in Tool-Using LLM Agents: A Martingale Analysis of the Model Context Protocol [69.11739400975445]
モデルコンテキストプロトコル(MCP)エージェントにおけるエラー蓄積を解析するための最初の理論的枠組みを紹介する。
累積歪みが線形成長と高確率偏差を$O(sqrtT)$で表すことを示す。
主な発見は、意味重み付けは歪みを80%減らし、周期的再接地は、エラー制御の約9ステップごとに十分である。
論文 参考訳(メタデータ) (2026-02-10T21:08:53Z) - DIS2: Disentanglement Meets Distillation with Classwise Attention for Robust Remote Sensing Segmentation under Missing Modalities [28.992992584085787]
DIS2は、モダリティ共有機能依存からアクティブでガイド付き機能不足補償へ移行した新しいパラダイムである。
補償的特徴は、利用可能なモダリティの特徴と融合すると、フルモダリティの場合の理想的フューズド表現に近似する。
提案手法はベンチマーク間で最先端の手法を著しく上回っている。
論文 参考訳(メタデータ) (2026-01-20T01:33:54Z) - Distributionally Robust Imitation Learning: Layered Control Architecture for Certifiable Autonomy [24.387204607890578]
シミュレーション学習(IL)は、専門家によるデモンストレーションから学ぶことで自律的な行動を可能にする。
本稿では,TaSIL とellonedrac を統合した層制御アーキテクチャ (LCA) を提案する。
私たちのソリューションは、完全に証明可能な自律パイプラインを設計するための道を開くものです。
論文 参考訳(メタデータ) (2025-12-19T18:58:11Z) - Dual-level Modality Debiasing Learning for Unsupervised Visible-Infrared Person Re-Identification [59.59359638389348]
本稿では,モデルと最適化の両レベルでのデバイアス処理を実装したデュアルレベルのモダリティ・デバイアス学習フレームワークを提案する。
ベンチマークデータセットの実験では、DMDLはモダリティ不変の特徴学習とより一般化されたモデルを可能にすることを示した。
論文 参考訳(メタデータ) (2025-12-03T12:43:16Z) - Alignment Tipping Process: How Self-Evolution Pushes LLM Agents Off the Rails [103.05296856071931]
本稿では,自己進化型大規模言語モデル(LLM)エージェントに特有の,アライメント・ティッピング・プロセス(ATP)を同定する。
ATPは、連続的な相互作用によってエージェントが訓練中に確立されたアライメント制約を放棄し、強化された自己関心の戦略を支持するときに生じる。
実験の結果、アライメントの利点は自己進化の下で急速に低下し、最初は整合性のない状態に収束したモデルであることが判明した。
論文 参考訳(メタデータ) (2025-10-06T14:48:39Z) - ADPS: Asymmetric Distillation Post-Segmentation for Image Anomaly
Detection [75.68023968735523]
知識蒸留に基づく異常検出 (KDAD) 法は, 異常領域を検出し, セグメント化するために, 教師学生のパラダイムに頼っている。
非対称蒸留ポストセグメンテーション(ADPS)と呼ばれる革新的なアプローチを提案する。
我々のADPSは、教師-学生ネットワークの入力と同じイメージの異なる形態の非対称蒸留パラダイムを採用している。
ADPSは,MVTec ADとKolektorSDD2データセットで平均精度(AP)を9%,20%向上させることを示した。
論文 参考訳(メタデータ) (2022-10-19T12:04:47Z) - Error-driven Input Modulation: Solving the Credit Assignment Problem
without a Backward Pass [8.39059551023011]
ニューラルネットワークにおける教師付き学習は、一般的にバックプロパゲーションに依存している。
このアプローチには多くの点において生物学的な妥当性が欠如していることが示されている。
本稿では,入力信号がネットワークの誤りに基づいて変調される第2のフォワードパスに置き換えることを提案する。
論文 参考訳(メタデータ) (2022-01-27T17:12:05Z) - Feature Purification: How Adversarial Training Performs Robust Deep
Learning [66.05472746340142]
ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。
この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
論文 参考訳(メタデータ) (2020-05-20T16:56:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。