論文の概要: Common-Mode Collapse and Recovery in Direct Feedback Alignment

• arxiv url: http://arxiv.org/abs/2609.31589v1
• Date: Fri, 25 Sep 2026 17:43:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.526499
• Title: Common-Mode Collapse and Recovery in Direct Feedback Alignment
• Title（参考訳）: 直接フィードバックアライメントにおけるコモンモードの崩壊と回復
• Abstract要約: 直接フィードバックアライメントは、出力誤差の固定されたランダムな投影を通して隠れた層を訓練する。 MNISTでは、クラス陰性性は大部分が崩壊するが、読み出し学習は一定の学習速度で遅いままである。 ベースラインの読み出しをクラスにキャリブレーションすることは、崩壊を抑制し、学習を高速化する。
• 参考スコア（独自算出の注目度）: 0.764671395172401
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Direct feedback alignment (DFA) trains hidden layers through fixed random projections of output error. With tanh hidden units and independent sigmoid outputs, plain stochastic gradient descent can stall near the loss of a constant predictor of class frequencies. We trace this stall to the error's common mode, the component shared across inputs. An exact mean-covariance decomposition separates a rank-one update formed by the mean teaching signal and mean presynaptic activity. Its leading component drives tanh units toward saturation. At initialization, random feedback provides no systematic correction of the shared error on average; readout learning limits its duration. A reduced model initialized from the network, without fitted parameters, predicts the concentration of activation sensitivity across 48 settings. On MNIST, class decodability largely survives collapse, but readout learning remains slow at a fixed learning rate. Adam learns faster despite deeper collapse. Calibrating the baseline readout to the class prior suppresses collapse and speeds learning; weaker feedback trades less collapse for slower learning. Replacing errors by their signs sustains collapse; subtracting the signal's batch mean prevents sustained collapse and improves learning in the tested setting. Related effects occur in deeper and convolutional networks and on CIFAR-10, with severity and cost depending on the readout, optimizer and input statistics.
• Abstract（参考訳）: 直接フィードバックアライメント(DFA)は、出力エラーの固定されたランダムなプロジェクションを通じて隠れた層を訓練する。 タンハ隠れ単位と独立シグモイド出力により、標準確率勾配降下は、クラス周波数の定数予測子の損失の近くで停止する。 我々はこのストールを、入力間で共有されるコンポーネントであるエラーの共通モードにトレースする。 正確な平均共分散分解は、平均指導信号と平均シナプス前活動とで形成されるランクワン更新を分離する。 その主成分はタンの単位を飽和に向かって駆動する。 初期化時には、ランダムなフィードバックは平均的な共有エラーの体系的な修正を提供しない。 ネットワークから初期化された縮小モデルでは、パラメータが組み込まれていないため、48設定でアクティベーション感度の集中を予測できる。 MNISTでは、クラス陰性性は大部分が崩壊するが、読み出し学習は一定の学習速度で遅いままである。 アダムは深い崩壊にもかかわらず速く学ぶ。 ベースラインの読み出しをクラスにキャリブレーションすることは、崩壊を抑制し、学習を高速化する。 信号のバッチ平均の減算は、持続的な崩壊を防止し、テスト環境での学習を改善する。 関連する効果は、より深い畳み込みネットワークやCIFAR-10で発生し、読み出し、オプティマイザ、入力統計によって重大でコストがかかる。

関連論文リスト

• Why Post-Norm Transformers Collapse: Attention Amplification and Gradient Repair Failure [8.63727823701713]
  ディープデコーダのみのトランスフォーマーは、オリジナルのPost-NormアーキテクチャをPre-Normで置き換えることが多い。 本研究では、因果的注意が高相似性表現をいかに生み出すか、また、なぜトレーニングダイナミクスがそれらを修復できないのかを示す。
  論文  参考訳（メタデータ） (2026-08-10T10:45:16Z)
• LOSCAR-SGD: Local SGD with Communication-Computation Overlap and Delay-Corrected Sparse Model Averaging [41.99844472131922]
  コミュニケーションは分散学習における大きなボトルネックである。 このコストを削減する3つの方法は、通信圧縮、ローカルトレーニング、通信-計算オーバーラップである。 本稿では,サブセットモデル座標のみを通信するローカルサブセットであるLOSCAR-SGDを提案する。
  論文  参考訳（メタデータ） (2026-05-20T08:01:45Z)
• Monitoring Neural Training with Topology: A Footprint-Predictable Collapse Index [51.56484100374058]
  我々は,MHM(Modular Morse Homology maintenance)とCI(Composite Collapse Index)を併用したオンライントポロジ対応型神経表現モニタを提案する。 コンプレックスを再構築する代わりに、スパース編集を一定のスケールで適用し、離散的なモースマッチングを維持し、高速でインクリメンタルな更新をもたらす。
  論文  参考訳（メタデータ） (2026-04-28T19:21:21Z)
• Towards Realistic Class-Incremental Learning with Free-Flow Increments [17.558920457942936]
  本稿では,自由フロー到着時のCIL学習のためのモデルに依存しないフレームワークを提案する。 これは、サンプル周波数重み付き損失を一様に集約されたクラス条件監督に置き換えるクラスワイド平均(CWM)の目的を含む。 FFCIL下での各種CIL基線における明らかな性能劣化を実験により確認した。
  論文  参考訳（メタデータ） (2026-04-03T06:19:58Z)
• HSFM: Hard-Set-Guided Feature-Space Meta-Learning for Robust Classification under Spurious Correlations [25.503211313768062]
  本稿では,特徴空間で直接拡張を行う二段階メタラーニング手法を提案する。 ピクセル空間ではなくバックボーン出力で操作することで、この手法は非常に効率的で安定であり、1つのGPUで数分のトレーニングしか必要としない。
  論文  参考訳（メタデータ） (2026-03-31T06:32:56Z)
• Geometric-Disentangelment Unlearning [106.99160454669902]
  忘れたサンプルへの勾配は しばしば 保持された知識を傷つける 本稿では,GU(Geometric-disment Unlearning)を提案する。 本手法はプラグ・アンド・プレイであり,既存の勾配に基づくアンラーニング手法と併用することで副作用を軽減できる。
  論文  参考訳（メタデータ） (2025-11-21T09:58:25Z)
• REPA Works Until It Doesn't: Early-Stopped, Holistic Alignment Supercharges Diffusion Training [58.33728862521732]
  Diffusion Transformer (DiTs)は最先端の画像品質を提供するが、訓練は依然として遅い。 最近の治療 -- DiT の隠された特徴と非生成的教師(例えば DINO)の特徴とを一致させる表現アライメント(REPA) -- は、初期のエポックを劇的に加速させるが、その後パフォーマンスを低下させる。 生成学習者が共同データ分布をモデル化し始めると、教師の低次元埋め込みと注意パターンがガイドではなくストラトジャケットになる。 HASTEを紹介する
  論文  参考訳（メタデータ） (2025-05-22T15:34:33Z)
• Navigating Semantic Drift in Task-Agnostic Class-Incremental Learning [51.177789437682954]
  クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、モデルが学習したクラスの知識を維持しつつ、新しいクラスを逐次学習できるようにすることを目的とする。 柔軟性と安定性のバランスをとることは、特にタスクIDが不明な場合には、依然として大きな課題である。 本研究では,平均シフト補償と共分散校正を組み合わせたセマンティックドリフト校正法を提案する。
  論文  参考訳（メタデータ） (2025-02-11T13:57:30Z)
• Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks [86.42889611784855]
  正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる 本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。 実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
  論文  参考訳（メタデータ） (2021-10-05T11:36:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。