Fugu-MT 論文翻訳(概要): Overcoming Rank Collapse in Feedback Alignment

論文の概要: Overcoming Rank Collapse in Feedback Alignment

arxiv url: http://arxiv.org/abs/2606.11123v1
Date: Tue, 09 Jun 2026 17:21:25 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-10 15:40:58.63435
Title: Overcoming Rank Collapse in Feedback Alignment
Title（参考訳）: フィードバックアライメントにおけるランク崩壊の克服
Authors: Gauthier Boeshertz, Razvan Pascanu, Claudia Clopath,
Abstract要約: CIFAR10で訓練したBPモデルとFAモデルの違いについて検討した。 FAの有効次元性を高めるための2つのメカニズムを評価する。この結果から,低次元勾配力学がFAのスケーリングの重要な障害であることがわかった。
参考スコア（独自算出の注目度）: 20.67158220074066
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Backpropagation (BP) is widely viewed as biologically implausible, in part because it requires feedback weights to be the transpose of forward weights for error propagation. Interestingly, when training a network with fixed random feedback weights to circumvent this issue, learning aligns the forward weights with the feedback weights, leading the backpropagated error signal to become an approximation of the standard gradient used by BP. This process, called Feedback Alignment (FA), occurs in MLPs and very shallow CNNs but does not scale well to deeper architectures. In this work, we first investigated differences between BP and FA models, trained on CIFAR10, specifically focusing on the effective rank of the signal. We found that the FA error has a considerably lower rank and hence is constrained to a lower-dimensional subspace compared to BP, limiting exploration of the parameter space. Motivated by this observation, we evaluated two mechanisms for increasing the effective dimensionality of FA: Muon, an optimiser that orthogonalises weight updates; and hidden activity normalisation, which promotes activation orthogonality. Across larger architectures and benchmarks, we find that these methods consistently improve over FA baselines, for example, on CIFAR100 with a Resnet-18, accuracy increases by 9 percentage points. Our results identify low-dimensional gradient dynamics as a key obstacle to scaling FA and suggest that inducing higher-dimensional update geometry is a promising route toward scaling alternatives to backpropagation.
Abstract（参考訳）: バックプロパゲーション(BP)は、フィードバック重みがエラー伝播のために前方重みの変換を必要とすることもあって、生物学的に不可能であると広く見なされている。興味深いことに、固定されたランダムなフィードバック重み付きネットワークをトレーニングしてこの問題を回避すると、学習は前方の重みとフィードバック重みを一致させ、バックプロパゲートエラー信号はBPが使用する標準勾配の近似となる。このプロセスは、フィードバックアライメント(FA)と呼ばれ、MPPや非常に浅いCNNで発生するが、より深いアーキテクチャではうまくスケールしない。本研究ではまず,CIFAR10で訓練したBPモデルとFAモデルの違いについて検討した。その結果, FA誤差はBPよりも低次元の部分空間に制約され, パラメータ空間の探索が制限されることがわかった。本研究は,FAの有効次元性を高めるための2つのメカニズムとして,体重更新を矯正するオプティマイザであるMuonと,活性化直交を促進する隠蔽活性正規化について検討した。例えば、CIFAR100ではResnet-18で精度が9ポイント向上している。本研究は,低次元勾配力学をFAスケーリングの鍵となる障害として認識し,高次元更新幾何の導入がバックプロパゲーションの代替案のスケーリングへの有望な経路であることを示唆する。

関連論文リスト

BA-T: An Iterative Transformer for Two-View Bundle Adjustment [53.16990349592508]
暗黙のトークン空間における繰り返し可能なレイヤとして,BAスタイルの構造化更新を実装した反復変換器であるBA-Tを提案する。実験により、BA-Tは反復間におけるポーズと再構成の精度を徐々に改善することが示された。 BA-Tは、奥行き重心に対するコンパクトで効率的で構造的な代替手段を提供し、軽量アーキテクチャ内で正確な3D再構成を可能にする。
論文参考訳（メタデータ） (2026-06-02T07:51:14Z)
Power Reinforcement Post-Training of Text-to-Image Models with Super-Linear Advantage Shaping [66.25536973294726]
テキスト・トゥ・イメージ(T2I)モデルのポストトレーニング手法はハッキングに報いる傾向がある。 SLAS(Super-Linear Advantage Shaping)は、地方政策の分野を再考する。 SLASは、DanceGRPOベースラインを複数のバックボーンとベンチマークで一貫して上回っている。
論文参考訳（メタデータ） (2026-05-11T17:59:25Z)
TopoCurate:Modeling Interaction Topology for Tool-Use Agent Training [53.93696896939915]
訓練用ツール使用エージェントは一般的に、パスレート選択されたタスクに対して、軌道変更の成功と強化学習(RL)に依存している。 TopoCurateは,同一タスクから多段階的なロールアウトを統一的な意味的商トポロジに投影する対話型フレームワークである。 TopoCurateは最先端のベースラインに対して4.2%(SFT)と6.9%(RL)という一貫したゲインを達成している。
論文参考訳（メタデータ） (2026-03-02T10:38:54Z)
Feedback Alignment Meets Low-Rank Manifolds: A Structured Recipe for Local Learning [7.034739490820967]
バックプロパゲーション(BP)を用いたディープニューラルネットワーク(DNN)のトレーニングは、最先端の精度を実現するが、大域的なエラー伝搬と完全なパラメータ化が必要である。ダイレクトフィードバックアライメント(DFA)は、メモリ要件の低いローカルで並列化可能な更新を可能にする。低ランク多様体上で直接動作する構造化局所学習フレームワークを提案する。
論文参考訳（メタデータ） (2025-10-29T15:03:46Z)
Weight Spectra Induced Efficient Model Adaptation [54.8615621415845]
微調整された大規模な基礎モデルは、計算コストを禁ずる。微調整が最上位特異値を大きく増幅する一方で,残りはほとんど無傷であることを示す。本稿では,トップ特異方向の学習可能な再スケーリングを利用する新しい手法を提案する。
論文参考訳（メタデータ） (2025-05-29T05:03:29Z)
Deep Learning without Weight Symmetry [2.3462002656701966]
ニューラルネットワークをトレーニングするための基礎的なアルゴリズムであるバックプロパゲーションは、現代のディープラーニングにおいて優位である。バックプロパゲーションは、クレジットを割り当てる勾配信号を正確に伝播するためにフィードフォワードとフィードバックウェイトの間の正確な対称性に依存する。プロダクトフィードバックアライメント (Product Feedback Alignment, PFA) アルゴリズムを導入し, 脳内の長年にわたる信用代入の問題を解決する。
論文参考訳（メタデータ） (2024-05-31T03:11:19Z)
Counterbalancing Teacher: Regularizing Batch Normalized Models for Robustness [15.395021925719817]
バッチ正規化(BN)は、より精度の高い収束を加速するディープニューラルネットワークのトレーニング技術である。 BNは、トレーニング(ドメイン内)データに非常に依存する低分散機能に依存してモデルにインセンティブを与えることを示す。本稿では,学生ネットワークの頑健な表現の学習を強制するために,反バランス教師(CT)を提案する。
論文参考訳（メタデータ） (2022-07-04T16:16:24Z)
Align, then memorise: the dynamics of learning with feedback alignment [12.587037358391418]
直接フィードバックアライメント(DFA)は、ディープニューラルネットワークのトレーニングのためのユビキタスバックプロパゲーションアルゴリズムの効率的な代替手段である。 DFAはTransformersのような最先端モデルのトレーニングに成功したが、畳み込みネットワークのトレーニングには失敗している。本稿では,DFAの成功に関する理論を提案する。
論文参考訳（メタデータ） (2020-11-24T22:21:27Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)
Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing its Gradient Estimator Bias [65.13042449121411]
実際には、EPによって提供される勾配推定によるネットワークのトレーニングは、MNISTよりも難しい視覚タスクにスケールしない。有限ヌード法に固有のEPの勾配推定のバイアスがこの現象の原因であることを示す。これらの手法を適用し、非対称な前方および後方接続を持つアーキテクチャをトレーニングし、13.2%のテストエラーを発生させる。
論文参考訳（メタデータ） (2020-06-06T09:36:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。