論文の概要: One-Time Soft Alignment Enables Resilient Learning without Weight Transport

• arxiv url: http://arxiv.org/abs/2505.20892v1
• Date: Tue, 27 May 2025 08:34:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.519964
• Title: One-Time Soft Alignment Enables Resilient Learning without Weight Transport
• Title（参考訳）: ワンタイムソフトアライメントは、ウェイトトランスポートなしでレジリエントな学習を可能にする
• Authors: Jeonghwan Cheon, Jaehyuk Bae, Se-Bum Paik,
• Abstract要約: バックプロパゲーションは深層学習の基盤であるが、対称的な重量輸送に依存しているため、計算的に高価で生物学的には不可能である。 フィードバックアライメントは、固定されたランダムフィードバックを通じてエラー勾配を近似することで、有望な代替手段を提供する。 そこで本研究では,初期化時のフォワードとフィードバックの重み付けを1回ソフトアライメントすることで,深層ネットワークがバックプロパゲーションに匹敵する性能を実現できることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Backpropagation is the cornerstone of deep learning, but its reliance on symmetric weight transport and global synchronization makes it computationally expensive and biologically implausible. Feedback alignment offers a promising alternative by approximating error gradients through fixed random feedback, thereby avoiding symmetric weight transport. However, this approach often struggles with poor learning performance and instability, especially in deep networks. Here, we show that a one-time soft alignment between forward and feedback weights at initialization enables deep networks to achieve performance comparable to backpropagation, without requiring weight transport during learning. This simple initialization condition guides stable error minimization in the loss landscape, improving network trainability. Spectral analyses further reveal that initial alignment promotes smoother gradient flow and convergence to flatter minima, resulting in better generalization and robustness. Notably, we also find that allowing moderate deviations from exact weight symmetry can improve adversarial robustness compared to standard backpropagation. These findings demonstrate that a simple initialization strategy can enable effective learning in deep networks in a biologically plausible and resource-efficient manner.
• Abstract（参考訳）: バックプロパゲーションは深層学習の基盤となっているが、対称的な重量輸送と大域的同期に依存しているため、計算的に高価で生物学的には不可能である。 フィードバックアライメントは、固定されたランダムフィードバックを通じて誤差勾配を近似することで、対称的な重量輸送を避けることで、有望な代替手段を提供する。 しかし、このアプローチは、特にディープネットワークにおいて、学習パフォーマンスと不安定性に苦しむことが多い。 そこで本研究では,初期化時の前進重みとフィードバック重みとの1回のソフトアライメントにより,学習時の重み移動を必要とせずに,奥行きネットワークがバックプロパゲーションに匹敵する性能を実現できることを示す。 この単純な初期化条件は、損失ランドスケープにおける安定したエラー最小化を導出し、ネットワークのトレーニング性を向上させる。 スペクトル解析により、初期アライメントはよりスムーズな勾配流とより平坦なミニマへの収束を促進し、より一般化とロバスト性をもたらすことが明らかになった。 特に、正確な重み対称性からの適度な偏差を許容することは、標準的なバックプロパゲーションよりも対向ロバスト性を向上させることができる。 これらの結果から, 生物学的に妥当かつ資源効率のよい深層ネットワークにおける効果的な学習を, 簡単な初期化戦略で実現できることが示唆された。

関連論文リスト

• Deep Learning without Weight Symmetry [1.3812010983144802]
  バックプロパゲーション(BP)は、ニューラルネットワークをトレーニングするための基礎アルゴリズムである。 BPはしばしば生物学的に不溶であると考えられている。 ここでは、製品フィードバックアライメント(PFA)アルゴリズムを紹介する。
  論文  参考訳（メタデータ） (2024-05-31T03:11:19Z)
• Sharpness-Aware Training for Free [163.1248341911413]
  シャープネスを意識した最小化(SAM)は、損失ランドスケープの幾何学を反映したシャープネス尺度の最小化が一般化誤差を著しく減少させることを示した。 シャープネス・アウェア・トレーニング・フリー(SAF)は、シャープランドスケープをベース上でほぼゼロの計算コストで軽減する。 SAFは、改善された能力で最小限の平らな収束を保証する。
  論文  参考訳（メタデータ） (2022-05-27T16:32:43Z)
• On the Explicit Role of Initialization on the Convergence and Implicit Bias of Overparametrized Linear Networks [1.0323063834827415]
  勾配流下で訓練された単層線形ネットワークの新たな解析法を提案する。 正方形損失はその最適値に指数関数的に収束することを示す。 我々は、トレーニングされたネットワークとmin-norm解の間の距離に基づいて、新しい非漸近上界を導出する。
  論文  参考訳（メタデータ） (2021-05-13T15:13:51Z)
• Optimizing Mode Connectivity via Neuron Alignment [84.26606622400423]
  経験的に、損失関数の局所ミニマは、損失がほぼ一定であるようなモデル空間の学習曲線で接続することができる。 本稿では,ネットワークの重み変化を考慮し,対称性がランドスケープ・コネクティビティに与える影響を明らかにするための,より一般的な枠組みを提案する。
  論文  参考訳（メタデータ） (2020-09-05T02:25:23Z)
• Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
  重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。 そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:55:28Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• Two Routes to Scalable Credit Assignment without Weight Symmetry [25.485770386464186]
  本稿では,最近提案された局所学習規則について考察する。 この局所ルールとバックプロパゲーションの間には,モデル深度の増加に伴う性能と安定性のギャップがある。 次に, 即時重量輸送の必要性を緩和する非局所学習規則を, 生物学的に証明可能な「重み推定」プロセスに導入する。
  論文  参考訳（メタデータ） (2020-02-28T18:39:16Z)
• Distance-Based Regularisation of Deep Networks for Fine-Tuning [116.71288796019809]
  我々は,仮説クラスを,初期訓練前の重みを中心にした小さな球面に制約するアルゴリズムを開発した。 実験的な評価は、我々のアルゴリズムがうまく機能していることを示し、理論的な結果を裏付けるものである。
  論文  参考訳（メタデータ） (2020-02-19T16:00:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。