論文の概要: The Price of Locality: Why Forward-Forward Underperforms Backpropagation?

• arxiv url: http://arxiv.org/abs/2609.33240v1
• Date: Sun, 27 Sep 2026 05:27:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 01:54:14.817216
• Title: The Price of Locality: Why Forward-Forward Underperforms Backpropagation?
• Title（参考訳）: ローカリティの価格:なぜフォワードフォワードがバックプロパゲーションに不利なのか?
• Abstract要約: フォワードフォワードアルゴリズム(FFA)は、バックプロパゲーションをレイヤワイドな局所的なコントラッシブな目的に置き換える。 本稿では、同時更新による最適化フロアと、局所更新機構によって駆動されるレイヤ表現の幾何学的崩壊という、2つの構造的障害モードを診断する。
• 参考スコア（独自算出の注目度）: 48.810148858960254
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Forward-Forward Algorithm (FFA) replaces backpropagation (BP) with layer-wise local contrastive objectives, eliminating the backward pass and the need to retain intermediate activations, yet suffers a persistent performance gap with BP that worsens with depth. This paper diagnoses two structural failure modes: an optimization floor arising from concurrent local updates; and a geometric collapse of layer representations driven by the local update mechanism. On the optimization side, we prove that the FFA loss satisfies the Polyak--Lojasiewicz inequality at each layer; however, simultaneous layer updates induce inter-layer representation-distribution drift, so each layer optimizes against a moving input distribution and incurs an error floor. On the representational side, the pairwise similarity kernel of layer representations contracts exponentially toward rank one as depth increases, collapsing the diversity of per-layer error signals. This collapse bounds FFA's effective learning capacity, which measures the diversity of gradient information across layers, independently of depth, whereas BP's chain-rule signal preserves per-layer diversity, yielding a capacity that scales with depth.
• Abstract（参考訳）: フォワードフォワードアルゴリズム(FFA)は、バックプロパゲーション(BP)を階層的に局所的なコントラストの目的に置き換え、後方通過を排除し、中間的なアクティベーションを維持する必要があるが、奥行きによって悪化するBPとの持続的なパフォーマンスギャップを被る。 本稿では、同時更新による最適化フロアと、ローカル更新機構によって駆動されるレイヤ表現の幾何学的崩壊という、2つの構造的障害モードを診断する。 最適化面では、FFA損失は各層におけるポリアック-ロジャシエヴィチの不等式を満たすことが証明されるが、同時層更新は層間表現分布のドリフトを誘導し、各層は移動する入力分布に対して最適化し、エラーフロアを発生させる。 表現側では、層表現の対の類似性カーネルは、深さが増加するにつれてランク1に対して指数関数的に収縮し、層間エラー信号の多様性を損なう。 この崩壊は、層間の勾配情報の多様性を深さから独立して測定するFFAの効果的な学習能力と、BPのチェーンルール信号が層ごとの多様性を保ち、深さとともにスケールする能力とを結び付ける。

関連論文リスト

• Enhancing Gradient Inversion Attacks in Federated Learning via Hierarchical Feature Optimization [56.95448807869383]
  フェデレートラーニング(FL)は、プライバシを保存する分散機械学習の魅力的なパラダイムとして登場した。 近年の研究では、FLシステムで交換される勾配もプライバシー漏洩に弱いことが報告されている。 我々は textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD) を提案する。
  論文  参考訳（メタデータ） (2026-04-01T14:32:15Z)
• SENTINEL: Stagewise Integrity Verification for Pipeline Parallel Decentralized Training [54.8494905524997]
  分散トレーニングは、信頼できない、地理的に分散したノードで実行される場合、重大なセキュリティリスクをもたらす。 重複のないパイプライン並列性(PP)トレーニングの検証機構であるSENTINELを提案する。 実験では、モデル収束と性能を維持しながら、最大176人の労働者を持つ信頼できない分散環境における最大4BパラメータLSMのトレーニングを成功させた。
  論文  参考訳（メタデータ） (2026-03-03T23:51:10Z)
• Stochastic Layer-wise Learning: Scalable and Efficient Alternative to Backpropagation [1.0285749562751982]
  バックプロパゲーションは現代のディープラーニングを支えるものだが、グローバル同期への依存はスケーラビリティを制限し、高いメモリコストを発生させる。 対照的に、完全に局所的な学習ルールはより効率的であるが、コヒーレントなグローバルラーニングに必要な層間調整を維持するのに苦労することが多い。 本稿では,グローバルな目標を協調的なレイヤローカル更新に分解するレイヤワイズ学習アルゴリズムであるレイヤワイズ学習(SLL)を紹介する。
  論文  参考訳（メタデータ） (2025-05-08T12:32:29Z)
• Low-Rank Matrix Approximation for Neural Network Compression [0.0]
  本稿では,重み行列の圧縮に最適なランクを近似する適応型特異値分解法を提案する。 ARSVDは、その特異値のエントロピー分布を通じて、層ごとのランクの適応的な選択を使用する。 提案手法は, 効率よく, 層圧縮が可能であり, 空間, 時間的複雑さを低減して性能を向上する。
  論文  参考訳（メタデータ） (2025-04-25T06:04:01Z)
• GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
  Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。 近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
  論文  参考訳（メタデータ） (2023-08-09T04:34:21Z)
• WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
  ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。 我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。 本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
  論文  参考訳（メタデータ） (2023-01-03T20:57:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。