論文の概要: Cumulative-Goodness Free-Riding in Forward-Forward Networks: Real, Repairable, but Not Accuracy-Dominant

• arxiv url: http://arxiv.org/abs/2605.06240v1
• Date: Thu, 07 May 2026 13:24:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.842759
• Title: Cumulative-Goodness Free-Riding in Forward-Forward Networks: Real, Repairable, but Not Accuracy-Dominant
• Title（参考訳）: 前向きネットワークにおける累積ゴドネスフリーライディング:現実的, 修復可能, 正確性に乏しい
• Authors: Amirhossein Yousefiramandi,
• Abstract要約: フォワード・フォワード(FF)トレーニングでは、各レイヤが局所的な善良さの基準から学ぶことができる。 累積・良さのバリエーションでは、後続のレイヤは、以前のレイヤがすでに部分的に分離したタスクを継承することができる。 我々はこの現象を層フリーライディングとして定式化する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Forward-Forward (FF) training allows each layer to learn from a local goodness criterion. In cumulative-goodness variants, however, later layers can inherit a task that earlier layers have already partially separated. We formalize this phenomenon as layer free-riding: under the softplus FF criterion, the class-discrimination gradient reaching block $d$ decays exponentially with the positive margin accumulated by preceding blocks. We then study three local remedies -- per-block, hardness-gated, and depth-scaled -- that recover current-layer separation measures without relying on backpropagated gradients. On CIFAR-10 and CIFAR-100, these remedies dramatically improve layer-separation statistics, with $4\times$--$45\times$ gains in deeper layers, while changing accuracy by less than one percentage point for non-degenerate training procedures. Tiny ImageNet provides a tougher cross-dataset check for our selected block-wise configuration and reveals the same qualitative gap between layer-health diagnostics and final accuracy. Calibration experiments further show that architecture and augmentation choices have a larger effect on final accuracy than the training-rule modifications studied here. Cumulative free-riding is therefore a real and repairable optimization pathology. Nonetheless, for the FF training rules, architectures, and datasets we study, it is not the dominant factor limiting achievable accuracy.
• Abstract（参考訳）: フォワード・フォワード(FF)トレーニングでは、各レイヤが局所的な善良さの基準から学ぶことができる。 しかし累積的・良さのバリエーションでは、後続のレイヤは、以前のレイヤがすでに部分的に分離したタスクを継承することができる。 我々はこの現象を層フリーライディングとして定式化する: ソフトプラスFF基準の下では、クラス判別勾配がブロック$d$崩壊に指数関数的に到達し、前のブロックで蓄積された正のマージンが指数関数的に減少する。 次に、バックプロパゲート勾配に頼ることなく、電流層分離対策を回復する3つの局所的対策(ブロックごと、硬度、深さスケール)について検討する。 CIFAR-10とCIFAR-100では、これらの治療法は階層分離統計を劇的に改善し、より深い層では4/times$-45\times$ゲインを、非退化トレーニング手順では1ポイント未満の精度で変更した。 Tiny ImageNetは、選択したブロックワイズ構成に対するより厳しいクロスデータセットチェックを提供し、レイヤーヘルス診断と最終的な精度の質的なギャップを明らかにします。 校正実験は、アーキテクチャと拡張の選択が、ここで研究されたトレーニングルールの修正よりも最終的な精度により大きな影響を及ぼすことを示した。 したがって、累積フリーライディングは真の、そして修復可能な最適化パスロジーである。 それでも、私たちが研究しているFFトレーニングルール、アーキテクチャ、データセットは、達成可能な精度を制限する主要な要因ではありません。

関連論文リスト

• Enhancing Gradient Inversion Attacks in Federated Learning via Hierarchical Feature Optimization [56.95448807869383]
  フェデレートラーニング(FL)は、プライバシを保存する分散機械学習の魅力的なパラダイムとして登場した。 近年の研究では、FLシステムで交換される勾配もプライバシー漏洩に弱いことが報告されている。 我々は textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD) を提案する。
  論文  参考訳（メタデータ） (2026-04-01T14:32:15Z)
• OrthoGrad Improves Neural Calibration [0.0]
  $perp$Gradは、過信に対処するために降下方向を制約する。 $perp$Gradは、最適化のための幾何学的な修正である。
  論文  参考訳（メタデータ） (2025-06-04T22:12:46Z)
• Determining Layer-wise Sparsity for Large Language Models Through a Theoretical Perspective [55.90119819642064]
  本稿では,大規模言語モデル (LLM) の階層的疎度率を理論的観点から決定する上での課題に対処する。 これは、スペーサー化プロセス全体での再構成エラーの累積効果を指す。 この問題を緩和するレイヤワイド・スパシティ・アロケーションに対する、シンプルで効果的なアプローチを導出します。
  論文  参考訳（メタデータ） (2025-02-20T17:51:10Z)
• PALM: Pushing Adaptive Learning Rate Mechanisms for Continual Test-Time Adaptation [6.181548939188321]
  動的環境における実世界の視覚モデルは、領域分布の急激なシフトに直面し、認識性能が低下する。 本研究では,これらの変化領域に対して事前学習した音源識別モデルを調整するための連続テスト時間適応(CTTA)を提案する。 我々は, CIFAR-10C, CIFAR-100C, ImageNet-Cで画像分類実験を行い, 従来の手法に比べて優れた有効性を示した。
  論文  参考訳（メタデータ） (2024-03-15T19:35:10Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Test-time Batch Statistics Calibration for Covariate Shift [66.7044675981449]
  我々は,推論中に深層モデルを新しい環境に適応させることを提案する。 バッチ統計の校正に$alpha$-BNの一般的な定式化を提案する。 また、統合テスト時間適応フレームワークCoreを形成するための新しい損失関数も提示する。
  論文  参考訳（メタデータ） (2021-10-06T08:45:03Z)
• Semantic Perturbations with Normalizing Flows for Improved Generalization [62.998818375912506]
  我々は、非教師付きデータ拡張を定義するために、潜在空間における摂動が利用できることを示す。 トレーニングを通して分類器に適応する潜伏性対向性摂動が最も効果的であることが判明した。
  論文  参考訳（メタデータ） (2021-08-18T03:20:00Z)
• Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels [92.98756432746482]
  我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。 勾配推定の品質はリスク最小化においてより重要であることを示す。 本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-05T04:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。