論文の概要: Synthetic Benchmarks Overstate Forward-Forward Scaling: Real-Data Limits of Layer-Local Training

• arxiv url: http://arxiv.org/abs/2606.06539v1
• Date: Thu, 04 Jun 2026 04:01:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.357836
• Title: Synthetic Benchmarks Overstate Forward-Forward Scaling: Real-Data Limits of Layer-Local Training
• Title（参考訳）: Synthetic Benchmarks Overstate Forward-Forward Scaling: Real-Data Limits of Layer-Local Training
• Authors: Yucheng Chen,
• Abstract要約: フォワードフォワード(FF)学習は、バックプロパゲーションを厳密にレイヤローカルな良さ更新に置き換える。 最近のFF-CNNの研究は、32x32ベンチマークでのBPとのギャップを狭めた。 DTG-FFは,9つの実データベンチマークにまたがって,アートのFFファミリー状態を設定する手段である。
• 参考スコア（独自算出の注目度）: 1.6071884154693146
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Forward-Forward (FF) learning [Hinton, 2022] replaces backpropagation with strictly layer-local goodness updates. Recent FF-CNN work has narrowed the gap to BP on 32x32 benchmarks, raising the question of whether layer-local training is becoming a viable alternative at realistic scale. To probe this rigorously, we develop DTG-FF -- dynamic temperature goodness, decoupled normalization, and multi-layer fusion -- as an instrument that sets FF-family state of the art across nine real-data benchmarks (91.8% CIFAR-10 and the first FF baseline at ImageNet-100 224x224), and use it to audit how far layer-local training actually scales. (1) Real-data scaling. Under identical recipe and backbone, an architecture-matched BP-DeepSup baseline beats DTG-FF by 2.40/5.93 pp on CIFAR-10/CIFAR-100, and the gap widens with class count. At 224x224 the same instrument reaches only 49.4% -- the first FF baseline at this scale, versus typical BP above 75% [Tian et al., 2020] -- exposing a real-data ceiling invisible at 32x32. (2) Synthetic vs. real K-conflict. DTG-FF increasingly outperforms BP as class count K grows on synthetic teacher-student tasks, yet on real images the FF-BP gap reverses sign and widens with K. A within-dataset CIFAR-100 coarse vs. fine probe isolates label-hierarchy from image distribution: synthetic K-sweeps confound output dimensionality with fine-grained discrimination difficulty and thereby overstate FF transferability. (3) Systems audit. FF can be implemented without storing depth-wide activations, but on commodity 8 GB hardware standard BP+gradient-accumulation reaches 4.18 GB / 157 imgs/s versus DTG-FF's 7.90 GB / 138 imgs/s, so a memory-based justification for FF at this scale is not supported under fair baselines.
• Abstract（参考訳）: Forward-Forward (FF) Learning [Hinton, 2022]は、バックプロパゲーションを厳密にレイヤローカルな良さの更新に置き換える。 最近のFF-CNNの研究は、32x32ベンチマークにおけるBPとのギャップを狭め、レイヤローカルトレーニングが現実的なスケールで実行可能な代替手段になりつつあるかどうかという疑問を提起している。 これを厳密に調査するために、9つの実データベンチマーク(91.8% CIFAR-10とImageNet-100 224x224の最初のFFベースライン)でFFファミリー状態を設定する機器としてDTG-FF -- 動的温度良さ、疎結合の正規化、多層融合 -- を開発し、レイヤーローカルトレーニングが実際にどれくらいスケールするかを評価する。 1)実データスケーリング。 同じレシピとバックボーンの下で、BP-DeepSupベースラインがCIFAR-10/CIFAR-100でDTG-FFを2.40/5.93ppで上回り、ギャップはクラス数で拡大した。 224x224では、このスケールで最初のFFベースラインである49.4%に達し、通常のBPは75%以上(Tian et al , 2020)、実際のデータ天井は32x32である。 2) 合成対実K-衝突 DTG-FFは, クラス数Kが合成教師学生タスクで増大するにつれて, BPよりも向上するが, 実画像ではFF-BPギャップはKと逆転し, 内部データセットCIFAR-100粗さと微細プローブとの相関関係は, 画像分布からラベル階層を分離する。 (3)システム監査 FFはディープワイドなアクティベーションを格納せずに実装できるが、コモディティ8GBのハードウェア標準BP+グラディエント累積は4.18 GB / 157 imgs/s、DTG-FFの7.90 GB / 138 imgs/sである。

関連論文リスト

• Covariance-Aware Goodness for Scalable Forward-Forward Learning [8.12004710498018]
  畳み込み設定では、Forward-Forwardメソッドは複雑なベンチマークのバックプロパゲーションが著しく低い。 3つの主要なコンポーネントを中心にしたフレームワークを提案する。 BPフリーモデルはImageNet-100で73.01%、Tiny-ImageNetで50.30%を達成した。
  論文  参考訳（メタデータ） (2026-05-05T23:08:00Z)
• FedHENet: A Frugal Federated Learning Framework for Heterogeneous Environments [40.69516929140388]
  フェデレートラーニング(FL)は、データを集中せずに協調的なトレーニングを可能にする。 ほとんどのFLアプローチは、高価で反復的なディープネットワーク最適化に依存している。 我々はFedHEONNフレームワークを画像分類に拡張するFedHENetを提案する。
  論文  参考訳（メタデータ） (2026-02-13T15:30:18Z)
• Chronicals: A High-Performance Framework for LLM Fine-Tuning with 3.51x Speedup over Unsloth [0.0]
  Unsloth上で3.5倍のスピードアップを実現したオープンソースのトレーニングフレームワークであるCentralsを紹介します。 オンラインのソフトマックスの正しさ、FlashAttention IO complexity O(N2 d2 M-1)、LoRA+学習速度勾配近似など、完全な数学的基礎を提供する。
  論文  参考訳（メタデータ） (2026-01-06T00:00:55Z)
• Adaptive Spatial Goodness Encoding: Advancing and Scaling Forward-Forward Learning Without Backpropagation [5.092009068303438]
  我々は、畳み込みニューラルネットワーク(CNN)に適した、新しいフォワードフォワード(FF)ベースのトレーニングフレームワークを提案する。 ASGEは、各層における空間的に認識された良さの反感をマップで計算し、レイヤ単位での監視を可能にする。 FFベースのトレーニングが最初に成功したのはImageNetデータセットで、Top-1とTop-5のアキュラシーは26.21%と47.49%である。
  論文  参考訳（メタデータ） (2025-09-15T19:38:32Z)
• How Learnable Grids Recover Fine Detail in Low Dimensions: A Neural Tangent Kernel Analysis of Multigrid Parametric Encodings [106.3726679697804]
  フーリエ特徴符号化(FFE)とマルチグリッドパラメトリック符号化(MPE)の2つの手法を比較した。 MPEは低次元マッピングの標準と見なされるが、MPEはそれらを上回り、高解像度で詳細な表現を学習することが多い。 我々は,MPEが学習可能な埋め込みではなく,グリッド構造を通じてネットワークの性能を向上させることを証明した。
  論文  参考訳（メタデータ） (2025-04-18T02:18:08Z)
• Not All Edges are Equally Robust: Evaluating the Robustness of Ranking-Based Federated Learning [49.68790647579509]
  Federated Ranking Learning (FRL) は最先端のFLフレームワークであり、通信効率と中毒攻撃に対するレジリエンスで際立っている。 Vulnerable Edge Manipulation (VEM) 攻撃という, FRLに対する新たな局所モデル中毒攻撃を導入する。 我々の攻撃は、全体的な53.23%の攻撃効果を達成し、既存の方法よりも3.7倍のインパクトを与える。
  論文  参考訳（メタデータ） (2025-03-12T00:38:14Z)
• UniFormer: Unifying Convolution and Self-attention for Visual Recognition [69.68907941116127]
  畳み込みニューラルネットワーク(CNN)とビジョントランスフォーマー(ViT)は、ここ数年で主要なフレームワークである。 コンボリューションと自己注意の利点を簡潔なトランスフォーマー形式にシームレスに統合する新しいUnified TransFormer(UniFormer)を提案する。 我々のUniFormerはImageNet-1K分類において86.3トップ1の精度を実現している。
  論文  参考訳（メタデータ） (2022-01-24T04:39:39Z)
• DeepCompress: Efficient Point Cloud Geometry Compression [1.808877001896346]
  本稿では,ポイントクラウド圧縮のためのより効率的なディープラーニングベースのエンコーダアーキテクチャを提案する。 CENIC(Efficient Neural Image Compression)から学習した活性化関数を組み込むことで,効率と性能が劇的に向上することを示す。 提案手法は,BjontegardデルタレートとPSNR値において,ベースラインアプローチよりも小さなマージンで優れていた。
  論文  参考訳（メタデータ） (2021-06-02T23:18:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。