論文の概要: Covariance-Aware Goodness for Scalable Forward-Forward Learning

• arxiv url: http://arxiv.org/abs/2605.04346v1
• Date: Tue, 05 May 2026 23:08:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-07 18:41:07.574079
• Title: Covariance-Aware Goodness for Scalable Forward-Forward Learning
• Title（参考訳）: スケーラブルな前向き学習のための共分散を考慮したグッドネス
• Authors: Xiaoyi Jiang, Bashir M. Al-Hashimi, Kai Xu,
• Abstract要約: 畳み込み設定では、Forward-Forwardメソッドは複雑なベンチマークのバックプロパゲーションが著しく低い。 3つの主要なコンポーネントを中心にしたフレームワークを提案する。 BPフリーモデルはImageNet-100で73.01%、Tiny-ImageNetで50.30%を達成した。
• 参考スコア（独自算出の注目度）: 8.12004710498018
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Forward-Forward algorithm eliminates global gradient flow and full network activations storage. However, in convolutional settings, existing BP-free FF methods significantly under-perform backpropagation on complex benchmarks such as ImageNet-100 and Tiny-ImageNet. We identify this gap as a structural bottleneck in goodness extraction: standard sum-of-squares formulation collapses feature volumes into channel-wise activation energies which omits critical second-order dependencies. To address this, we propose a framework centered on three key components. First, Bi-axis Covariance Goodness(BiCovG) explicitly augments the standard goodness function with structured second-order information along two axes: cross-channel projections that model inter-feature covariance, and nested multi-scale aggregation that encodes spatial correlation statistics. This provides a tractable approximation to covariance-aware goodness without the prohibitive O(C^2) complexity of explicit matrix estimation. Second, a lightweight Logistic Fusion module aggregates layer-wise predictions, amplifying the contribution of deeper representations. Third, the Feature Alignment Layer(FAL) introduces a zero-initialized correction at block boundaries to mitigate representation misalignment in deep locally trained networks. By introducing these three components, we effectively double the depth of viable Forward-Forward learning, extending robust layer utilization from shallow baselines to 16 layer architectures like VGG-16. The resulting BP-free model achieves 73.01% on ImageNet-100 and 50.30% on Tiny-ImageNet. As a practical extension, Hybrid Goodness Blocks control the scope of gradient propagation via configurable block sizes, further narrowing the ImageNet-100 gap to 3.6% and matching BP on Tiny-ImageNet, while still reducing peak memory by approximately 50% relative to BP.
• Abstract（参考訳）: Forward-Forwardアルゴリズムは、グローバルな勾配フローと完全なネットワークアクティベーションストレージを除去する。 しかし、畳み込み設定では、既存のBPフリーFFメソッドはImageNet-100やTiny-ImageNetのような複雑なベンチマークにおいて、バックプロパゲーションが著しく低い。 我々は、このギャップを良さ抽出における構造的ボトルネックとみなす: 標準的な二乗和の定式化は、機能ボリュームをチャネルワイズ活性化エネルギーに分解し、重要な二階依存を省略する。 この問題に対処するため,我々は3つの主要なコンポーネントを中心にしたフレームワークを提案する。 第一に、Bi-axis Covariance Goodness(BiCovG)は、2つの軸に沿って構造化された2階情報を持つ標準良性関数を明示的に拡張する。 これにより、明示的行列推定のO(C^2)複雑さが禁じられることなく、共分散を意識した良性への抽出可能な近似が得られる。 第二に、軽量なロジスティックフュージョンモジュールは層単位での予測を集約し、より深い表現の寄与を増幅する。 第3に、FAL(Feature Alignment Layer)は、ブロック境界におけるゼロ初期化補正を導入し、深層部で訓練されたネットワークにおける表現の不整合を軽減する。 これら3つのコンポーネントを導入することで、有効な前方学習の深さを2倍にし、浅いベースラインからVGG-16のような16層アーキテクチャへの堅牢なレイヤ利用を拡大します。 BPフリーモデルはImageNet-100で73.01%、Tiny-ImageNetで50.30%を達成した。 実用的な拡張として、Hybrid Goodness Blocksは、設定可能なブロックサイズによって勾配伝搬の範囲を制御し、ImageNet-100ギャップを3.6%に縮小し、Tiny-ImageNet上でBPとマッチングする一方で、ピークメモリをBPと比較して約50%削減する。

関連論文リスト

• Semantically Stable Image Composition Analysisvia Saliency and Gradient Vector Flow Fusion [0.5249805590164902]
  VFCNetを導入し、勾配ベクトルフロー場に塩分とエッジ情報を融合する。 このモデルは、二重ストリームGVF表現を計算し、注意を通してそれらを統合し、マルチスケールフロー特徴を抽出する。 VFCNetはPICDベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-04-14T09:53:19Z)
• Hierarchical Awareness Adapters with Hybrid Pyramid Feature Fusion for Dense Depth Prediction [9.96771578356719]
  既存のアプローチは、深度マップを回帰するために、ますます複雑なネットワークアーキテクチャに依存している。 本論文では,Swin Transformerのバックボーン上に構築したマルチレベル条件付きランダムフィールド(CRF)モデルを提案する。 本稿では,Abs Relを0.088ドル(約7.4%)に,RMSEを0.316ドル(約5.4%)に削減し,ほぼ完全なしきい値精度を実現した。
  論文  参考訳（メタデータ） (2026-04-03T07:59:26Z)
• VeloxNet: Efficient Spatial Gating for Lightweight Embedded Image Classification [1.9903316442426757]
  本稿では,SqueezeNetのファイアモジュールを,組込み画像分類のためのゲート付き多層パーセプトロンブロックに置き換える軽量CNNアーキテクチャであるVeloxNetを紹介する。 VeloxNetを3つの航空画像データセット上で評価する。
  論文  参考訳（メタデータ） (2026-03-19T21:46:20Z)
• Fixed Anchors Are Not Enough: Dynamic Retrieval and Persistent Homology for Dataset Distillation [18.560389397187794]
  Retrieval and Topology Alignment framework for decoupled DDを紹介します。 まず、Dynamic Retrieval Connection (DRC)は、プリビルドされたプールから実際のパッチを選択する。 第2に、PTA(Persistent Topology Alignment)は、永続的ホモロジーによる合成を規則化する。
  論文  参考訳（メタデータ） (2026-02-27T16:21:07Z)
• Binarized Spectral Compressive Imaging [59.18636040850608]
  ハイパースペクトル画像(HSI)再構成のための既存のディープラーニングモデルは、優れた性能を実現するが、膨大なメモリと計算資源を持つ強力なハードウェアを必要とする。 本稿では,BiSRNet(Biarized Spectral-Redistribution Network)を提案する。 BiSRNetは,提案手法を用いてベースモデルのバイナライズを行う。
  論文  参考訳（メタデータ） (2023-05-17T15:36:08Z)
• SVNet: Where SO(3) Equivariance Meets Binarization on Point Cloud Representation [65.4396959244269]
  本論文は,3次元学習アーキテクチャを構築するための一般的なフレームワークを設計することによる課題に対処する。 提案手法はPointNetやDGCNNといった一般的なバックボーンに適用できる。 ModelNet40、ShapeNet、および実世界のデータセットであるScanObjectNNの実験では、この手法が効率、回転、精度の間の大きなトレードオフを達成することを示した。
  論文  参考訳（メタデータ） (2022-09-13T12:12:19Z)
• Deep Amended Gradient Descent for Efficient Spectral Reconstruction from Single RGB Images [42.26124628784883]
  本稿では、AGD-Netという、コンパクトで効率的でエンドツーエンドの学習ベースのフレームワークを提案する。 まず、古典的勾配降下アルゴリズムに基づいて問題を明示的に定式化する。 AGD-Netは、平均1.0dB以上のリコンストラクション品質を向上させることができる。
  論文  参考訳（メタデータ） (2021-08-12T05:54:09Z)
• Dynamic Convolution for 3D Point Cloud Instance Segmentation [146.7971476424351]
  動的畳み込みに基づく3次元点雲からのインスタンスセグメンテーション手法を提案する。 我々は、同じ意味圏と閉投票を持つ等質点を幾何学的遠近点に対して収集する。 提案手法は提案不要であり、代わりに各インスタンスの空間的および意味的特性に適応する畳み込みプロセスを利用する。
  論文  参考訳（メタデータ） (2021-07-18T09:05:16Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks [57.0502745301132]
  我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。 我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
  論文  参考訳（メタデータ） (2020-04-19T08:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。