論文の概要: Adaptive Multi-Scale Goodness Aggregation for Forward-Forward Learning

• arxiv url: http://arxiv.org/abs/2605.18804v1
• Date: Mon, 11 May 2026 15:15:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 21:37:32.343393
• Title: Adaptive Multi-Scale Goodness Aggregation for Forward-Forward Learning
• Title（参考訳）: 前向き学習のための適応型マルチスケールグッドネスアグリゲーション
• Authors: Salar Beigzad, Vansh Verma,
• Abstract要約: 本稿では、局所学習ニューラルネットワークにおける安定性、堅牢性、一般化を改善するために、フォワードフォワード(FF)アルゴリズムの新たな拡張を提案する。 AMSGAは、ローカル、中間、グローバルな表現にまたがるマルチスケールの良性集約を導入することで、オリジナルのFFフレームワークのいくつかの制限に対処する。 この結果から, 局所学習手法は, 良性評価とトレーニングのダイナミクスを慎重に設計することで, より競争力のあるものとなる可能性が示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose Adaptive Multi-Scale Goodness Aggregation (AMSGA), a novel extension of the Forward-Forward (FF) algorithm designed to improve stability, robustness, and generalization in local-learning neural networks. AMSGA addresses several limitations of the original FF framework by introducing multi-scale goodness aggregation across local, intermediate, and global representations; adaptive curriculum-guided hard negative mining; layer-dependent adaptive thresholds; and a warm-up cosine annealing learning-rate schedule for improved optimization stability. Together, these modifications strengthen the FF paradigm while preserving its biologically plausible and memory-efficient properties. Experiments on MNIST and Fashion-MNIST demonstrate consistent performance improvements over the baseline FF algorithm, achieving up to +1.45% improvement on MNIST and +1.50% improvement on Fashion-MNIST without significant computational overhead. Our results suggest that local learning methods can become substantially more competitive when goodness estimation and training dynamics are carefully designed.
• Abstract（参考訳）: 本稿では, 局所学習ニューラルネットワークにおける安定性, 堅牢性, 一般化性の向上を目的としたフォワードフォワード(FF)アルゴリズムの新たな拡張である, 適応型マルチスケールグッドネスアグリゲーション(AMSGA)を提案する。 AMSGAは、局所的、中間的、グローバルな表現にまたがるマルチスケールの良性集約、適応的カリキュラム誘導型ハードネガティブマイニング、層依存型適応しきい値、最適化安定性を改善するためのウォームアップコサインアニーリング学習率スケジュールを導入することで、オリジナルのFFフレームワークのいくつかの制限に対処する。 これらの修正により、FFパラダイムは強化され、生物学的に可塑性でメモリ効率のよい性質が保たれる。 MNISTとFashion-MNISTの実験は、ベースラインFFアルゴリズムよりも一貫した性能向上を示し、MNISTは最大で1.45%、Fashion-MNISTは+1.50%改善した。 この結果から, 局所学習手法は, 良性評価とトレーニングのダイナミクスを慎重に設計することで, より競争力のあるものとなる可能性が示唆された。

関連論文リスト

• FISMO: Fisher-Structured Momentum-Orthogonalized Optimizer [30.184978506988767]
  我々は、フィッシャー情報幾何を通して異方性ニューロトロピックな幾何情報を含むFISMOを紹介する。 FISMOは、確立されたベースラインよりも優れた効率と最終性能を達成する。
  論文  参考訳（メタデータ） (2026-01-29T14:05:04Z)
• WSM: Decay-Free Learning Rate Schedule via Checkpoint Merging for LLM Pre-training [64.0932926819307]
  本稿では,学習速度減衰とモデルマージの正式な関係を確立するフレームワークであるWarmup-Stable and Merge(WSM)を紹介する。 WSMは様々な崩壊戦略をエミュレートするための統一された理論基盤を提供する。 私たちのフレームワークは、複数のベンチマークで広く採用されているWarmup-Stable-Decay(WSD)アプローチよりも一貫して優れています。
  論文  参考訳（メタデータ） (2025-07-23T16:02:06Z)
• Hindsight-Guided Momentum (HGM) Optimizer: An Approach to Adaptive Learning Rate [0.0]
  直近のアップデートに基づいて学習率を適応的にスケールする一階最適化アルゴリズムであるHindsight-Guided Momentumを導入する。 HGMは、コヒーレントな方向と矛盾する方向の学習速度を加速する後向きのメカニズムによってこの問題に対処する。
  論文  参考訳（メタデータ） (2025-06-22T08:02:19Z)
• Gradient Flow Matching for Learning Update Dynamics in Neural Network Training [3.782392436834913]
  Gradient Flow Matching(GFM)は、ニューラルネットワークトレーニングを学習対応ベクトル場によって管理される動的システムとして扱う、連続的な時間モデリングフレームワークである。 条件付きフローマッチングを利用することで、GFMはSGD、Adam、RMSpropの基本的な更新ルールをキャプチャし、ウェイトトラジェクトリのスムーズな外挿を可能にする。
  論文  参考訳（メタデータ） (2025-05-26T17:03:22Z)
• Clustering-Based Evolutionary Federated Multiobjective Optimization and Learning [0.0]
  フェデレーション学習は、データのプライバシを保持しながら、分散モデルトレーニングを可能にする。 通信効率、モデルパフォーマンス、プライバシ保護のバランスをとる上で、課題に直面します。 我々はクラスタリングに基づく進化アルゴリズムであるFedMOEACを提案する。
  論文  参考訳（メタデータ） (2025-04-29T01:31:23Z)
• Gradient Correction in Federated Learning with Adaptive Optimization [19.93709245766609]
  クライアント-ドリフト補償を適応最適化に組み込む最初のアルゴリズムである tt FAdamGC を提案する。 tt FAdamGCは、様々なレベルのデータの通信とコストにおいて、既存の手法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2025-02-04T21:21:30Z)
• FADAS: Towards Federated Adaptive Asynchronous Optimization [56.09666452175333]
  フェデレートラーニング(FL)は、プライバシ保護機械学習のトレーニングパラダイムとして広く採用されている。 本稿では、非同期更新を適応的フェデレーション最適化と証明可能な保証に組み込む新しい手法であるFADASについて紹介する。 提案アルゴリズムの収束率を厳格に確立し,FADASが他の非同期FLベースラインよりも優れていることを示す実験結果を得た。
  論文  参考訳（メタデータ） (2024-07-25T20:02:57Z)
• FedCAda: Adaptive Client-Side Optimization for Accelerated and Stable Federated Learning [57.38427653043984]
  フェデレートラーニング(FL)は、分散クライアント間の機械学習モデルの協調トレーニングにおいて、顕著なアプローチとして登場した。 我々は,この課題に対処するために設計された,革新的なクライアント適応アルゴリズムであるFedCAdaを紹介する。 我々はFedCAdaが適応性、収束性、安定性、全体的な性能の点で最先端の手法より優れていることを実証する。
  論文  参考訳（メタデータ） (2024-05-20T06:12:33Z)
• Efficient Federated Learning via Local Adaptive Amended Optimizer with Linear Speedup [90.26270347459915]
  そこで我々は,グローバル・アダプティカル・アダプティカル・アダプティカル・アダプティカル・アダプティカル・アルゴリズムを提案する。 textitLADAは通信ラウンドを大幅に削減し、複数のベースラインよりも高い精度を実現する。
  論文  参考訳（メタデータ） (2023-07-30T14:53:21Z)
• Accelerated Federated Learning with Decoupled Adaptive Optimization [53.230515878096426]
  フェデレートドラーニング(FL)フレームワークは、クライアント上のトレーニングデータのプライバシを維持しながら、共有モデルを協調的に学習することを可能にする。 近年,SGDM,Adam,AdaGradなどの集中型適応最適化手法をフェデレートした設定に一般化するためのイテレーションが多数実施されている。 本研究は、常微分方程式(ODE)のダイナミクスの観点から、FLの新しい適応最適化手法を開発することを目的としている。
  論文  参考訳（メタデータ） (2022-07-14T22:46:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。