Fugu-MT 論文翻訳(概要): FFR: Forward-Forward Learning for Regression

論文の概要: FFR: Forward-Forward Learning for Regression

arxiv url: http://arxiv.org/abs/2606.03927v1
Date: Tue, 02 Jun 2026 17:15:59 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-03 22:00:05.21167
Title: FFR: Forward-Forward Learning for Regression
Title（参考訳）: FFR:Forward-Forward Learning for Regression
Authors: Xinyang Liu, Xuanyu Liang, Shiqi Ding, Boyang Li, Zhiqiang Que, Jiayang Li, Guosheng Hu,
Abstract要約: 我々はFFR(Forward-Forward for Regression)を提案し、FFを現実世界のレグレッションに拡張する最初のフレームワークである。 FFRは,(1)距離認識下での分割されたニューロン群間の競合学習と対照的なペアを置き換え,(2)浅い層が粗い順序の識別を学習し,より深い層が微細な回帰に洗練される階層化はしごアーキテクチャ,という3つの重要なイノベーションを導入している。
参考スコア（独自算出の注目度）: 24.116997757752998
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The Forward-Forward (FF) algorithm offers a computationally efficient and biologically plausible alternative to backpropagation (BP) by training neural networks through purely local, layer-wise optimization. However, FF is inherently designed for classification via contrastive positive-negative sample pairs, and extending it to regression poses fundamental challenges: continuous target space lack natural "opposites" for contrastive learning, and the standard goodness function carries no information about target magnitude or ordering. We propose FFR (Forward-Forward for Regression), to our knowledge, the first framework to extend FF to real-world regression and demonstrate competitive performance across diverse real-world datasets. FFR introduces three key innovations: (1) an ordinal competitive goodness function that replaces contrastive pairs with competitive learning between partitioned neuron groups under distance-aware ordinal supervision; (2) a stratified ladder architecture where shallow layers learn coarse ordinal discrimination and deeper layers refine into fine-grained regression, with multi-scale feature aggregation for inter-layer collaboration; and (3) hierarchical prediction with uncertainty estimation, where multi-scale predictors jointly provide robust predictions and prediction confidence as a free-lunch. Extensive experimental results show FFR recovers on average 98.6% of BP's accuracy across five real-world regression benchmarks while reducing peak training memory to only 27% of BP's at depth 8 and 8% at depth 32, with per-iteration time around 72% of BP's, and substantially outperforms all BP-free competitors.
Abstract（参考訳）: Forward-Forward (FF)アルゴリズムは、純粋に局所的な層ワイド最適化を通じてニューラルネットワークをトレーニングすることで、バックプロパゲーション(BP)に代わる計算効率が高く生物学的に妥当な代替手段を提供する。しかし、FFは本質的には正負の正のサンプル対による分類のために設計されており、それを回帰に拡張することは基本的な課題をもたらす: 連続ターゲット空間は対照的な学習に自然な「オポポジット」を欠き、標準良性関数は目標の規模や順序に関する情報を持たない。我々はFFR(Forward-Forward for Regression)を提案し、FFを実世界のレグレッションに拡張し、さまざまな実世界のデータセット間で競合性能を示す最初のフレームワークである。 FFRは,(1)距離を意識した順序管理の下で,分割されたニューロン群間での競合学習と対照的なペアを置き換えた順序的競争的善意関数,(2)浅い層が粗い順序識別を学習し,深い層が微細な回帰に洗練される階層的はしごアーキテクチャ,(3)階層間協調のためのマルチスケール特徴集約,(3)不確実性推定を伴う階層的予測,(3)マルチスケール予測者が協調して堅牢な予測と予測信頼を提供する,という3つの重要なイノベーションを紹介した。大規模な実験の結果、FFRは5つの実世界の回帰ベンチマークの平均98.6%でBPの精度を回復し、ピークトレーニングメモリは深さ8のBPの27%、深さ32のBPの8%に減らした。

関連論文リスト

FedSQ: Optimized Weight Averaging via Fixed Gating [1.2058208023553034]
フェデレーション学習は、生データを共有することなく、組織間で協調的なトレーニングを可能にする。本稿では、DualCopyに基づくトランスファードニューラルフェデレーションであるFedSQ(Federated Structure-Quantitative Learning)を提案する。ゲーティングの固定は、学習を不均一な分割下での凝集を安定化するアフィン内部の精製に還元する。
論文参考訳（メタデータ） (2026-04-03T11:54:23Z)
REAL: Regression-Aware Reinforcement Learning for LLM-as-a-Judge [83.2858110368572]
回帰報酬を最適化するための原則的RLフレームワークである textbfREAL (underlineREgression-underlineAware Reinforcement underlineLThought) を提案する。我々は,REALがレグレッション対応SFTベースラインと標準RL法の両方を一貫して上回ることを示す。
論文参考訳（メタデータ） (2026-03-17T21:19:08Z)
DeFRiS: Silo-Cooperative IoT Applications Scheduling via Decentralized Federated Reinforcement Learning [62.347535250646196]
本稿では、ロバストでスケーラブルなシロコラボ型IoTアプリケーションスケジューリングのための分散フェデレーション強化学習フレームワークであるDeFRiSを提案する。 DeFRiSは、(i)異種サイロ間のシームレスな知識伝達を可能にするための候補資源スコアを利用したアクション空間非依存ポリシー、(ii)汎用アドバンテージ推定とクリッピングされたポリシー更新を組み合わせたサイロ最適化ローカル学習メカニズム、(iii)類似性認識の知識伝達と異常検出に勾配指紋を利用するDual-Track Non-IIDロバストな分散集約プロトコル、の3つのイノベーションを統合する。
論文参考訳（メタデータ） (2026-03-16T02:02:38Z)
Enhancing Continual Learning for Software Vulnerability Prediction: Addressing Catastrophic Forgetting via Hybrid-Confidence-Aware Selective Replay for Temporal LLM Fine-Tuning [43.24339861841546]
本稿では,CVE-linked データセット上でのデコーダ型言語モデル (phi/phi-2 with LoRA) の微調整について検討する。本研究では,ウィンドウオンリーおよび累積学習,リプレイベースライン,正規化ベースバリアントを含む8つの連続学習戦略を評価する。ハイブリッドCASRはベースラインと比較してウィンドウ当たりのトレーニング時間を約17%削減する一方、累積トレーニングは15.9倍の計算コストでF1をわずかに増加させる(0.661)。
論文参考訳（メタデータ） (2026-02-27T09:13:23Z)
Energy-Efficient Deep Learning Without Backpropagation: A Rigorous Evaluation of Forward-Only Algorithms [0.0]
分類精度において,Mono-Forwardアルゴリズムが最適に調整されたBPベースラインを一貫して上回っていることを示す。この優れた一般化は、エネルギー消費を最大41%削減し、トレーニングを最大34%高速化するなど、大幅な効率向上によって達成される。
論文参考訳（メタデータ） (2025-11-02T19:48:44Z)
Beyond Backpropagation: Exploring Innovative Algorithms for Energy-Efficient Deep Neural Network Training [0.0]
本稿では,BPフリートレーニング手法として,フォワードフォワード(FF),カスケードフォワード(CaFo),モノフォワード(MF)の3つを厳格に検討する。 MFはエネルギー消費を最大41%削減し、トレーニング時間を最大34%短縮する。
論文参考訳（メタデータ） (2025-09-23T14:27:44Z)
Adaptive Spatial Goodness Encoding: Advancing and Scaling Forward-Forward Learning Without Backpropagation [5.092009068303438]
我々は、畳み込みニューラルネットワーク(CNN)に適した、新しいフォワードフォワード(FF)ベースのトレーニングフレームワークを提案する。 ASGEは、各層における空間的に認識された良さの反感をマップで計算し、レイヤ単位での監視を可能にする。 FFベースのトレーニングが最初に成功したのはImageNetデータセットで、Top-1とTop-5のアキュラシーは26.21%と47.49%である。
論文参考訳（メタデータ） (2025-09-15T19:38:32Z)
Towards Interpretable Deep Local Learning with Successive Gradient Reconciliation [70.43845294145714]
グローバルバックプロパゲーション(BP)に対するニューラルネットワークトレーニングの信頼性の回復が、注目すべき研究トピックとして浮上している。本稿では,隣接モジュール間の勾配調整を連続的に調整する局所的学習戦略を提案する。提案手法はローカルBPとBPフリー設定の両方に統合できる。
論文参考訳（メタデータ） (2024-06-07T19:10:31Z)
The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
論文参考訳（メタデータ） (2023-03-17T02:01:11Z)
Federated Learning as Variational Inference: A Scalable Expectation Propagation Approach [66.9033666087719]
本稿では,推論の視点を拡張し,フェデレート学習の変分推論の定式化について述べる。我々は、FedEPを標準フェデレーション学習ベンチマークに適用し、収束速度と精度の両方において、強いベースラインを上回ります。
論文参考訳（メタデータ） (2023-02-08T17:58:11Z)
Heterogeneous Federated Learning via Grouped Sequential-to-Parallel Training [60.892342868936865]
フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のためのコラボレーション機械学習パラダイムである。本稿では,この課題に対処するため,データヘテロジニアス・ロバストFLアプローチであるFedGSPを提案する。その結果,FedGSPは7つの最先端アプローチと比較して平均3.7%の精度向上を実現していることがわかった。
論文参考訳（メタデータ） (2022-01-31T03:15:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。