論文の概要: Reshaping the Forward-Forward Algorithm with a Similarity-Based Objective

• arxiv url: http://arxiv.org/abs/2509.08697v1
• Date: Fri, 29 Aug 2025 10:23:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-14 20:41:04.938605
• Title: Reshaping the Forward-Forward Algorithm with a Similarity-Based Objective
• Title（参考訳）: 類似性に基づく対象物を用いたフォワードフォワードアルゴリズムの再構成
• Authors: James Gong, Raymond Luo, Emma Wang, Leon Ge, Bruce Li, Felix Marattukalam, Waleed Abdulla,
• Abstract要約: フォワード・フォワードアルゴリズムは、フォワードパスを付加したフォワードパスに置き換える、より生物学的に妥当な方法として提案されている。 この研究において、Forward-Forwardアルゴリズムは類似性学習フレームワークとの統合によって形を変え、推論中に複数のフォワードパスを不要にする。 MNIST、Fashion-MNIST、CIFAR-10データセットの実証的な評価は、FAUSTが精度を大幅に向上し、バックプロパゲーションとのギャップを狭めることを示している。
• 参考スコア（独自算出の注目度）: 1.0064374190752632
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Backpropagation is the pivotal algorithm underpinning the success of artificial neural networks, yet it has critical limitations such as biologically implausible backward locking and global error propagation. To circumvent these constraints, the Forward-Forward algorithm was proposed as a more biologically plausible method that replaces the backward pass with an additional forward pass. Despite this advantage, the Forward-Forward algorithm significantly trails backpropagation in accuracy, and its optimal form exhibits low inference efficiency due to multiple forward passes required. In this work, the Forward-Forward algorithm is reshaped through its integration with similarity learning frameworks, eliminating the need for multiple forward passes during inference. This proposed algorithm is named Forward-Forward Algorithm Unified with Similarity-based Tuplet loss (FAUST). Empirical evaluations on MNIST, Fashion-MNIST, and CIFAR-10 datasets indicate that FAUST substantially improves accuracy, narrowing the gap with backpropagation. On CIFAR-10, FAUST achieves 56.22\% accuracy with a simple multi-layer perceptron architecture, approaching the backpropagation benchmark of 57.63\% accuracy.
• Abstract（参考訳）: バックプロパゲーション(backpropagation)は、人工知能ニューラルネットワークの成功を支える重要なアルゴリズムである。 これらの制約を回避するために、フォワード・フォワードアルゴリズムは、後方通過を追加の前方通過に置き換えるより生物学的に妥当な方法として提案された。 この利点にもかかわらず、フォワード・フォワードアルゴリズムは精度が大幅に向上し、その最適形は複数のフォワードパスを必要とするため、推論効率が低くなる。 この研究において、Forward-Forwardアルゴリズムは類似性学習フレームワークとの統合によって形を変え、推論中に複数のフォワードパスを不要にする。 このアルゴリズムは、類似性に基づくタプルト損失(FAUST)で統一されたフォワードフォワードアルゴリズム(Forward-Forward Algorithm)と呼ばれる。 MNIST、Fashion-MNIST、CIFAR-10データセットの実証的な評価は、FAUSTが精度を大幅に向上し、バックプロパゲーションとのギャップを狭めることを示している。 CIFAR-10では、FAUSTは単純な多層パーセプトロンアーキテクチャで56.22\%の精度を達成し、57.63\%のバックプロパゲーションベンチマークに近づいた。

関連論文リスト

• Faster WIND: Accelerating Iterative Best-of-$N$ Distillation for LLM Alignment [81.84950252537618]
  本稿では,反復的BONDと自己プレイアライメントの統一的なゲーム理論接続を明らかにする。 WINレート支配(WIN rate Dominance, WIND)という新しいフレームワークを構築し, 正規化利率支配最適化のためのアルゴリズムを多数提案する。
  論文  参考訳（メタデータ） (2024-10-28T04:47:39Z)
• A Novel Framework for Improving the Breakdown Point of Robust Regression Algorithms [1.9594639581421422]
  本稿では,頑健な回帰アルゴリズムの分解点を改善するための効果的なフレームワークを提案する。 反復局所探索(CORALS)を用いた一貫した頑健な回帰アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2023-05-20T15:59:33Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Improving the Efficiency of Off-Policy Reinforcement Learning by Accounting for Past Decisions [20.531576904743282]
  オフ政治推定バイアスは、決定ごとに補正される。 Tree BackupやRetraceといったオフポリティクスアルゴリズムはこのメカニズムに依存している。 任意の過去のトレースを許可するマルチステップ演算子を提案する。
  論文  参考訳（メタデータ） (2021-12-23T00:07:28Z)
• Investigating the Scalability and Biological Plausibility of the Activation Relaxation Algorithm [62.997667081978825]
  アクティベーション・リラクシエーション(AR)アルゴリズムは、誤りアルゴリズムのバックプロパゲーションを近似するためのシンプルでロバストなアプローチを提供する。 このアルゴリズムは、学習可能な後方重みセットを導入することにより、さらに単純化され、生物学的に検証可能であることを示す。 また、元のARアルゴリズム(凍結フィードフォワードパス)の別の生物学的に信じられない仮定が、パフォーマンスを損なうことなく緩和できるかどうかについても検討する。
  論文  参考訳（メタデータ） (2020-10-13T08:02:38Z)
• Adaptive Sampling for Best Policy Identification in Markov Decision Processes [79.4957965474334]
  本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。 最先端アルゴリズムの利点を論じ、解説する。
  論文  参考訳（メタデータ） (2020-09-28T15:22:24Z)
• Semi-Implicit Back Propagation [1.5533842336139065]
  ニューラルネットワークトレーニングのための半単純バック伝搬法を提案する。 ニューロンの差は後方方向に伝播し、パラメータは近位写像で更新される。 MNISTとCIFAR-10の両方の実験により、提案アルゴリズムは損失減少とトレーニング/検証の精度の両方において、より良い性能をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-10T03:26:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。