論文の概要: In Search of Goodness: Large Scale Benchmarking of Goodness Functions for the Forward-Forward Algorithm
- arxiv url: http://arxiv.org/abs/2511.18567v1
- Date: Sun, 23 Nov 2025 18:24:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-25 18:34:24.902007
- Title: In Search of Goodness: Large Scale Benchmarking of Goodness Functions for the Forward-Forward Algorithm
- Title(参考訳): グッドネスの探索:フォワードフォワードアルゴリズムにおけるグッドネス関数の大規模ベンチマーク
- Authors: Arya Shah, Vaibhav Tripathi,
- Abstract要約: フォワードフォワード(FF)アルゴリズムは、バックプロパゲーションの生物学的に妥当な代替手段を提供する。
現在の実装は主に単純な2乗和の計量を利用する。
4つの標準画像データセットで21の良さ関数をベンチマークした。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The Forward-Forward (FF) algorithm offers a biologically plausible alternative to backpropagation, enabling neural networks to learn through local updates. However, FF's efficacy relies heavily on the definition of "goodness", which is a scalar measure of neural activity. While current implementations predominantly utilize a simple sum-of-squares metric, it remains unclear if this default choice is optimal. To address this, we benchmarked 21 distinct goodness functions across four standard image datasets (MNIST, FashionMNIST, CIFAR-10, STL-10), evaluating classification accuracy, energy consumption, and carbon footprint. We found that certain alternative goodness functions inspired from various domains significantly outperform the standard baseline. Specifically, \texttt{game\_theoretic\_local} achieved 97.15\% accuracy on MNIST, \texttt{softmax\_energy\_margin\_local} reached 82.84\% on FashionMNIST, and \texttt{triplet\_margin\_local} attained 37.69\% on STL-10. Furthermore, we observed substantial variability in computational efficiency, highlighting a critical trade-off between predictive performance and environmental cost. These findings demonstrate that the goodness function is a pivotal hyperparameter in FF design. We release our code on \href{https://github.com/aryashah2k/In-Search-of-Goodness}{Github} for reference and reproducibility.
- Abstract(参考訳): Forward-Forward(FF)アルゴリズムは、生物学的に妥当なバックプロパゲーション代替手段を提供し、ニューラルネットワークがローカル更新を通じて学習できるようにする。
しかし、FFの有効性は神経活動のスカラー尺度である「良さ」の定義に大きく依存している。
現在の実装では単純な総和の計量を主に用いているが、このデフォルトの選択が最適かどうかは不明だ。
そこで我々は,4つの標準画像データセット(MNIST, FashionMNIST, CIFAR-10, STL-10)で21種類の良さ関数をベンチマークし, 分類精度, エネルギー消費量, 炭素フットプリントを評価した。
様々な領域からインスパイアされたある種の代替良性関数が標準ベースラインを著しく上回ることがわかった。
具体的には、MNIST では 97.15 %、FashionMNIST では \texttt{softmax\_margin\_local} が 82.84 %、STL-10 では \texttt{triplet\_margin\_local} が 37.69 % に達した。
さらに,予測性能と環境コストの重大なトレードオフを浮き彫りにして,計算効率の大幅な変動を観測した。
これらの結果から, FF設計における良性関数は中心的なハイパーパラメータであることが明らかとなった。
私たちは、参照と再現性のために、 \href{https://github.com/aryashah2k/In-Search-of-Goodness}{Github}でコードをリリースしています。
関連論文リスト
- Chasing Fairness in Graphs: A GNN Architecture Perspective [73.43111851492593]
グラフニューラルネットワーク(GNN)の統一最適化フレームワーク内で設計されたtextsfFair textsfMessage textsfPassing(FMP)を提案する。
FMPでは、アグリゲーションがまず隣人の情報を活用するために採用され、バイアス軽減ステップにより、人口集団ノードのプレゼンテーションセンタが明示的に統合される。
ノード分類タスクの実験により、提案されたFMPは、実世界の3つのデータセットの公平性と正確性の観点から、いくつかのベースラインを上回っていることが示された。
論文 参考訳(メタデータ) (2023-12-19T18:00:15Z) - Adaptive Feature Selection for No-Reference Image Quality Assessment by Mitigating Semantic Noise Sensitivity [55.399230250413986]
上流タスクから有害なセマンティックノイズを除去するためのQFM-IQM(Quality-Aware Feature Matching IQA Metric)を提案する。
提案手法は,8つの標準IQAデータセット上での最先端NR-IQA法よりも優れた性能を実現する。
論文 参考訳(メタデータ) (2023-12-11T06:50:27Z) - Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。
カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。
我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
論文 参考訳(メタデータ) (2023-10-09T03:55:09Z) - Stochastic Re-weighted Gradient Descent via Distributionally Robust Optimization [14.23697277904244]
Reweighted Gradient Descent (RGD) は、動的サンプル再重み付けによりディープニューラルネットワークの性能を向上させる新しい最適化手法である。
本稿では,教師付き学習,メタラーニング,ドメイン外一般化など,様々な学習課題におけるRGDの有効性を示す。
論文 参考訳(メタデータ) (2023-06-15T15:58:04Z) - Optimizing Partial Area Under the Top-k Curve: Theory and Practice [151.5072746015253]
トップk曲線下部分領域(AUTKC)と呼ばれる新しい計量法を開発した。
AUTKCはより優れた識別能力を持ち、ベイズ最適スコア関数は条件付き確率に対して正しいトップKランクを与えることができる。
提案手法を最適化するために,実証的なサロゲートリスク最小化フレームワークを提案する。
論文 参考訳(メタデータ) (2022-09-03T11:09:13Z) - Explainable AI Integrated Feature Selection for Landslide Susceptibility
Mapping using TreeSHAP [0.0]
データ駆動型アプローチによる地すべり感受性の早期予測は時間の要求である。
地すべりの感受性予測には,XgBoost,LR,KNN,SVM,Adaboostといった最先端の機械学習アルゴリズムを用いた。
XgBoostの最適化バージョンと機能低下の40パーセントは、一般的な評価基準で他のすべての分類器よりも優れています。
論文 参考訳(メタデータ) (2022-01-10T09:17:21Z) - Trusted-Maximizers Entropy Search for Efficient Bayesian Optimization [39.824086260578646]
本稿では,信頼度最大化エントロピー探索(TES)取得関数を提案する。
インプットがクエリの情報ゲインにどの程度貢献するかを、信頼された最大値の有限セット上で測定する。
論文 参考訳(メタデータ) (2021-07-30T07:25:07Z) - Feature-weighted elastic net: using "features of features" for better
prediction [137.6408511310322]
予測精度を向上させるために追加情報を活用する新しい手法を提案する。
特徴重み付き弾性ネット(fwelnet)と呼ばれるこの手法は、これらの「特徴の特徴」を用いて、弾性ネットペナルティの特徴係数に相対的なペナルティを適応させる。
我々のシミュレーションでは、fwelnetは平均二乗誤差でラッソを上回り、通常、特徴選択に対して真の正の率または偽の正の率を改善する。
論文 参考訳(メタデータ) (2020-06-02T05:18:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。