論文の概要: Sparse Goodness: How Selective Measurement Transforms Forward-Forward Learning
- arxiv url: http://arxiv.org/abs/2604.13081v1
- Date: Sat, 28 Mar 2026 23:11:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-19 19:09:11.670723
- Title: Sparse Goodness: How Selective Measurement Transforms Forward-Forward Learning
- Title（参考訳）: スパースグッドネス:選択的計測が前向き学習にどのように変換するか
- Authors: Kamer Ali Yuksel, Hassan Sawaf,
- Abstract要約: 良さ関数の設計空間について検討し、どのアクティベーションを測るか、どのように集約するかを考察する。
我々は、最も活動的なニューロンのkのみを評価するトップクオリティを導入し、SoSを著しく上回っていることを示す。
我々は4x2000アーキテクチャでFashion-MNISTの87.1%の精度を達成し、SoSベースラインよりも30.7%改善した。
- 参考スコア（独自算出の注目度）: 2.7010154811483162
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The Forward-Forward (FF) algorithm is a biologically plausible alternative to backpropagation that trains neural networks layer by layer using a local goodness function to distinguish positive from negative data. Since its introduction, sum-of-squares (SoS) has served as the default goodness function. In this work, we systematically study the design space of goodness functions, investigating both which activations to measure and how to aggregate them. We introduce top-k goodness, which evaluates only the k most active neurons, and show that it substantially outperforms SoS, improving Fashion-MNIST accuracy by 22.6 percentage points. We further introduce entmax-weighted energy, which replaces hard top-k selection with a learnable sparse weighting based on the alpha-entmax transformation, yielding additional gains. Orthogonally, we adopt separate label feature forwarding (FFCL), in which class hypotheses are injected at every layer through a dedicated projection rather than concatenated only at the input. Combining these ideas, we achieve 87.1 percent accuracy on Fashion-MNIST with a 4x2000 architecture, representing a 30.7 percentage point improvement over the SoS baseline while changing only the goodness function and the label pathway. Across controlled experiments covering 11 goodness functions, two architectures, and a sparsity spectrum analysis over both k and alpha, we identify a consistent principle: sparsity in the goodness function is the most important design choice in FF networks. In particular, adaptive sparsity with alpha approximately 1.5 outperforms both fully dense and fully sparse alternatives.
- Abstract（参考訳）: Forward-Forward(FF)アルゴリズムは、ニューラルネットワーク層を局所良性関数を用いて層によって訓練し、正と負のデータを区別する、生物学的に妥当な代替手段である。
導入以来、sum-of-squares (SoS) はデフォルトの良さ関数として機能してきた。
本研究では,良性関数の設計空間を体系的に研究し,どのアクティベーションを計測し,どのように集約するかを検討する。
我々は、最も活動的なニューロンkのみを評価するトップクオリティを導入し、SoSを著しく上回り、Fashion-MNISTの精度を22.6%向上させることを示した。
さらに、アルファ-エントマックス変換に基づく学習可能なスパース重み付けにより、ハードトップk選択を置き換えるエントマックス重み付きエネルギーを導入し、さらなるゲインを得る。
直交的に、我々は各層にクラス仮説を注入する別々のラベル特徴フォワード(FFCL)を採用する。
これらのアイデアを組み合わせることで、Fashion-MNISTに対して4x2000アーキテクチャで87.1%の精度を実現し、SoSベースラインに対して30.7%のポイント改善を実現し、良さ関数とラベルパスだけを変更した。
11の良さ関数、2つのアーキテクチャ、およびkとαの双方にわたるスパーシティスペクトル解析を網羅した制御された実験で、一貫した原理を同定する: 良さ関数のスパーシティはFFネットワークにおいて最も重要な設計選択である。
特に、約1.5のアルファの適応空間は、完全に密度が高く、完全にスパースな代替品よりも優れている。
関連論文リスト
- In Search of Goodness: Large Scale Benchmarking of Goodness Functions for the Forward-Forward Algorithm [0.0]
フォワードフォワード(FF)アルゴリズムは、バックプロパゲーションの生物学的に妥当な代替手段を提供する。
現在の実装は主に単純な2乗和の計量を利用する。
4つの標準画像データセットで21の良さ関数をベンチマークした。
論文 参考訳（メタデータ） (2025-11-23T18:24:35Z) - ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。
巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
論文 参考訳（メタデータ） (2024-12-11T12:31:30Z) - Multi-scale Quaternion CNN and BiGRU with Cross Self-attention Feature Fusion for Fault Diagnosis of Bearing [5.3598912592106345]
深層学習は断層診断(FD)に著しい進歩をもたらした
マルチスケール畳み込み畳み込みニューラルネットワーク(MQCNN)、双方向ゲートリカレントユニット(BiG)、クロス自己注意機能融合(CSAFF)を統合した新しいFDモデルを提案する。
論文 参考訳（メタデータ） (2024-05-25T07:55:02Z) - Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud
Semantic Segmentation via Decoupling Optimization [64.36097398869774]
半教師付き学習(SSL)は大規模3Dシーン理解のための活発な研究課題である。
既存のSSLベースのメソッドは、クラス不均衡とポイントクラウドデータのロングテール分布による厳しいトレーニングバイアスに悩まされている。
本稿では,特徴表現学習と分類器を別の最適化方法で切り離してバイアス決定境界を効果的にシフトする,新しいデカップリング最適化フレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-13T04:16:40Z) - Adaptive Feature Selection for No-Reference Image Quality Assessment by Mitigating Semantic Noise Sensitivity [55.399230250413986]
上流タスクから有害なセマンティックノイズを除去するためのQFM-IQM(Quality-Aware Feature Matching IQA Metric)を提案する。
提案手法は,8つの標準IQAデータセット上での最先端NR-IQA法よりも優れた性能を実現する。
論文 参考訳（メタデータ） (2023-12-11T06:50:27Z) - Stochastic Re-weighted Gradient Descent via Distributionally Robust Optimization [14.23697277904244]
Reweighted Gradient Descent (RGD) は、動的サンプル再重み付けによりディープニューラルネットワークの性能を向上させる新しい最適化手法である。
本稿では,教師付き学習,メタラーニング,ドメイン外一般化など,様々な学習課題におけるRGDの有効性を示す。
論文 参考訳（メタデータ） (2023-06-15T15:58:04Z) - An efficient hybrid classification approach for COVID-19 based on Harris
Hawks Optimization and Salp Swarm Optimization [0.0]
本研究では、Covid-19分類のためのHarris Hawks Optimization Algorithm(HHO)とSalp Swarm Optimization(SSA)のハイブリッドバイナリバージョンを提案する。
提案アルゴリズム(HHOSSA)は,SVMで96%の精度,2つの分類器で98%,98%の精度を達成した。
論文 参考訳（メタデータ） (2022-12-25T19:52:18Z) - TCT: Convexifying Federated Learning using Bootstrapped Neural Tangent
Kernels [141.29156234353133]
最先端の凸学習手法は、クライアントが異なるデータ分布を持つ場合、集中型よりもはるかにパフォーマンスが劣る。
我々は、この格差は、非NISTityが提示した課題に大きく起因していることを示す。
本稿では,Train-Convexify Neural Network (TCT) 手法を提案する。
論文 参考訳（メタデータ） (2022-07-13T16:58:22Z) - Binarizing by Classification: Is soft function really necessary? [4.329951775163721]
本稿では,二項分類問題としてネットワークバイナライゼーションに取り組むことを提案する。
また、ポーズ推定モデルの軽量化手法としてバイナライゼーションを用いる。
提案手法により,最大60.6ドルのmAPを初めて達成できる。
論文 参考訳（メタデータ） (2022-05-16T02:47:41Z) - Optimization-Based Separations for Neural Networks [57.875347246373956]
本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。
これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
論文 参考訳（メタデータ） (2021-12-04T18:07:47Z) - Lightweight Single-Image Super-Resolution Network with Attentive
Auxiliary Feature Learning [73.75457731689858]
本稿では,SISR の注意補助機能 (A$2$F) に基づく計算効率が高く正確なネットワークを構築した。
大規模データセットを用いた実験結果から,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2020-11-13T06:01:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。