Fugu-MT 論文翻訳(概要): SAL: Selective Adaptive Learning for Backpropagation-Free Training with Sparsification

論文の概要: SAL: Selective Adaptive Learning for Backpropagation-Free Training with Sparsification

arxiv url: http://arxiv.org/abs/2601.21561v1
Date: Thu, 29 Jan 2026 11:26:26 GMT
ステータス: 翻訳完了
システム内更新日: 2026-01-30 16:22:49.764166
Title: SAL: Selective Adaptive Learning for Backpropagation-Free Training with Sparsification
Title（参考訳）: SAL:スパシフィケーションによるバックプロパゲーションフリートレーニングのための選択的適応学習
Authors: Fanping Liu, Hua Yang, Jiasi Zou,
Abstract要約: 本稿では,選択パラメータ活性化と適応領域分割を組み合わせた学習手法を提案する。実証的に、SALは競争収束率を示し、10の標準ベンチマークの分類性能を改善した。われわれのアプローチは、生物学的学習メカニズムに着想を得ており、スケーラブルなニューラルネットワークトレーニングの研究に寄与する、もっともらしい代替手段を提供する。
参考スコア（独自算出の注目度）: 4.342314132476228
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Standard deep learning relies on Backpropagation (BP), which is constrained by biologically implausible weight symmetry and suffers from significant gradient interference within dense representations. To mitigate these bottlenecks, we propose Selective Adaptive Learning (SAL), a training method that combines selective parameter activation with adaptive area partitioning. Specifically, SAL decomposes the parameter space into mutually exclusive, sample-dependent regions. This decoupling mitigates gradient interference across divergent semantic patterns and addresses explicit weight symmetry requirements through our refined feedback alignment. Empirically, SAL demonstrates competitive convergence rates, leading to improved classification performance across 10 standard benchmarks. Additionally, SAL achieves numerical consistency and competitive accuracy even in deep regimes (up to 128 layers) and large-scale models (up to 1B parameters). Our approach is loosely inspired by biological learning mechanisms, offering a plausible alternative that contributes to the study of scalable neural network training.
Abstract（参考訳）: 標準的な深層学習はバックプロパゲーション (BP) に依存しており、これは生物学的に不可解な重み対称性に制約され、密度密度表現内の大きな勾配干渉に悩まされる。これらのボトルネックを軽減するために,選択パラメータアクティベーションと適応領域分割を組み合わせた学習手法である選択適応学習(SAL)を提案する。具体的には、SALはパラメータ空間を互いに排他的でサンプル依存の領域に分解する。このデカップリングは、分岐したセマンティックパターン間の勾配干渉を緩和し、洗練されたフィードバックアライメントを通じて明確なウェイト対称性要求に対処する。実証的に、SALは競争収束率を示し、10の標準ベンチマークの分類性能を改善した。さらに、SALはディープレジーム(最大128層)や大規模モデル(最大1Bパラメータ)においても、数値的な一貫性と競合精度を達成する。われわれのアプローチは、生物学的学習メカニズムに着想を得ており、スケーラブルなニューラルネットワークトレーニングの研究に寄与する、もっともらしい代替手段を提供する。

関連論文リスト

Adapting Multimodal Foundation Models for Few-Shot Learning: A Comprehensive Study on Contrastive Captioners [1.2461503242570642]
本稿では,コントラシティブ・キャピタ(CoCa)視覚バックボーンを用いた画像分類手法を提案する。強いデータ拡張は、低ショット環境での線形探索の性能を低下させるが、LoRA微調整の安定化には不可欠である。また,Supervised Contrastive (SupCon) の損失を組み込んだハイブリッド目的が,標準的なクロスエントロピーよりも一貫した性能向上をもたらすことを示す。
論文参考訳（メタデータ） (2025-12-14T20:13:21Z)
A Principled Bayesian Framework for Training Binary and Spiking Neural Networks [1.6658912537684454]
スパイキングベイズニューラルネットワーク(英: Spiking Bayesian Neural Networks、SBNN)は、後部雑音を用いてIW-STでバイナリニューラルネットワークとスパイキングニューラルネットワークを訓練する変分推論フレームワークである。低バイアス条件、消失勾配、KL項をリンクすることにより、正規化なしで深い残留ネットワークのトレーニングを可能にする。
論文参考訳（メタデータ） (2025-05-23T14:33:20Z)
Training Bayesian Neural Networks with Sparse Subspace Variational Inference [35.241207717307645]
Sparse Subspace Variational Inference (SSVI) は、トレーニングと推論フェーズを通じて一貫した高度にスパースなモデルを維持する最初の完全なスパースBNNフレームワークである。実験の結果, SSVIは, スパースBNNの製作に新たなベンチマークを設定し, 例えば, モデルサイズを10～20倍圧縮し, 性能低下を3%以下とし, トレーニング中に最大20倍のFLOPを削減した。
論文参考訳（メタデータ） (2024-02-16T19:15:49Z)
Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
論文参考訳（メタデータ） (2024-01-17T09:01:29Z)
Uncertainty-aware Sampling for Long-tailed Semi-supervised Learning [89.98353600316285]
擬似ラベルサンプリングのモデル化プロセスに不確実性を導入し、各クラスにおけるモデル性能が異なる訓練段階によって異なることを考慮した。このアプローチにより、モデルは異なる訓練段階における擬似ラベルの不確かさを認識でき、それによって異なるクラスの選択閾値を適応的に調整できる。 FixMatchのような他の手法と比較して、UDTSは自然シーン画像データセットの精度を少なくとも5.26%、1.75%、9.96%、1.28%向上させる。
論文参考訳（メタデータ） (2024-01-09T08:59:39Z)
Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文参考訳（メタデータ） (2023-12-27T09:03:43Z)
Learning with Noisy Labels Using Collaborative Sample Selection and Contrastive Semi-Supervised Learning [76.00798972439004]
Collaborative Sample Selection (CSS)は、特定されたクリーンセットからノイズの多いサンプルを削除する。半教師付き学習において、対照的な損失を伴う協調学習機構を導入する。
論文参考訳（メタデータ） (2023-10-24T05:37:20Z)
Domain Generalization Guided by Gradient Signal to Noise Ratio of Parameters [69.24377241408851]
ソースドメインへのオーバーフィッティングは、ディープニューラルネットワークの勾配に基づくトレーニングにおいて一般的な問題である。本稿では,ネットワークパラメータの勾配-信号-雑音比(GSNR)を選択することを提案する。
論文参考訳（メタデータ） (2023-10-11T10:21:34Z)
Adaptive Dimension Reduction and Variational Inference for Transductive Few-Shot Classification [2.922007656878633]
適応次元の削減によりさらに改善された変分ベイズ推定に基づく新しいクラスタリング法を提案する。提案手法は,Few-Shotベンチマークにおける現実的非バランスなトランスダクティブ設定の精度を大幅に向上させる。
論文参考訳（メタデータ） (2022-09-18T10:29:02Z)
Adaptive Adversarial Logits Pairing [65.51670200266913]
逆行訓練ソリューションであるAdversarial Logits Pairing (ALP)は、脆弱なものに比べて、高い貢献度を少なくする傾向にある。これらの観測により,適応型対数対数対数対数対数対数法 (AALP) を設計し,ALPのトレーニングプロセスとトレーニングターゲットを変更する。 AALPは適応的な機能最適化モジュールと Guided Dropout から構成されており、より少ない高コントリビューション機能を体系的に追求する。
論文参考訳（メタデータ） (2020-05-25T03:12:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。