論文の概要: Sign-Symmetry Learning Rules are Robust Fine-Tuners

• arxiv url: http://arxiv.org/abs/2502.05925v1
• Date: Sun, 09 Feb 2025 14:59:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:34:31.970118
• Title: Sign-Symmetry Learning Rules are Robust Fine-Tuners
• Title（参考訳）: サインシメトリ学習ルールはロバストなファインチューナーである
• Authors: Aymene Berriche, Mehdi Zakaria Adjal, Riyadh Baghdadi,
• Abstract要約: バックプロパゲーションは長年、ニューラルネットワークをトレーニングするための主要な方法だった。 サイン-シメトリ学習規則を用いたBP事前学習モデルを提案する。
• 参考スコア（独自算出の注目度）: 0.10923877073891444
• License:
• Abstract: Backpropagation (BP) has long been the predominant method for training neural networks due to its effectiveness. However, numerous alternative approaches, broadly categorized under feedback alignment, have been proposed, many of which are motivated by the search for biologically plausible learning mechanisms. Despite their theoretical appeal, these methods have consistently underperformed compared to BP, leading to a decline in research interest. In this work, we revisit the role of such methods and explore how they can be integrated into standard neural network training pipelines. Specifically, we propose fine-tuning BP-pre-trained models using Sign-Symmetry learning rules and demonstrate that this approach not only maintains performance parity with BP but also enhances robustness. Through extensive experiments across multiple tasks and benchmarks, we establish the validity of our approach. Our findings introduce a novel perspective on neural network training and open new research directions for leveraging biologically inspired learning rules in deep learning.
• Abstract（参考訳）: バックプロパゲーション(BP)は、その有効性からニューラルネットワークをトレーニングするための主要な方法である。 しかし、フィードバックアライメントの下で広く分類された多くの代替手法が提案されており、その多くが生物学的に妥当な学習メカニズムの探索によって動機づけられている。 理論上の魅力にもかかわらず、これらの手法はBPに比べて一貫して性能が劣っているため、研究の関心は低下した。 本研究では,そのような手法の役割を再考し,標準的なニューラルネットワークトレーニングパイプラインに組み込む方法について検討する。 具体的には,サイン-シメトリ学習規則を用いたBP事前学習モデルを提案する。 複数のタスクやベンチマークにまたがる広範な実験を通じて、我々はアプローチの有効性を確立する。 本研究は,ニューラルネットワーク学習の新たな視点を導入し,生物学的にインスパイアされた学習ルールを深層学習に活用するための新たな研究の方向性を示した。

関連論文リスト

• Neural Active Learning Beyond Bandits [69.99592173038903]
  ストリームベースとプールベースの両方のアクティブラーニングをニューラルネットワーク近似を用いて検討する。 ストリームベースおよびプールベースアクティブラーニングのためのニューラルネットワークを新たに設計したエクスプロイトと探索に基づく2つのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-04-18T21:52:14Z)
• Evolutionary algorithms as an alternative to backpropagation for supervised training of Biophysical Neural Networks and Neural ODEs [12.357635939839696]
  本稿では,生物物理学に基づくニューラルネットワークの学習における「段階的推定」進化アルゴリズムの利用について検討する。 EAにはいくつかのアドバンテージがあり、直接BPよりも望ましいことが分かりました。 以上の結果から,生体物理学ニューロンはBP法の限界をテストする上で有用なベンチマークを提供する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-11-17T20:59:57Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Constrained Parameter Inference as a Principle for Learning [5.080518039966762]
  本稿では,制約パラメータ推論(COPI)を学習の新たな原則として提案する。 COPIは、神経状態の非相関な入力とトップダウン摂動の制約下でのネットワークパラメータの推定を可能にする。 我々はCOPIが生物学的に妥当であるだけでなく、誤りの標準的なバックプロパゲーションと比較して、高速学習の利点も示していることを示した。
  論文  参考訳（メタデータ） (2022-03-22T13:40:57Z)
• A Theoretical View of Linear Backpropagation and Its Convergence [55.69505060636719]
  バックプロパゲーション(BP)はディープニューラルネットワーク(DNN)の勾配を計算するために広く用いられている 最近では、NinBPと呼ばれるBPの線形変種が導入され、ブラックボックス攻撃を行うためのより伝達可能な逆の例が生み出された。 本稿では,LinBPのニューラルネットワーク関連学習課題における理論的解析について述べる。
  論文  参考訳（メタデータ） (2021-12-21T07:18:00Z)
• BioLeaF: A Bio-plausible Learning Framework for Training of Spiking Neural Networks [4.698975219970009]
  本稿では,新しいアーキテクチャと学習ルールをサポートする2つのコンポーネントからなる,生物工学的な新しい学習フレームワークを提案する。 マイクロ回路アーキテクチャでは,Spyke-Timing-Dependent-Plasticity(STDP)ルールをローカルコンパートメントで運用し,シナプス重みを更新する。 実験の結果,提案手法はBP法則に匹敵する学習精度を示す。
  論文  参考訳（メタデータ） (2021-11-14T10:32:22Z)
• Deep Active Learning by Leveraging Training Dynamics [57.95155565319465]
  本稿では,学習力学を最大化するためにサンプルを選択する理論駆動型深層能動学習法(Dynamical)を提案する。 動的学習は、他のベースラインを一貫して上回るだけでなく、大規模なディープラーニングモデルでもうまくスケール可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-16T16:51:05Z)
• Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
  ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。 学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。 さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
  論文  参考訳（メタデータ） (2021-06-15T05:30:17Z)
• Predictive Coding Can Do Exact Backpropagation on Any Neural Network [40.51949948934705]
  計算グラフ上で直接定義することで(ILと)Z-ILを一般化する。 これは、任意のニューラルネットワーク上のパラメータを更新する方法でBPと同等であることが示されている最初の生物学的に実行可能なアルゴリズムです。
  論文  参考訳（メタデータ） (2021-03-08T11:52:51Z)
• A Theoretical Framework for Target Propagation [75.52598682467817]
  我々は、バックプロパゲーション(BP)の代替として人気があるが、まだ完全には理解されていないターゲット伝搬(TP)を解析する。 提案理論は,TPがガウス・ニュートン最適化と密接に関係していることを示し,BPとは大きく異なる。 我々は,フィードバックウェイトトレーニングを改善する新しいリコンストラクション損失を通じて,この問題に対する第1の解決策を提供する。
  論文  参考訳（メタデータ） (2020-06-25T12:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。