Fugu-MT 論文翻訳(概要): Hard ASH: Sparsity and the right optimizer make a continual learner

論文の概要: Hard ASH: Sparsity and the right optimizer make a continual learner

arxiv url: http://arxiv.org/abs/2404.17651v1
Date: Fri, 26 Apr 2024 18:16:39 GMT
ステータス: 処理完了
システム内更新日: 2024-04-30 20:00:20.289099
Title: Hard ASH: Sparsity and the right optimizer make a continual learner
Title（参考訳）: Hard ASH: スパーシリティと適切なオプティマイザは継続的な学習者を生み出す
Authors: Santtu Keskinen,
Abstract要約: 本研究では,スパースアクティベーション関数と適応学習率を,Split-MNISTタスクにおいて確立された正規化手法と競合させることができることを示す。学習保持をさらに強化するために,新しい変種であるHard Adaptive SwisH(Hard ASH)を導入する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: In class incremental learning, neural networks typically suffer from catastrophic forgetting. We show that an MLP featuring a sparse activation function and an adaptive learning rate optimizer can compete with established regularization techniques in the Split-MNIST task. We highlight the effectiveness of the Adaptive SwisH (ASH) activation function in this context and introduce a novel variant, Hard Adaptive SwisH (Hard ASH) to further enhance the learning retention.
Abstract（参考訳）: クラスインクリメンタルラーニングでは、ニューラルネットワークは通常、破滅的な忘れ込みに悩まされる。本研究では,スパースアクティベーション機能と適応学習率オプティマイザを備えたMLPが,Split-MNISTタスクにおいて確立された正規化手法と競合することを示す。本稿では、この文脈におけるAdaptive SwisH(ASH)アクティベーション機能の有効性を強調し、学習保持をさらに強化するために、新しい変種であるHard Adaptive SwisH(HSH)を導入する。

関連論文リスト

Fine Tuning without Catastrophic Forgetting via Selective Low Rank Adaptation [13.084333776247743]
微調整は分散シフトに対する堅牢性を低下させ、アウト・オブ・ディストリビューション(OOD)のパフォーマンスに影響を及ぼす。本稿では,低ランク適応(LoRA)ブロックを選択的に活性化するインジケータ関数を用いたパラメータ効率細調整(PEFT)手法を提案する。有効微調整は5%のアクティブブロックで実現でき、効率が大幅に向上することを示した。
論文参考訳（メタデータ） (2025-01-26T03:22:22Z)
Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
論文参考訳（メタデータ） (2024-07-11T10:35:53Z)
Expressive and Generalizable Low-rank Adaptation for Large Models via Slow Cascaded Learning [55.5715496559514]
LoRA Slow Cascade Learning (LoRASC)は、LoRAの表現性と一般化能力を高めるために設計された革新的な技術である。提案手法は,混合低ランク適応を可能にするカスケード学習戦略により表現性を増強し,複雑なパターンをキャプチャするモデルの能力を高める。
論文参考訳（メタデータ） (2024-07-01T17:28:59Z)
Learning Objective-Specific Active Learning Strategies with Attentive Neural Processes [72.75421975804132]
学びアクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。能動学習問題の対称性と独立性を利用した新しい分類法を提案する。私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
論文参考訳（メタデータ） (2023-09-11T14:16:37Z)
AdaCL:Adaptive Continual Learning [7.116403133334646]
クラスインクリメンタルラーニング(Class-Incremental Learning)は、より深い分類器を更新して新しいカテゴリを学習し、それまで観察されたクラスの精度を維持したり改善することを目的としている。学習済みのクラスを忘れないようにするための一般的な方法は、ニューラルネットワークのアップデートの正規化とメモリ上の例の保存である。各タスクにハイパーパラメータを適用すると、精度、忘れ、記憶が向上することを示す。
論文参考訳（メタデータ） (2023-03-23T09:00:38Z)
Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文参考訳（メタデータ） (2022-10-02T05:03:38Z)
Hyper-Learning for Gradient-Based Batch Size Adaptation [2.944323057176686]
バッチサイズをスケジューリングして拡大することは、ディープニューラルネットワークをトレーニングする際のノイズを制御する効果的な戦略である。学習可能なスケジューリングのためのバッチサイズ適応を行うためのアルゴリズムとしてArbiterを導入する。いくつかの実験でArbiterの有効性を実証した。
論文参考訳（メタデータ） (2022-05-17T11:01:14Z)
SALR: Sharpness-aware Learning Rate Scheduler for Improved Generalization [6.18778092044887]
本手法は,損失関数の局所的シャープネスに基づいて,勾配に基づく最小値の学習率を動的に更新する。幅広いネットワーク上で様々なアルゴリズムでSALRを適用した場合の有効性を実証する。実験の結果、SALRは一般化を改善し、より高速に収束し、解をかなり平坦な領域へと推し進めることがわかった。
論文参考訳（メタデータ） (2020-11-10T19:00:52Z)
Meta-Learning with Adaptive Hyperparameters [55.182841228303225]
我々は、MAMLフレームワークの補完的要素、インナーループ最適化(あるいは高速適応)に焦点を当てる。高速適応プロセスを大幅に向上させる新しい重み更新ルールを提案する。
論文参考訳（メタデータ） (2020-10-31T08:05:34Z)
Towards Efficient Processing and Learning with Spikes: New Approaches for Multi-Spike Learning [59.249322621035056]
各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
論文参考訳（メタデータ） (2020-05-02T06:41:20Z)
Evolutionary Optimization of Deep Learning Activation Functions [15.628118691027328]
進化的アルゴリズムは、Rectified Linear Unit(ReLU)より優れている新しいアクティベーション関数を発見できることを示す。 ReLUを活性化関数に置き換えると、統計的にネットワークの精度が向上する。これらの新しい活性化関数は、タスク間で高いパフォーマンスを達成するために一般化される。
論文参考訳（メタデータ） (2020-02-17T19:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。