論文の概要: An Improved Empirical Fisher Approximation for Natural Gradient Descent
- arxiv url: http://arxiv.org/abs/2406.06420v1
- Date: Mon, 10 Jun 2024 16:12:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-11 13:09:08.282668
- Title: An Improved Empirical Fisher Approximation for Natural Gradient Descent
- Title（参考訳）: 自然グレディエントDescenceのための経験的水産近似の改良
- Authors: Xiaodong Wu, Wenyi Yu, Chao Zhang, Philip Woodland,
- Abstract要約: 本稿では, EFの逆スケールプロジェクション問題について検討し, 経験的近似品質の低下の大きな原因であることを示した。
損失低減の観点から, NGD法をモチベーションとした改良型経験的フィッシャー法(iEF)を提案する。
実験により、正確な iEF をオプティマイザとして適用することは、強い収束と一般化をもたらすことが示されている。
- 参考スコア（独自算出の注目度）: 6.999522986299594
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Approximate Natural Gradient Descent (NGD) methods are an important family of optimisers for deep learning models, which use approximate Fisher information matrices to pre-condition gradients during training. The empirical Fisher (EF) method approximates the Fisher information matrix empirically by reusing the per-sample gradients collected during back-propagation. Despite its ease of implementation, the EF approximation has its theoretical and practical limitations. This paper first investigates the inversely-scaled projection issue of EF, which is shown to be a major cause of the poor empirical approximation quality. An improved empirical Fisher (iEF) method, motivated as a generalised NGD method from a loss reduction perspective, is proposed to address this issue, meanwhile retaining the practical convenience of EF. The exact iEF and EF methods are experimentally evaluated using practical deep learning setups, including widely-used setups for parameter-efficient fine-tuning of pre-trained models (T5-base with LoRA and Prompt-Tuning on GLUE tasks, and ViT with LoRA for CIFAR100). Optimisation experiments show that applying exact iEF as an optimiser provides strong convergence and generalisation. It achieves the best test performance and the lowest training loss for majority of the tasks, even when compared with well-tuned AdamW/Adafactor baselines. Additionally, under a novel empirical evaluation framework, the proposed iEF method shows consistently better approximation quality to the exact Natural Gradient updates than both EF and the more expensive sampled Fisher (SF). Further investigation also shows that the superior approximation quality of iEF is robust to damping across tasks and training stages. Improving existing approximate NGD optimisers with iEF is expected to lead to better convergence ability and stronger robustness to choice of damping.
- Abstract（参考訳）: 近似自然勾配降下法(NGD, Approximate Natural Gradient Descent)は深層学習モデルのオプティマイザの1つである。
実験的なFisher(EF)法は、バックプロパゲーション時に収集したサンプルごとの勾配を再利用することにより、Fisher情報行列を経験的に近似する。
実装の容易さにもかかわらず、EF近似は理論的および実践的な制限がある。
本稿ではまず,実験的近似品質の低下の大きな原因であるEFの逆スケールプロジェクション問題について検討する。
損失低減の観点から一般化NGD法をモチベーションとした改良された経験的フィッシャー法(iEF)が提案され,EFの実用的利便性を維持しつつ,この問題に対処する。
正確なiEF法とEF法は、事前訓練されたモデルのパラメータ効率の良い微調整のための広く使われているセットアップ(GLUEタスクのLoRAとPrompt-Tuning、CIFAR100のLoRAとViT)を含む、実用的なディープラーニング設定を用いて実験的に評価される。
最適化実験により、正確な iEF をオプティマイザとして適用することは、強い収束と一般化をもたらすことが示されている。
十分にチューニングされたAdamW/Adafactorベースラインと比較しても、ほとんどのタスクで最高のテストパフォーマンスとトレーニング損失が最も低い。
さらに,新しい経験的評価フレームワークにより,提案手法は,EFとより高価なFisher(SF)の双方と比較して,正確な自然勾配更新に対する近似精度を一貫して向上させる。
さらなる調査により、iEFの優れた近似品質はタスクやトレーニング段階の減衰に対して堅牢であることが示された。
iEFによる既存の近似NGDオプティマイザの改良は、減衰の選択に対する収束性の向上と強い堅牢性をもたらすことが期待されている。
関連論文リスト
- See Further for Parameter Efficient Fine-tuning by Standing on the Shoulders of Decomposition [56.87609859444084]
パラメータ効率の細かいチューニング(PEFT)は、パラメータの選択したサブセットを最適化し、残りを固定し、計算とストレージのオーバーヘッドを大幅に削減することに焦点を当てている。
分解の観点からそれらを分離することで、すべてのアプローチを統一する第一歩を踏み出します。
本稿では,PEFT技術の性能向上を目的とした,単純かつ効果的なフレームワークとともに,新しい2つのPEFT手法を提案する。
論文 参考訳（メタデータ） (2024-07-07T15:44:42Z) - A Unified Linear Programming Framework for Offline Reward Learning from Human Demonstrations and Feedback [6.578074497549894]
Inverse Reinforcement Learning (IRL) と Reinforcement Learning from Human Feedback (RLHF) は報酬学習における重要な方法論である。
本稿では,オフライン報酬学習に適した新しい線形プログラミング(LP)フレームワークを提案する。
論文 参考訳（メタデータ） (2024-05-20T23:59:26Z) - FeTrIL++: Feature Translation for Exemplar-Free Class-Incremental
Learning with Hill-Climbing [3.533544633664583]
EFCIL(Exemplar-free class-incremental Learning)は、主に破滅的な忘れが原因で大きな課題を提起する。
従来のEFCILのアプローチは、連続した微調整や安定性を通じて、プラスチックのモデルに傾くのが一般的である。
本稿では,様々なオーバーサンプリング手法と動的最適化手法の有効性を検討するための基礎的なFeTrILフレームワークを構築した。
論文 参考訳（メタデータ） (2024-03-12T08:34:05Z) - Inverse Reinforcement Learning by Estimating Expertise of Demonstrators [18.50354748863624]
IRLEED(Inverse Reinforcement Learning by Estimating Expertise of Demonstrators)は、実証者の専門知識の事前知識なしにハードルを克服する新しいフレームワークである。
IRLEEDは既存の逆強化学習(IRL)アルゴリズムを強化し、報酬バイアスと行動分散に対処するために、実証者準最適性のための一般的なモデルを組み合わせる。
オンラインおよびオフラインのIL設定、シミュレーションと人為的なデータによる実験は、IRLEEDの適応性と有効性を示している。
論文 参考訳（メタデータ） (2024-02-02T20:21:09Z) - Directly Attention Loss Adjusted Prioritized Experience Replay [0.07366405857677226]
優先度付き再生体験(PER)は、アクセス頻度を人工的に変化させることで、比較的重要なサンプルについてより深く学習することを可能にする。
DALAPが提案され、パラレル自己保持ネットワークを通じて、シフト分布の変化範囲を直接定量化することができる。
論文 参考訳（メタデータ） (2023-11-24T10:14:05Z) - Layer-wise Feedback Propagation [53.00944147633484]
本稿では、ニューラルネットワークのような予測器のための新しいトレーニング手法であるLFP(Layer-wise Feedback Propagation)を提案する。
LFPは、与えられたタスクの解決に対するそれぞれの貢献に基づいて、個々のコネクションに報酬を割り当てる。
各種モデルやデータセットの勾配降下に匹敵する性能を達成できることの有効性を実証する。
論文 参考訳（メタデータ） (2023-08-23T10:48:28Z) - Strong Baselines for Parameter Efficient Few-Shot Fine-tuning [50.83426196335385]
FSC (Few-shot Classification) は、事前訓練(メタトレーニング)フェーズの後にクラス毎にいくつかの例を与えられた新しいクラスを学習する。
近年の研究では、新しいテストクラスで事前訓練された視覚変換器(ViT)を微調整することが、FSCにとって強力なアプローチであることが示されている。
しかし、微調整のViTは、時間、計算、ストレージに費用がかかる。
これにより、Transformerのパラメータのごく一部だけを微調整するPEFT法が考案された。
論文 参考訳（メタデータ） (2023-04-04T16:14:39Z) - Design Amortization for Bayesian Optimal Experimental Design [70.13948372218849]
予測情報ゲイン(EIG)のバウンダリに関してパラメータ化された変分モデルを最適化する。
実験者が1つの変分モデルを最適化し、潜在的に無限に多くの設計に対してEIGを推定できる新しいニューラルアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-10-07T02:12:34Z) - Two-Level K-FAC Preconditioning for Deep Learning [7.699428789159717]
ディープラーニングの文脈では、グラディエントDescentの収束を加速するために、多くの最適化手法が勾配共分散情報を使用する。
特に、アダグラード(Adagrad)から始まり、一見無限に現れる研究のラインは、いわゆる経験的フィッシャー行列の対角近似の使用を提唱している。
特に成功した方法はK-FAC(Kronecker-ed block-factored preconditioner)と呼ばれる方法である。
論文 参考訳（メタデータ） (2020-11-01T17:54:21Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳（メタデータ） (2020-06-10T08:22:41Z) - Stochastic-Sign SGD for Federated Learning with Theoretical Guarantees [49.91477656517431]
量子化に基づく解法は、フェデレートラーニング(FL)において広く採用されている。
上記のプロパティをすべて享受する既存のメソッドはありません。
本稿では,SIGNSGDに基づく直感的かつ理論的に簡易な手法を提案し,そのギャップを埋める。
論文 参考訳（メタデータ） (2020-02-25T15:12:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。