Fugu-MT 論文翻訳(概要): On the Computation of the Fisher Information in Continual Learning

論文の概要: On the Computation of the Fisher Information in Continual Learning

arxiv url: http://arxiv.org/abs/2502.11756v1
Date: Mon, 17 Feb 2025 12:52:10 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-18 14:17:30.536698
Title: On the Computation of the Fisher Information in Continual Learning
Title（参考訳）: 連続学習における漁業情報の計算について
Authors: Gido M. van de Ven,
Abstract要約: しかし、フィッシャー・インフォメーションの正確な計算方法はほとんど説明されず、複数の異なる実装がオンラインで見られる。これは、現在報告されているEWCの結果の多くが、Fisher Informationの計算方法を変更することで改善される可能性があることを強調している。
参考スコア（独自算出の注目度）: 3.413454198272614
License:
Abstract: One of the most popular methods for continual learning with deep neural networks is Elastic Weight Consolidation (EWC), which involves computing the Fisher Information. The exact way in which the Fisher Information is computed is however rarely described, and multiple different implementations for it can be found online. This blog post discusses and empirically compares several often-used implementations, which highlights that many currently reported results for EWC could likely be improved by changing the way the Fisher Information is computed.
Abstract（参考訳）: ディープニューラルネットワークを用いた継続的学習の最も一般的な方法の1つは、フィッシャー情報を計算することを含むElastic Weight Consolidation (EWC)である。しかし、フィッシャー・インフォメーションの正確な計算方法はほとんど説明されず、複数の異なる実装がオンラインで見られる。これは、現在報告されているEWCの結果の多くが、Fisher Informationの計算方法を変更することで改善される可能性があることを強調している。

関連論文リスト

FisherMask: Enhancing Neural Network Labeling Efficiency in Image Classification Using Fisher Information [2.762397703396293]
FisherMaskはFisher情報に基づくアクティブラーニング(AL)アプローチで、主要なネットワークパラメータをマスキングすることで識別する。実験の結果,FisherMaskは多様なデータセット上で最先端の手法を著しく上回っていることがわかった。
論文参考訳（メタデータ） (2024-11-08T18:10:46Z)
Fast Fishing: Approximating BAIT for Efficient and Scalable Deep Active Image Classification [1.8567173419246403]
Deep Active Learning (AL)は、ディープニューラルネットワークのトレーニングに要するアノテーションコストを最小限にすることを目指している。 Fisher Informationをベースにした最近提案されたAL戦略であるBAITは、さまざまなデータセットで素晴らしいパフォーマンスを示している。本稿では,BAITの計算効率とスケーラビリティを向上する2つの手法を提案する。
論文参考訳（メタデータ） (2024-04-13T12:09:37Z)
Trade-Offs of Diagonal Fisher Information Matrix Estimators [53.35448232352667]
Fisher情報行列は、ニューラルネットワークのパラメータ空間の局所幾何学を特徴付けるのに使うことができる。精度とサンプルの複雑さが関連する分散に依存する2つの人気推定器について検討する。分散のバウンダリを導出し、回帰と分類のためにニューラルネットワークでそれらをインスタンス化する。
論文参考訳（メタデータ） (2024-02-08T03:29:10Z)
Quantum Fisher Information and its dynamical nature [0.0]
本総説は, 文献に散在する多くの結果を収集することを目的としており, 漁業情報の研究を始める人々にとって有用である。我々は、全ての物理的に実現可能な力学が、フィッシャー情報計量に関する関係の観点からのみ定義されることを証明した。
論文参考訳（メタデータ） (2023-04-28T17:08:44Z)
Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
論文参考訳（メタデータ） (2023-03-03T16:12:59Z)
Unifying Approaches in Data Subset Selection via Fisher Information and Information-Theoretic Quantities [38.59619544501593]
我々はフィッシャー情報を再検討し、それを用いて、他のいくつかの異なる方法が情報理論量の近似としてどのように接続されているかを示す。データサブセットの選択、すなわち、アクティブラーニングとアクティブサンプリングでは、いくつかの最近の研究はフィッシャー情報、ヘッセン、勾配に基づく類似度行列、あるいは単に勾配長を用いてサンプル選択を導いた取得スコアを計算する。
論文参考訳（メタデータ） (2022-08-01T00:36:57Z)
Transformers Can Do Bayesian Inference [56.99390658880008]
我々はPFN(Presideed Data Fitted Networks)を提案する。 PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
論文参考訳（メタデータ） (2021-12-20T13:07:39Z)
Fishr: Invariant Gradient Variances for Out-of-distribution Generalization [98.40583494166314]
フィッシャーは、損失関数の勾配の空間における領域不変性を強制する学習スキームである。フィッシャーはこの損失についてフィッシャー・インフォメーションやヘッセンと密接な関係を示している。特に、FishrはDomainBedベンチマークのテクニックの状態を改善し、経験的リスク最小化よりも大幅にパフォーマンスが向上する。
論文参考訳（メタデータ） (2021-09-07T08:36:09Z)
Efficient training of lightweight neural networks using Online Self-Acquired Knowledge Distillation [51.66271681532262]
オンライン自己獲得知識蒸留(OSAKD)は、ディープニューラルネットワークの性能をオンライン的に向上することを目的としている。出力特徴空間におけるデータサンプルの未知確率分布を推定するために、k-nnノンパラメトリック密度推定手法を用いる。
論文参考訳（メタデータ） (2021-08-26T14:01:04Z)
Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文参考訳（メタデータ） (2021-06-17T17:26:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。