論文の概要: XAI-Increment: A Novel Approach Leveraging LIME Explanations for
Improved Incremental Learning
- arxiv url: http://arxiv.org/abs/2211.01413v1
- Date: Wed, 2 Nov 2022 18:16:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-04 12:25:08.367730
- Title: XAI-Increment: A Novel Approach Leveraging LIME Explanations for
Improved Incremental Learning
- Title(参考訳): XAI-Increment: インクリメンタル学習改善のためのLIME説明を活用した新しいアプローチ
- Authors: Arnab Neelim Mazumder, Niall Lyons, Anand Dubey, Ashutosh Pandey and
Avik Santra
- Abstract要約: XAI-Incrementとして知られるフレームワークは、弾性重み付け(EWC)で開発されたカスタム重み付け損失を取り入れている。
カスタムの重み付けされた損失を含むトレーニング手順は、Google Speech Commandsデータセットのキーワードスポッティングタスクに対する従来の損失ベースのトレーニングと比較して、約1%の精度向上を示している。
- 参考スコア(独自算出の注目度): 5.969142831452708
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Explainability of neural network prediction is essential to understand
feature importance and gain interpretable insight into neural network
performance. In this work, model explanations are fed back to the feed-forward
training to help the model generalize better. To this extent, a custom weighted
loss where the weights are generated by considering the Euclidean distances
between true LIME (Local Interpretable Model-Agnostic Explanations)
explanations and model-predicted LIME explanations is proposed. Also, in
practical training scenarios, developing a solution that can help the model
learn sequentially without losing information on previous data distribution is
imperative due to the unavailability of all the training data at once. Thus,
the framework known as XAI-Increment incorporates the custom weighted loss
developed with elastic weight consolidation (EWC), to maintain performance in
sequential testing sets. Finally, the training procedure involving the custom
weighted loss shows around 1% accuracy improvement compared to the traditional
loss based training for the keyword spotting task on the Google Speech Commands
dataset and also shows low loss of information when coupled with EWC in the
incremental learning setup.
- Abstract(参考訳): ニューラルネットワークの予測の説明可能性は、特徴の重要性を理解し、ニューラルネットワークのパフォーマンスに関する解釈可能な洞察を得るために不可欠である。
本研究では,モデル説明をフィードフォワードトレーニングにフィードバックすることで,モデルの一般化を支援する。
そこで本研究では, 実LIME(Local Interpretable Model-Agnostic Explanations)説明とモデル予測LIME説明とのユークリッド距離を考慮し, 重みを発生させる独自の重み付き損失を提案する。
また、実践的なトレーニングシナリオでは、トレーニングデータの全てを一度に利用できないため、以前のデータ分布に関する情報を失うことなく、モデルを逐次学習できるソリューションを開発することが不可欠である。
このように、XAI-Incrementとして知られるフレームワークは、弾性重み付け(EWC)で開発されたカスタム重み付け損失を組み込んで、シーケンシャルなテストセットのパフォーマンスを維持する。
最後に、カスタム重み付き損失を含むトレーニング手順は、Google Speech Commandsデータセットのキーワードスポッティングタスクに対する従来の損失ベーストレーニングと比較して1%程度精度が向上し、インクリメンタルラーニング設定でEWCと組み合わせた場合の情報損失も低くなった。
関連論文リスト
- Diffusion-based Neural Network Weights Generation [85.6725307453325]
データセット条件付き事前学習重み抽出による効率よく適応的な伝達学習手法を提案する。
具体的には、ニューラルネットワークの重みを再構築できる変分オートエンコーダを備えた潜時拡散モデルを用いる。
論文 参考訳(メタデータ) (2024-02-28T08:34:23Z) - LETA: Learning Transferable Attribution for Generic Vision Explainer [78.96465840557056]
大規模画像データセットの汎用的説明器を開発し、その伝達可能性を活用して、下流タスクの様々な視覚モデルを説明する。
LETAは、ジェネリック・アナトリビューションに対するジェネリック・アナトリビュータの事前トレーニングをガイドし、下流のタスクを説明するために、トランストリビュータのルールベースの適応を導入する。
実験結果から,LETAは下流タスクのデータに対する追加トレーニングを必要とせず,これらのタスクを説明するのに有効であることが示唆された。
論文 参考訳(メタデータ) (2023-12-23T21:49:23Z) - Robust Learning with Progressive Data Expansion Against Spurious
Correlation [65.83104529677234]
本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。
分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。
本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-06-08T05:44:06Z) - Learn, Unlearn and Relearn: An Online Learning Paradigm for Deep Neural
Networks [12.525959293825318]
我々は、ディープニューラルネットワーク(DNN)のためのオンライン学習パラダイムであるLearning, Unlearn, and Relearn(LURE)を紹介する。
LUREは、モデルの望ましくない情報を選択的に忘れる未学習フェーズと、一般化可能な特徴の学習を強調する再学習フェーズとを交換する。
トレーニングパラダイムは、分類と少数ショット設定の両方において、データセット間で一貫したパフォーマンス向上を提供します。
論文 参考訳(メタデータ) (2023-03-18T16:45:54Z) - Leveraging Angular Information Between Feature and Classifier for
Long-tailed Learning: A Prediction Reformulation Approach [90.77858044524544]
分類器の重みを再バランスすることなく、包含角度で認識確率を再構成する。
予測形式再構成の性能向上に着想を得て, この角度予測の異なる特性について検討する。
CIFAR10/100-LT と ImageNet-LT を事前学習することなく、ピアメソッド間で最高の性能を得ることができる。
論文 参考訳(メタデータ) (2022-12-03T07:52:48Z) - Efficient Augmentation for Imbalanced Deep Learning [8.38844520504124]
本研究では、畳み込みニューラルネットワークの内部表現である不均衡画像データについて検討する。
モデルの特徴埋め込みとテストセットの一般化ギャップを測定し、マイノリティクラスではそのギャップが広いことを示す。
この洞察により、不均衡なデータのための効率的な3相CNNトレーニングフレームワークを設計できる。
論文 参考訳(メタデータ) (2022-07-13T09:43:17Z) - Improved Fine-tuning by Leveraging Pre-training Data: Theory and
Practice [52.11183787786718]
対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。
近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。
本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
論文 参考訳(メタデータ) (2021-11-24T06:18:32Z) - Unrolling SGD: Understanding Factors Influencing Machine Unlearning [17.6607904333012]
機械学習は、デプロイされた機械学習モデルがトレーニングデータポイントの1つを忘れるプロセスである。
まず、近似アンラーニングのアプローチとメトリクスを分類する。
検証誤差(L2差)、すなわち、ほとんど学習されていないモデルの重みと鼻再訓練されたモデルのL2差を同定する。
論文 参考訳(メタデータ) (2021-09-27T23:46:59Z) - Retrieval Augmentation to Improve Robustness and Interpretability of
Deep Neural Networks [3.0410237490041805]
本研究では,深層ニューラルネットワークの堅牢性と解釈性を改善するために,トレーニングデータを積極的に活用する。
具体的には、LSTMモデルのメモリ状態を初期化したり、注意機構を誘導するために、最も近い入力例のターゲットを用いる。
その結果,Flickr8 と IMDB の2つのタスクに対して提案したモデルの有効性が示された。
論文 参考訳(メタデータ) (2021-02-25T17:38:31Z) - Self-Adaptive Training: Bridging the Supervised and Self-Supervised
Learning [16.765461276790944]
自己適応型トレーニングは、追加の計算コストを課すことなく、モデル予測によってトレーニングプロセスを動的にキャリブレーションし、強化する統一型トレーニングアルゴリズムです。
ランダムノイズや敵対的な例など、破損したトレーニングデータの深層ネットワークのトレーニングダイナミクスを分析します。
分析の結果, モデル予測はデータ中の有用な情報量を拡大することが可能であり, 強調ラベル情報がない場合にも広く発生することがわかった。
論文 参考訳(メタデータ) (2021-01-21T17:17:30Z) - Explanation-Guided Training for Cross-Domain Few-Shot Classification [96.12873073444091]
クロスドメイン・ショット分類タスク(CD-FSC)は、データセットで表されるドメインをまたいで一般化する要件と、少数ショット分類を組み合わせたものである。
既存のFSCモデルに対する新しいトレーニング手法を提案する。
説明誘導学習はモデル一般化を効果的に改善することを示す。
論文 参考訳(メタデータ) (2020-07-17T07:28:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。