論文の概要: XAI-Increment: A Novel Approach Leveraging LIME Explanations for Improved Incremental Learning

• arxiv url: http://arxiv.org/abs/2211.01413v1
• Date: Wed, 2 Nov 2022 18:16:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-04 12:25:08.367730
• Title: XAI-Increment: A Novel Approach Leveraging LIME Explanations for Improved Incremental Learning
• Title（参考訳）: XAI-Increment: インクリメンタル学習改善のためのLIME説明を活用した新しいアプローチ
• Authors: Arnab Neelim Mazumder, Niall Lyons, Anand Dubey, Ashutosh Pandey and Avik Santra
• Abstract要約: XAI-Incrementとして知られるフレームワークは、弾性重み付け(EWC)で開発されたカスタム重み付け損失を取り入れている。 カスタムの重み付けされた損失を含むトレーニング手順は、Google Speech Commandsデータセットのキーワードスポッティングタスクに対する従来の損失ベースのトレーニングと比較して、約1%の精度向上を示している。
• 参考スコア（独自算出の注目度）: 5.969142831452708
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Explainability of neural network prediction is essential to understand feature importance and gain interpretable insight into neural network performance. In this work, model explanations are fed back to the feed-forward training to help the model generalize better. To this extent, a custom weighted loss where the weights are generated by considering the Euclidean distances between true LIME (Local Interpretable Model-Agnostic Explanations) explanations and model-predicted LIME explanations is proposed. Also, in practical training scenarios, developing a solution that can help the model learn sequentially without losing information on previous data distribution is imperative due to the unavailability of all the training data at once. Thus, the framework known as XAI-Increment incorporates the custom weighted loss developed with elastic weight consolidation (EWC), to maintain performance in sequential testing sets. Finally, the training procedure involving the custom weighted loss shows around 1% accuracy improvement compared to the traditional loss based training for the keyword spotting task on the Google Speech Commands dataset and also shows low loss of information when coupled with EWC in the incremental learning setup.
• Abstract（参考訳）: ニューラルネットワークの予測の説明可能性は、特徴の重要性を理解し、ニューラルネットワークのパフォーマンスに関する解釈可能な洞察を得るために不可欠である。 本研究では,モデル説明をフィードフォワードトレーニングにフィードバックすることで,モデルの一般化を支援する。 そこで本研究では, 実LIME(Local Interpretable Model-Agnostic Explanations)説明とモデル予測LIME説明とのユークリッド距離を考慮し, 重みを発生させる独自の重み付き損失を提案する。 また、実践的なトレーニングシナリオでは、トレーニングデータの全てを一度に利用できないため、以前のデータ分布に関する情報を失うことなく、モデルを逐次学習できるソリューションを開発することが不可欠である。 このように、XAI-Incrementとして知られるフレームワークは、弾性重み付け(EWC)で開発されたカスタム重み付け損失を組み込んで、シーケンシャルなテストセットのパフォーマンスを維持する。 最後に、カスタム重み付き損失を含むトレーニング手順は、Google Speech Commandsデータセットのキーワードスポッティングタスクに対する従来の損失ベーストレーニングと比較して1%程度精度が向上し、インクリメンタルラーニング設定でEWCと組み合わせた場合の情報損失も低くなった。

関連論文リスト

• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Improve Vision Language Model Chain-of-thought Reasoning [86.83335752119741]
  視覚言語モデル(VLM)におけるチェーン・オブ・シント(CoT)推論は、解釈可能性と信頼性を向上させるために不可欠である。 我々は,より詳細な回答を必要とする推論タスクに対して,短時間でVLMを訓練することはよくないことを示す。
  論文  参考訳（メタデータ） (2024-10-21T17:00:06Z)
• Bayes' Power for Explaining In-Context Learning Generalizations [46.17844703369127]
  本稿では、この時代のニューラルネットワークの振る舞いをより有用な解釈は、真の後部の近似であると論じる。 トレーニングデータから知識を効果的に構築することにより,モデルがコンテキスト内学習者に対して堅牢になることを示す。
  論文  参考訳（メタデータ） (2024-10-02T14:01:34Z)
• Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
  本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。 具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。 そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
  論文  参考訳（メタデータ） (2024-08-08T17:20:08Z)
• Leveraging Angular Information Between Feature and Classifier for Long-tailed Learning: A Prediction Reformulation Approach [90.77858044524544]
  分類器の重みを再バランスすることなく、包含角度で認識確率を再構成する。 予測形式再構成の性能向上に着想を得て, この角度予測の異なる特性について検討する。 CIFAR10/100-LT と ImageNet-LT を事前学習することなく、ピアメソッド間で最高の性能を得ることができる。
  論文  参考訳（メタデータ） (2022-12-03T07:52:48Z)
• Efficient Augmentation for Imbalanced Deep Learning [8.38844520504124]
  本研究では、畳み込みニューラルネットワークの内部表現である不均衡画像データについて検討する。 モデルの特徴埋め込みとテストセットの一般化ギャップを測定し、マイノリティクラスではそのギャップが広いことを示す。 この洞察により、不均衡なデータのための効率的な3相CNNトレーニングフレームワークを設計できる。
  論文  参考訳（メタデータ） (2022-07-13T09:43:17Z)
• Improved Fine-tuning by Leveraging Pre-training Data: Theory and Practice [52.11183787786718]
  対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。 近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。 本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
  論文  参考訳（メタデータ） (2021-11-24T06:18:32Z)
• Retrieval Augmentation to Improve Robustness and Interpretability of Deep Neural Networks [3.0410237490041805]
  本研究では,深層ニューラルネットワークの堅牢性と解釈性を改善するために,トレーニングデータを積極的に活用する。 具体的には、LSTMモデルのメモリ状態を初期化したり、注意機構を誘導するために、最も近い入力例のターゲットを用いる。 その結果,Flickr8 と IMDB の2つのタスクに対して提案したモデルの有効性が示された。
  論文  参考訳（メタデータ） (2021-02-25T17:38:31Z)
• Self-Adaptive Training: Bridging the Supervised and Self-Supervised Learning [16.765461276790944]
  自己適応型トレーニングは、追加の計算コストを課すことなく、モデル予測によってトレーニングプロセスを動的にキャリブレーションし、強化する統一型トレーニングアルゴリズムです。 ランダムノイズや敵対的な例など、破損したトレーニングデータの深層ネットワークのトレーニングダイナミクスを分析します。 分析の結果, モデル予測はデータ中の有用な情報量を拡大することが可能であり, 強調ラベル情報がない場合にも広く発生することがわかった。
  論文  参考訳（メタデータ） (2021-01-21T17:17:30Z)
• Explanation-Guided Training for Cross-Domain Few-Shot Classification [96.12873073444091]
  クロスドメイン・ショット分類タスク(CD-FSC)は、データセットで表されるドメインをまたいで一般化する要件と、少数ショット分類を組み合わせたものである。 既存のFSCモデルに対する新しいトレーニング手法を提案する。 説明誘導学習はモデル一般化を効果的に改善することを示す。
  論文  参考訳（メタデータ） (2020-07-17T07:28:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。