論文の概要: Harnessing the Power of Explanations for Incremental Training: A LIME-Based Approach

• arxiv url: http://arxiv.org/abs/2211.01413v2
• Date: Tue, 11 Jul 2023 20:22:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-13 20:15:54.904963
• Title: Harnessing the Power of Explanations for Incremental Training: A LIME-Based Approach
• Title（参考訳）: インクリメンタルトレーニングにおける説明力の調和--LIMEに基づくアプローチ
• Authors: Arnab Neelim Mazumder, Niall Lyons, Ashutosh Pandey, Avik Santra, and Tinoosh Mohsenin
• Abstract要約: この研究では、モデル説明がフィードフォワードトレーニングにフィードバックされ、モデルをより一般化するのに役立つ。 このフレームワークは、シーケンシャルなテストセットのパフォーマンスを維持するために、Elastic Weight Consolidation (EWC)によるカスタム重み付き損失を取り入れている。 提案したカスタムトレーニング手順は、インクリメンタルラーニングセットアップのすべてのフェーズにおいて、0.5%から1.5%までの精度を一貫して向上させる。
• 参考スコア（独自算出の注目度）: 6.244905619201076
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Explainability of neural network prediction is essential to understand feature importance and gain interpretable insight into neural network performance. However, explanations of neural network outcomes are mostly limited to visualization, and there is scarce work that looks to use these explanations as feedback to improve model performance. In this work, model explanations are fed back to the feed-forward training to help the model generalize better. To this extent, a custom weighted loss where the weights are generated by considering the Euclidean distances between true LIME (Local Interpretable Model-Agnostic Explanations) explanations and model-predicted LIME explanations is proposed. Also, in practical training scenarios, developing a solution that can help the model learn sequentially without losing information on previous data distribution is imperative due to the unavailability of all the training data at once. Thus, the framework incorporates the custom weighted loss with Elastic Weight Consolidation (EWC) to maintain performance in sequential testing sets. The proposed custom training procedure results in a consistent enhancement of accuracy ranging from 0.5% to 1.5% throughout all phases of the incremental learning setup compared to traditional loss-based training methods for the keyword spotting task using the Google Speech Commands dataset.
• Abstract（参考訳）: ニューラルネットワークの予測の説明可能性は、特徴の重要性を理解し、ニューラルネットワークのパフォーマンスに関する解釈可能な洞察を得るために不可欠である。 しかし、ニューラルネットワークの結果の説明はほとんど可視化に限られており、モデルの性能を改善するためにこれらの説明をフィードバックとして利用する研究はほとんどない。 本研究では,モデル説明をフィードフォワードトレーニングにフィードバックすることで,モデルの一般化を支援する。 そこで本研究では, 実LIME(Local Interpretable Model-Agnostic Explanations)説明とモデル予測LIME説明とのユークリッド距離を考慮し, 重みを発生させる独自の重み付き損失を提案する。 また、実践的なトレーニングシナリオでは、トレーニングデータの全てを一度に利用できないため、以前のデータ分布に関する情報を失うことなく、モデルを逐次学習できるソリューションを開発することが不可欠である。 このように、このフレームワークは、シーケンシャルなテストセットのパフォーマンスを維持するために、Elastic Weight Consolidation (EWC)と独自の重み付き損失を組み込んでいる。 提案するカスタムトレーニング手順は,google speech commandデータセットを用いたキーワードスポッティングタスクの従来のロスベーストレーニング手法と比較して,インクリメンタル学習のすべてのフェーズで0.5%から1.5%の精度を一貫して向上させる。

関連論文リスト

• Improve Vision Language Model Chain-of-thought Reasoning [86.83335752119741]
  視覚言語モデル(VLM)におけるチェーン・オブ・シント(CoT)推論は、解釈可能性と信頼性を向上させるために不可欠である。 我々は,より詳細な回答を必要とする推論タスクに対して,短時間でVLMを訓練することはよくないことを示す。
  論文  参考訳（メタデータ） (2024-10-21T17:00:06Z)
• Bayes' Power for Explaining In-Context Learning Generalizations [46.17844703369127]
  本稿では、この時代のニューラルネットワークの振る舞いをより有用な解釈は、真の後部の近似であると論じる。 トレーニングデータから知識を効果的に構築することにより,モデルがコンテキスト内学習者に対して堅牢になることを示す。
  論文  参考訳（メタデータ） (2024-10-02T14:01:34Z)
• Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
  本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。 具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。 そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
  論文  参考訳（メタデータ） (2024-08-08T17:20:08Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Learn, Unlearn and Relearn: An Online Learning Paradigm for Deep Neural Networks [12.525959293825318]
  我々は、ディープニューラルネットワーク(DNN)のためのオンライン学習パラダイムであるLearning, Unlearn, and Relearn(LURE)を紹介する。 LUREは、モデルの望ましくない情報を選択的に忘れる未学習フェーズと、一般化可能な特徴の学習を強調する再学習フェーズとを交換する。 トレーニングパラダイムは、分類と少数ショット設定の両方において、データセット間で一貫したパフォーマンス向上を提供します。
  論文  参考訳（メタデータ） (2023-03-18T16:45:54Z)
• Leveraging Angular Information Between Feature and Classifier for Long-tailed Learning: A Prediction Reformulation Approach [90.77858044524544]
  分類器の重みを再バランスすることなく、包含角度で認識確率を再構成する。 予測形式再構成の性能向上に着想を得て, この角度予測の異なる特性について検討する。 CIFAR10/100-LT と ImageNet-LT を事前学習することなく、ピアメソッド間で最高の性能を得ることができる。
  論文  参考訳（メタデータ） (2022-12-03T07:52:48Z)
• Efficient Augmentation for Imbalanced Deep Learning [8.38844520504124]
  本研究では、畳み込みニューラルネットワークの内部表現である不均衡画像データについて検討する。 モデルの特徴埋め込みとテストセットの一般化ギャップを測定し、マイノリティクラスではそのギャップが広いことを示す。 この洞察により、不均衡なデータのための効率的な3相CNNトレーニングフレームワークを設計できる。
  論文  参考訳（メタデータ） (2022-07-13T09:43:17Z)
• Improved Fine-tuning by Leveraging Pre-training Data: Theory and Practice [52.11183787786718]
  対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。 近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。 本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
  論文  参考訳（メタデータ） (2021-11-24T06:18:32Z)
• Retrieval Augmentation to Improve Robustness and Interpretability of Deep Neural Networks [3.0410237490041805]
  本研究では,深層ニューラルネットワークの堅牢性と解釈性を改善するために,トレーニングデータを積極的に活用する。 具体的には、LSTMモデルのメモリ状態を初期化したり、注意機構を誘導するために、最も近い入力例のターゲットを用いる。 その結果,Flickr8 と IMDB の2つのタスクに対して提案したモデルの有効性が示された。
  論文  参考訳（メタデータ） (2021-02-25T17:38:31Z)
• Self-Adaptive Training: Bridging the Supervised and Self-Supervised Learning [16.765461276790944]
  自己適応型トレーニングは、追加の計算コストを課すことなく、モデル予測によってトレーニングプロセスを動的にキャリブレーションし、強化する統一型トレーニングアルゴリズムです。 ランダムノイズや敵対的な例など、破損したトレーニングデータの深層ネットワークのトレーニングダイナミクスを分析します。 分析の結果, モデル予測はデータ中の有用な情報量を拡大することが可能であり, 強調ラベル情報がない場合にも広く発生することがわかった。
  論文  参考訳（メタデータ） (2021-01-21T17:17:30Z)
• Explanation-Guided Training for Cross-Domain Few-Shot Classification [96.12873073444091]
  クロスドメイン・ショット分類タスク(CD-FSC)は、データセットで表されるドメインをまたいで一般化する要件と、少数ショット分類を組み合わせたものである。 既存のFSCモデルに対する新しいトレーニング手法を提案する。 説明誘導学習はモデル一般化を効果的に改善することを示す。
  論文  参考訳（メタデータ） (2020-07-17T07:28:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。