論文の概要: ReReLRP - Remembering and Recognizing Tasks with LRP

• arxiv url: http://arxiv.org/abs/2502.10789v1
• Date: Sat, 15 Feb 2025 13:03:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:09:57.326035
• Title: ReReLRP - Remembering and Recognizing Tasks with LRP
• Title（参考訳）: ReReLRP - LRPでタスクを思い出し、認識する
• Authors: Karolina Bogacka, Maximilian Höfler, Maria Ganzha, Wojciech Samek, Katarzyna Wasielewska-Michniewska,
• Abstract要約: ReReLRPは、ディープニューラルネットワークにおける破滅的忘れに対する新しい解決策である。 当社のコントリビューションは,既存のリプレイフリーメソッドのプライバシの向上に加えて,ビルトインの説明性も提供しています。 提案手法を多種多様なデータセットで検証し、選択したシナリオでよく知られたリプレイ方式に匹敵する結果を実証する。
• 参考スコア（独自算出の注目度）: 9.317606100792846
• License:
• Abstract: Deep neural networks have revolutionized numerous research fields and applications. Despite their widespread success, a fundamental limitation known as catastrophic forgetting remains, where models fail to retain their ability to perform previously learned tasks after being trained on new ones. This limitation is particularly acute in certain continual learning scenarios, where models must integrate the knowledge from new domains with their existing capabilities. Traditional approaches to mitigate this problem typically rely on memory replay mechanisms, storing either original data samples, prototypes, or activation patterns. Although effective, these methods often introduce significant computational overhead, raise privacy concerns, and require the use of dedicated architectures. In this work we present ReReLRP (Remembering and Recognizing with LRP), a novel solution that leverages Layerwise Relevance Propagation (LRP) to preserve information across tasks. Our contribution provides increased privacy of existing replay-free methods while additionally offering built-in explainability, flexibility of model architecture and deployment, and a new mechanism to increase memory storage efficiency. We validate our approach on a wide variety of datasets, demonstrating results comparable with a well-known replay-based method in selected scenarios.
• Abstract（参考訳）: ディープニューラルネットワークは多くの研究分野と応用に革命をもたらした。 大規模な成功にもかかわらず、破滅的な忘れ方として知られる基本的な制限は残っており、モデルが新しいモデルで訓練された後、以前の学習されたタスクを実行する能力を維持することができない。 この制限は、モデルが新しいドメインからの知識と既存の能力を統合する必要がある、特定の連続的な学習シナリオにおいて特に深刻である。 この問題を緩和するための従来のアプローチは、通常、元のデータサンプル、プロトタイプまたはアクティベーションパターンを格納するメモリリプレイ機構に依存している。 効果的ではあるが、これらの手法はしばしば計算上のオーバーヘッドを著しく発生させ、プライバシー上の懸念を生じさせ、専用のアーキテクチャを使う必要がある。 本稿では、LRP(Layerwise Relevance Propagation)を活用してタスク間の情報を保存する新しいソリューションであるReReLRP(Remembering and Recognizing with LRP)を紹介する。 私たちのコントリビューションは、既存のリプレイフリーメソッドのプライバシの向上に加えて、ビルトインの説明可能性、モデルアーキテクチャとデプロイメントの柔軟性、メモリストレージ効率を向上させるための新たなメカニズムを提供しています。 提案手法を多種多様なデータセットで検証し、選択したシナリオでよく知られたリプレイ方式に匹敵する結果を実証する。

関連論文リスト

• Stable Continual Reinforcement Learning via Diffusion-based Trajectory Replay [28.033367285923465]
  強化学習(Reinforcement Learning, RL)は、エージェントに一連の逐次的に提示された意思決定タスクに対処する能力を持たせることを目的としている。 本稿では,各タスクの高復帰軌道分布を記憶するために拡散モデルを用いた連続RLアルゴリズムDISTRを提案する。 過去の全てのデータを毎回再生する非現実性を考えると、重要なタスクの軌道上のリプレイを優先する優先順位付け機構が提案されている。
  論文  参考訳（メタデータ） (2024-11-16T14:03:23Z)
• Temporal-Difference Variational Continual Learning [89.32940051152782]
  現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。 継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。 複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• Federated Continual Learning Goes Online: Uncertainty-Aware Memory Management for Vision Tasks and Beyond [13.867793835583463]
  本稿では,破滅的な記憶を解消するための不確実性を考慮したメモリベース手法を提案する。 特定の特性を持つサンプルを検索し、そのようなサンプル上でモデルを再訓練することで、このアプローチの可能性を実証する。
  論文  参考訳（メタデータ） (2024-05-29T09:29:39Z)
• Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
  より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。 具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
  論文  参考訳（メタデータ） (2023-12-03T13:50:24Z)
• Saliency-Guided Hidden Associative Replay for Continual Learning [13.551181595881326]
  継続学習(Continuous Learning)は、人間の学習に似た一連のタスクを通じてニューラルネットワークをトレーニングすることに焦点を当てた、次世代AIの急成長する領域である。 本稿では,継続的学習のためのSaliency Guided Hidden Associative Replayを提案する。 この新しいフレームワークは、アソシエイトメモリをリプレイベースの戦略でシナジする。SHARCは主にスパースメモリエンコーディングを通じて、有能なデータセグメントをアーカイブする。
  論文  参考訳（メタデータ） (2023-10-06T15:54:12Z)
• Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
  本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。 提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
  論文  参考訳（メタデータ） (2023-06-21T01:43:25Z)
• Learning with Recoverable Forgetting [77.56338597012927]
  学習wIth Recoverable Forgettingは、タスクまたはサンプル固有の知識の除去とリカバリを明示的に処理する。 具体的には、LIRFは2つの革新的なスキーム、すなわち知識預金と離脱をもたらす。 いくつかのデータセットで実験を行い、提案したLIRF戦略が一般化能力を満足させる結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-07-17T16:42:31Z)
• Improving Meta-learning for Low-resource Text Classification and Generation via Memory Imitation [87.98063273826702]
  本稿では,メモリ模倣メタラーニング(MemIML)手法を提案する。 本手法の有効性を証明するために理論的解析を行った。
  論文  参考訳（メタデータ） (2022-03-22T12:41:55Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Continual Learning for Natural Language Generation in Task-oriented Dialog Systems [72.92029584113676]
  自然言語生成(NLG)はタスク指向対話システムにおいて重要な要素である。 我々は,NLGの知識を新たなドメインや機能に段階的に拡張する"継続的学習"環境で研究する。 この目標に対する大きな課題は、破滅的な忘れことであり、継続的に訓練されたモデルは、以前に学んだ知識を忘れがちである。
  論文  参考訳（メタデータ） (2020-10-02T10:32:29Z)
• Neuromodulated Neural Architectures with Local Error Signals for Memory-Constrained Online Continual Learning [4.2903672492917755]
  我々は,局所学習とニューロ変調を取り入れた,生物学的にインスパイアされた軽量ニューラルネットワークアーキテクチャを開発した。 一つの課題と連続的な学習環境の両方にアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2020-07-16T07:41:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。