論文の概要: Reviving Dormant Memories: Investigating Catastrophic Forgetting in Language Models through Rationale-Guidance Difficulty

• arxiv url: http://arxiv.org/abs/2411.11932v1
• Date: Mon, 18 Nov 2024 14:28:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:38:31.042976
• Title: Reviving Dormant Memories: Investigating Catastrophic Forgetting in Language Models through Rationale-Guidance Difficulty
• Title（参考訳）: 回復期休眠記憶 : Rationale-Guidance Difficulty による言語モデルにおける破滅的蓄積の調査
• Authors: Huashan Sun, Yang Gao,
• Abstract要約: また, 受動的に外部から与えられた理論的根拠を受け付けると, 忘れたタスクに対する性能を復元できることが判明した。 与えられた指示が適切な合理性を生成する際にモデルをどのように効果的に導くかを評価するために、Rationale-Guidance Difficultyメトリックを提案する。
• 参考スコア（独自算出の注目度）: 7.5795085006788545
• License:
• Abstract: Although substantial efforts have been made to mitigate catastrophic forgetting in continual learning, the intrinsic mechanisms are not well understood. In this paper, we discover that when a forgetting model passively receives an externally provided partial appropriate rationale, its performance on the forgotten task can be restored. Furthermore, by simply adding a task-agnostic prefix to the original instruction, the forgetting model can actively generate an appropriate rationale to reach the correct answer. These findings suggest that the model does not actually ``forget'' the task knowledge; instead, the degraded performance can be attributed to the failure of the original instructions in guiding the model to generate the appropriate rationales. Based on this insight, we propose the Rationale-Guidance Difficulty metric to evaluate how effectively a given instruction guides the model in generating appropriate rationales. We apply this metric to optimize the allocation of replay data in replay-based continual learning algorithm. Experimental results demonstrate that our data allocation method effectively mitigates catastrophic forgetting and maintains better model plasticity simultaneously across models.
• Abstract（参考訳）: 継続的な学習において破滅的な忘れを和らげるためにかなりの努力がなされているが、本質的なメカニズムはよく理解されていない。 本稿では,外部から与えられた部分的論理を受動的に受け取れば,忘れたタスクに対する性能を復元できることを示す。 さらに、元の命令にタスク非依存のプレフィックスを追加するだけで、忘れモデルが正しい答えに到達するための適切な論理を積極的に生成することができる。 これらの結果は、モデルが実際にタスク知識を ‘forget’ するわけではないことを示唆している。代わりに、劣化したパフォーマンスは、モデルに適切な合理性を生成するよう誘導する元の命令の失敗に起因している。 そこで本研究では,Rationale-Guidance Difficulty測定法を提案する。 本稿では,リプレイに基づく連続学習アルゴリズムにおけるリプレイデータの割り当てを最適化するために,この指標を適用した。 実験結果から,本手法は破滅的忘れを効果的に軽減し,モデル全体の可塑性を同時に維持することを示した。

関連論文リスト

• Idempotent Unsupervised Representation Learning for Skeleton-Based Action Recognition [13.593511876719367]
  教師なし表現学習のための新しい骨格ベース等等化生成モデル(IGM)を提案する。 ベンチマークデータセットであるNTU RGB+DとPKUMMDに関する実験により,提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-10-27T06:29:04Z)
• Unlearning with Control: Assessing Real-world Utility for Large Language Model Unlearning [97.2995389188179]
  最近の研究は、勾配上昇(GA)を通した大規模言語モデル(LLM)の未学習にアプローチし始めている。 その単純さと効率性にもかかわらず、我々はGAベースの手法が過剰な未学習の傾向に直面することを示唆している。 過剰な未学習の度合いを制御できるいくつかの制御手法を提案する。
  論文  参考訳（メタデータ） (2024-06-13T14:41:00Z)
• Improving Language Model Reasoning with Self-motivated Learning [60.779625789039486]
  textitSelfをモチベーションとする学習フレームワークは、モデル自体をモチベーションとして、既存のデータセットで合理性を自動的に生成する。 我々は,有理数の品質を評価するためにランク付き報酬モデルを訓練し,強化学習による推論の性能向上を図る。
  論文  参考訳（メタデータ） (2024-04-10T14:05:44Z)
• Goldfish: An Efficient Federated Unlearning Framework [3.956103498302838]
  Goldfishは機械学習アルゴリズムのための新しいフレームワークだ。 基本モデル、損失関数、最適化、拡張の4つのモジュールで構成されている。 既存の機械学習アルゴリズムの妥当性の低い課題に対処するため,新しい損失関数を提案する。
  論文  参考訳（メタデータ） (2024-04-04T03:29:41Z)
• STAR: Constraint LoRA with Dynamic Active Learning for Data-Efficient Fine-Tuning of Large Language Models [21.929902181609936]
  我々は不確実性に基づくアクティブラーニングとLoRAを統合する新しい手法を提案する。 不確実性ギャップについて、ベースモデルの不確実性とフルモデルの不確実性を組み合わせた動的不確実性測定を導入する。 モデルのキャリブレーションが不十分な場合、LoRAトレーニング中に正規化手法を導入し、モデルが過度に信頼されないようにする。
  論文  参考訳（メタデータ） (2024-03-02T10:38:10Z)
• An Information Theoretic Approach to Machine Unlearning [45.600917449314444]
  学びの鍵となる課題は、モデルのパフォーマンスを保ちながら、必要なデータをタイムリーに忘れることである。 この研究では、ゼロショットのアンラーニングシナリオに対処し、未学習のアルゴリズムは、トレーニングされたモデルと忘れられるデータだけが与えられたデータを削除できなければならない。 モデルの幾何に基づいて、単純だが原則化されたゼロショットアンラーニング法を導出する。
  論文  参考訳（メタデータ） (2024-02-02T13:33:30Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Machine Unlearning Methodology base on Stochastic Teacher Network [33.763901254862766]
  「忘れられる権利」は、データ所有者に、モデルトレーニングに使用したデータを積極的に取り出す権利を与える。 既存の機械学習手法は、ディープラーニングモデルから知識を素早く取り除くのに効果がないことが判明した。 本稿では,ネットワークを教師として利用して,忘れられたデータによる影響の軽減を図ることを提案する。
  論文  参考訳（メタデータ） (2023-08-28T06:05:23Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)
• Distilling Interpretable Models into Human-Readable Code [71.11328360614479]
  人間可読性は機械学習モデル解釈可能性にとって重要で望ましい標準である。 従来の方法を用いて解釈可能なモデルを訓練し,それを簡潔で可読なコードに抽出する。 本稿では,幅広いユースケースで効率的に,確実に高品質な結果を生成する分別線形曲線フィッティングアルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2021-01-21T01:46:36Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。