論文の概要: Joint Flashback Adaptation for Forgetting-Resistant Instruction Tuning

• arxiv url: http://arxiv.org/abs/2505.15467v1
• Date: Wed, 21 May 2025 12:45:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.642569
• Title: Joint Flashback Adaptation for Forgetting-Resistant Instruction Tuning
• Title（参考訳）: フォールディング抵抗型インストラクションチューニングのためのジョイントフラッシュバック適応
• Authors: Yukun Zhao, Lingyong Yan, Zhenyang Li, Shuaiqiang Wang, Zhumin Chen, Zhaochun Ren, Dawei Yin,
• Abstract要約: 大規模言語モデルは様々なタスクで顕著な成功を収めた。 破滅的な忘れ物のために、彼らが新しいタスクを漸進的に学ぶことは難しい。 既存のアプローチは、経験のリプレイ、最適化の制約、タスクの差別化に依存している。
• 参考スコア（独自算出の注目度）: 43.32232067795149
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models have achieved remarkable success in various tasks. However, it is challenging for them to learn new tasks incrementally due to catastrophic forgetting. Existing approaches rely on experience replay, optimization constraints, or task differentiation, which encounter strict limitations in real-world scenarios. To address these issues, we propose Joint Flashback Adaptation. We first introduce flashbacks -- a limited number of prompts from old tasks -- when adapting to new tasks and constrain the deviations of the model outputs compared to the original one. We then interpolate latent tasks between flashbacks and new tasks to enable jointly learning relevant latent tasks, new tasks, and flashbacks, alleviating data sparsity in flashbacks and facilitating knowledge sharing for smooth adaptation. Our method requires only a limited number of flashbacks without access to the replay data and is task-agnostic. We conduct extensive experiments on state-of-the-art large language models across 1000+ instruction-following tasks, arithmetic reasoning tasks, and general reasoning tasks. The results demonstrate the superior performance of our method in improving generalization on new tasks and reducing forgetting in old tasks.
• Abstract（参考訳）: 大規模言語モデルは様々なタスクで顕著な成功を収めた。 しかし、破滅的な忘れが原因で、新たなタスクを漸進的に学習することは困難である。 既存のアプローチは、実世界のシナリオで厳格な制限に直面する、経験のリプレイ、最適化の制約、タスクの差別化に依存している。 これらの問題に対処するため、我々はジョイントフラッシュバック適応を提案する。 最初は、新しいタスクに適応し、元のタスクと比較してモデル出力のずれを制限したとき、古いタスクからの限られた数のプロンプトであるフラッシュバックを導入します。 次に、フラッシュバックと新しいタスク間の潜伏タスクを補間し、関連する潜伏タスク、新しいタスク、フラッシュバックを共同学習し、フラッシュバックにおけるデータの分散を緩和し、スムーズな適応のために知識共有を容易にする。 本手法では,リプレイデータにアクセスせずに限られた数のフラッシュバックしか必要とせず,タスクに依存しない。 我々は、1000以上の命令追従タスク、算術推論タスク、一般的な推論タスクにまたがる最先端の大規模言語モデルに関する広範な実験を行う。 その結果、新しいタスクの一般化を改善し、古いタスクの忘れを減らし、提案手法の優れた性能を示す。

関連論文リスト

• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• Fine-Grained Knowledge Selection and Restoration for Non-Exemplar Class Incremental Learning [64.14254712331116]
  非典型的なクラスインクリメンタル学習は、過去のトレーニングデータにアクセスすることなく、新しいタスクと古いタスクの両方を学ぶことを目的としている。 本稿では, きめ細かい知識選択と復元のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-12-20T02:34:11Z)
• Efficient Rehearsal Free Zero Forgetting Continual Learning using Adaptive Weight Modulation [3.6683171094134805]
  継続的な学習には、長期にわたって複数のタスクの知識を取得することが含まれる。 この問題に対するほとんどのアプローチは、新しいタスクのパフォーマンスを最大化することと、以前のタスクの忘れを最小化することのバランスを求める。 提案手法は,新しいタスクの性能を最大化しつつ,忘れることのゼロを保証しようとするものである。
  論文  参考訳（メタデータ） (2023-11-26T12:36:05Z)
• Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
  既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。 タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。 我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
  論文  参考訳（メタデータ） (2022-10-12T15:02:04Z)
• Relational Experience Replay: Continual Learning by Adaptively Tuning Task-wise Relationship [54.73817402934303]
  本稿では,2段階の学習フレームワークである経験連続再生(ERR)を提案する。 ERRは、すべてのベースラインの性能を一貫して改善し、現在の最先端の手法を超えることができる。
  論文  参考訳（メタデータ） (2021-12-31T12:05:22Z)
• TAG: Task-based Accumulated Gradients for Lifelong learning [21.779858050277475]
  タスク間の関連性に基づいて学習率を適応させるタスク認識システムを提案する。 提案する適応学習率は, 破滅的な記憶の喪失だけでなく, 正の後方移動にも寄与することを示した。
  論文  参考訳（メタデータ） (2021-05-11T16:10:32Z)
• Transforming task representations to perform novel tasks [12.008469282323492]
  知性の重要な側面は、直接の経験(ゼロショット)なしで新しいタスクに適応できる能力である。 本稿では,従来のタスクとの関係に基づいて,新しいタスクに適応するための一般的な計算フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-05-08T23:41:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。