論文の概要: COLA: Continual Learning via Autoencoder Retrieval of Adapters

• arxiv url: http://arxiv.org/abs/2510.21836v1
• Date: Wed, 22 Oct 2025 12:04:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 19:54:32.467476
• Title: COLA: Continual Learning via Autoencoder Retrieval of Adapters
• Title（参考訳）: COLA: 適応者のオートエンコーダ検索による継続的な学習
• Authors: Jaya Krishna Mandivarapu,
• Abstract要約: 大規模言語モデル(LLM)は、しばしば繰り返し再学習や継続的な学習には実用的ではない。 COLAはオートエンコーダを使用して、様々なタスクに関連する重みの低次元埋め込みをキャプチャーする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning a set of tasks over time, also known as continual learning (CL), is one of the most challenging problems in artificial intelligence due to catastrophic forgetting. Large language models (LLMs) are often impractical to frequent re-training and continual learning , due to high cost of computational resources for training. Moreover, LLM are not suitable for continual learning as updating these models over time for acquiring new knowledge leads to overwrites existing knowledge leading to common phenomenon know as \textit{catastrophic forgetting}. In this paper, we aim to address these concerns using a novel framework , COLA that employs an autoencoder to learn capture low-dimensional embeddings of the weights associated with various tasks. Our approach facilitates the transfer of knowledge to new tasks while preventing catastrophic forgetting, all without using data replay or a substantial set of task-specific parameters. Our approach, COLA, makes the LLM efficiently learn new tasks with minimal training, insignificant performance degradation on previous tasks, and eliminates the need for retaining earlier training data. Empirical evaluation on different datasets ranging from task oriented dialouge system to intent classsfication datasets showcases that our method not only overcomes catastrophic forgetting but also achieves significant reduction in parameter usage and memory size, across multiple tasks and outperforming the existing state of the art methods across multiple datasets.
• Abstract（参考訳）: 連続学習(continuous learning, CL)とも呼ばれる一連のタスクを時間をかけて学習することは、破滅的な忘れが原因で人工知能において最も難しい問題の1つである。 大規模言語モデル(LLM)は、しばしば訓練のための計算資源のコストが高いため、頻繁な再学習や連続的な学習には実用的ではない。 さらに、LLMは、新しい知識を得るためにこれらのモデルを更新することで既存の知識を上書きし、'textit{catastrophic forgetting} として知られる共通の現象へと導くため、継続的な学習には適さない。 本稿では,種々のタスクに関連する重みの低次元埋め込みを学習するために,オートエンコーダを用いた新しいフレームワークであるCOLAを用いて,これらの問題に対処することを目的とする。 提案手法は,データ再生やタスク固有のパラメータのかなりのセットを使わずに,新たなタスクへの知識の伝達を容易にする。 当社のアプローチであるCOLAは、LLMを最小限のトレーニングで効率よく新しいタスクを学習し、以前のタスクにおける重要なパフォーマンス劣化を解消し、早期のトレーニングデータを維持する必要をなくす。 タスク指向のダイアルージュシステムからインテント・クラスフィケーション・データセットまで,さまざまなデータセットに対する実証的な評価は,我々の手法が破滅的な忘れを克服するだけでなく,パラメータ使用量やメモリサイズを大幅に削減し,複数のタスクをまたいだ既存手法よりも優れていることを示す。

関連論文リスト

• Analytic Subspace Routing: How Recursive Least Squares Works in Continual Learning of Large Language Model [6.42114585934114]
  大規模言語モデル(LLM)には、多様な言語関連タスクを処理できる機能がある。 大規模言語モデル(LLM)における継続的な学習は、LLMを新しいタスクに継続的に適応させることを目的としている。 本稿では,これらの課題に対処するため,ASR(Analytic Subspace Routing)を提案する。
  論文  参考訳（メタデータ） (2025-03-17T13:40:46Z)
• Beyond Prompt Learning: Continual Adapter for Efficient Rehearsal-Free Continual Learning [22.13331870720021]
  C-ADA (Continuous Adapter) という,RFCL タスクに対する超高速学習手法を提案する。 C-ADAは、CALの特定の重みを柔軟に拡張し、各タスクの新たな知識を学び、古い重みを凍結して以前の知識を保存する。 提案手法は,現状のSOTA(State-of-the-art)法よりも優れ,性能とトレーニング速度を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-07-14T17:40:40Z)
• Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
  ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。 これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。 事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。 既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。 我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-07T12:19:37Z)
• Fine-Grained Knowledge Selection and Restoration for Non-Exemplar Class Incremental Learning [64.14254712331116]
  非典型的なクラスインクリメンタル学習は、過去のトレーニングデータにアクセスすることなく、新しいタスクと古いタスクの両方を学ぶことを目的としている。 本稿では, きめ細かい知識選択と復元のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-12-20T02:34:11Z)
• Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
  大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。 このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。 データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-31T03:35:59Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Center Loss Regularization for Continual Learning [0.0]
  一般的に、ニューラルネットワークには、さまざまなタスクを逐次学習する能力がない。 提案手法では,従来のタスクに近い新しいタスクの表現を投影することで,古いタスクを記憶する。 提案手法は,最先端の継続的学習手法と比較して,スケーラブルで効果的で,競争力のある性能を示す。
  論文  参考訳（メタデータ） (2021-10-21T17:46:44Z)
• Lifelong Learning of Few-shot Learners across NLP Tasks [45.273018249235705]
  私たちは、さまざまなNLPタスクのシーケンスを通じて、生涯学習の難しさを研究します。 アダプタウェイトの生成をいくつかの例から学ぶ,継続的なメタラーニングアプローチを提案する。 私たちのアプローチは、トレーニングタスクよりもモデルのパフォーマンスを維持し、将来のタスクが学習されるとポジティブな知識伝達につながります。
  論文  参考訳（メタデータ） (2021-04-18T10:41:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。