論文の概要: RECALL: REpresentation-aligned Catastrophic-forgetting ALLeviation via Hierarchical Model Merging

• arxiv url: http://arxiv.org/abs/2510.20479v1
• Date: Thu, 23 Oct 2025 12:17:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:17.846982
• Title: RECALL: REpresentation-aligned Catastrophic-forgetting ALLeviation via Hierarchical Model Merging
• Title（参考訳）: RECALL:階層的モデル統合による表象整列型破砕脱離
• Authors: Bowen Wang, Haiyuan Wan, Liwen Shi, Chen Yang, Peng He, Yue Ma, Haochen Han, Wenhao Li, Tiao Tan, Yongjian Li, Fangming Liu, Yifan Gong, Sheng Zhang,
• Abstract要約: 大規模言語モデル(LLM)の内部表現は、学習知識の信頼できるプロキシとして機能する。 本稿では,過去データにアクセスせずに連続的な学習を行うための表現認識モデル統合フレームワークRECALLを提案する。
• 参考スコア（独自算出の注目度）: 33.22889542330089
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We unveil that internal representations in large language models (LLMs) serve as reliable proxies of learned knowledge, and propose RECALL, a novel representation-aware model merging framework for continual learning without access to historical data. RECALL computes inter-model similarity from layer-wise hidden representations over clustered typical samples, and performs adaptive, hierarchical parameter fusion to align knowledge across models. This design enables the preservation of domain-general features in shallow layers while allowing task-specific adaptation in deeper layers. Unlike prior methods that require task labels or incur performance trade-offs, RECALL achieves seamless multi-domain integration and strong resistance to catastrophic forgetting. Extensive experiments across five NLP tasks and multiple continual learning scenarios show that RECALL outperforms baselines in both knowledge retention and generalization, providing a scalable and data-free solution for evolving LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)の内部表現が学習知識の信頼できるプロキシとして機能することを明らかにするとともに,過去データにアクセスせずに連続学習のための新しい表現認識モデル統合フレームワークであるRECALLを提案する。 RECALLは、クラスタ化された典型的なサンプルに対して階層的に隠された表現からモデル間の類似性を計算し、適応的で階層的なパラメータ融合を行い、モデル間で知識を整合させる。 この設計により、浅い層におけるドメイン・ジェネラルな特徴の保存が可能となり、より深い層におけるタスク固有の適応が可能となった。 タスクラベルやパフォーマンスのトレードオフを必要とする従来の方法とは異なり、RECALLはシームレスなマルチドメイン統合と破滅的な忘れ込みに対する強い抵抗を実現する。 5つのNLPタスクと複数の連続学習シナリオにわたる大規模な実験により、RECALLは知識保持と一般化の両方においてベースラインよりも優れており、LLMを進化させるスケーラブルでデータフリーなソリューションを提供する。

関連論文リスト

• Intrinsic Training Signals for Federated Learning Aggregation [13.540945877050525]
  フェデレートラーニング(FL)は、データプライバシを保持しながら、分散クライアント間で協調的なモデルトレーニングを可能にする。 この研究は、既存のトレーニング信号だけで効果的なモデルマージが達成できることを実証している。
  論文  参考訳（メタデータ） (2025-07-09T13:03:23Z)
• Query-Based Adaptive Aggregation for Multi-Dataset Joint Training Toward Universal Visual Place Recognition [10.8843105310375]
  クエリベースのアダプティブアグリゲーション(QAA)は、学習したクエリを参照コードブックとして活用する、新たな機能アグリゲーション技術である。 QAAは最先端モデルよりも優れており、データセット固有のモデルに匹敵するピーク性能を維持しつつ、多様なデータセット間でのバランスの取れた一般化を実現している。
  論文  参考訳（メタデータ） (2025-07-04T22:40:03Z)
• Merging Smarter, Generalizing Better: Enhancing Model Merging on OOD Data [16.462869377794316]
  マルチタスク学習(MTL)は、さまざまなタスクデータセットのモデルを同時にトレーニングして、共通の機能を利用する。 近年の研究では、複数の独立モデルパラメータをMTLの統一モデルにマージする努力が続けられている。 LwPTV (Layer-wise Pruning Task Vector) を提案する。
  論文  参考訳（メタデータ） (2025-06-10T11:34:23Z)
• LiNeS: Post-training Layer Scaling Prevents Forgetting and Enhances Model Merging [80.17238673443127]
  LiNeSは、微調整タスク性能を向上しつつ、事前訓練された一般化を維持するために設計されたポストトレーニング編集技術である。 LiNeSは、視覚と自然言語処理のさまざまなベンチマークにおいて、シングルタスクとマルチタスクの両方で大幅に改善されている。
  論文  参考訳（メタデータ） (2024-10-22T16:26:05Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Identifying Factual Inconsistencies in Summaries: Grounding LLM Inference via Task Taxonomy [48.29181662640212]
  事実的矛盾は、生成モデルによる忠実な要約にとって重要なハードルとなる。 我々は,要約中の不整合事実のキーエラータイプを集約し,ゼロショットと教師付きパラダイムの両方を容易にするためにそれらを組み込んだ。
  論文  参考訳（メタデータ） (2024-02-20T08:41:23Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• Improving Meta-learning for Low-resource Text Classification and Generation via Memory Imitation [87.98063273826702]
  本稿では,メモリ模倣メタラーニング(MemIML)手法を提案する。 本手法の有効性を証明するために理論的解析を行った。
  論文  参考訳（メタデータ） (2022-03-22T12:41:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。