論文の概要: Continual Knowledge Consolidation LORA for Domain Incremental Learning

• arxiv url: http://arxiv.org/abs/2510.16077v1
• Date: Fri, 17 Oct 2025 11:16:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 00:56:38.833674
• Title: Continual Knowledge Consolidation LORA for Domain Incremental Learning
• Title（参考訳）: ドメインインクリメンタル学習のための連続的知識統合LORA
• Authors: Naeem Paeedeh, Mahardhika Pratama, Weiping Ding, Jimmy Cao, Wolfgang Mayer, Ryszard Kowalczyk,
• Abstract要約: 連続知識統合低ランク適応(CONEC-LoRA)はDIL問題に対処する。 CONEC-LoRAはタスク共有LORAとタスク固有LORAの融合によって開発されている。 このモジュールは、合成サンプルバイアス問題に対処するために、ボールジェネレータ損失と変換モジュールを統合する。
• 参考スコア（独自算出の注目度）: 19.396572674271685
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Domain Incremental Learning (DIL) is a continual learning sub-branch that aims to address never-ending arrivals of new domains without catastrophic forgetting problems. Despite the advent of parameter-efficient fine-tuning (PEFT) approaches, existing works create task-specific LoRAs overlooking shared knowledge across tasks. Inaccurate selection of task-specific LORAs during inference results in significant drops in accuracy, while existing works rely on linear or prototype-based classifiers, which have suboptimal generalization powers. Our paper proposes continual knowledge consolidation low rank adaptation (CONEC-LoRA) addressing the DIL problems. CONEC-LoRA is developed from consolidations between task-shared LORA to extract common knowledge and task-specific LORA to embrace domain-specific knowledge. Unlike existing approaches, CONEC-LoRA integrates the concept of a stochastic classifier whose parameters are sampled from a distribution, thus enhancing the likelihood of correct classifications. Last but not least, an auxiliary network is deployed to optimally predict the task-specific LoRAs for inferences and implements the concept of a different-depth network structure in which every layer is connected with a local classifier to take advantage of intermediate representations. This module integrates the ball-generator loss and transformation module to address the synthetic sample bias problem. Our rigorous experiments demonstrate the advantage of CONEC-LoRA over prior arts in 4 popular benchmark problems with over 5% margins.
• Abstract（参考訳）: ドメインインクリメンタルラーニング(ドメインインクリメンタルラーニング、Domain Incremental Learning、DIL)は、新たなドメインの絶え間ない到着を、壊滅的な忘れることなく解決することを目的とした、継続的な学習サブブランチである。 パラメータ効率細調整(PEFT)アプローチの出現にもかかわらず、既存の研究はタスク間の共有知識を見渡すタスク固有のLoRAを作成する。 推論中のタスク固有のLORAの不正確な選択は精度を著しく低下させるが、既存の研究は線形あるいはプロトタイプベースの分類器に依存している。 本稿では,DIL問題に対するcontinuous knowledge consolidation low rank adapt (CONEC-LoRA)を提案する。 CONEC-LoRAは、共通知識を抽出するタスク共有LORAと、ドメイン固有知識を受け入れるタスク固有LORAとの融合から開発された。 既存のアプローチとは異なり、ConEC-LoRAは分布からパラメータをサンプリングする確率分類器の概念を統合し、正しい分類の可能性を高める。 最後に、推論のためのタスク固有のLoRAを最適に予測するために補助ネットワークが配置され、各レイヤがローカル分類器と接続されて中間表現を利用するような、異なる深度ネットワーク構造が実現される。 このモジュールは、合成サンプルバイアス問題に対処するために、ボールジェネレータ損失と変換モジュールを統合する。 我々の厳密な実験は、5%以上のマージンを持つ4つの一般的なベンチマーク問題において、先行技術よりもCONEC-LoRAの利点を実証している。

関連論文リスト

• CKAA: Cross-subspace Knowledge Alignment and Aggregation for Robust Continual Learning [80.18781219542016]
  継続的学習(CL)は、シーケンシャルなタスクストリームから継続的に学習するAIモデルに権限を与える。 近年,パラメータ効率のよい微調整(PEFT)によるCL法が注目されている。 ミスリード型タスクIDに対するロバスト性を高めるために,クロスサブスペース・ナレッジアライメント・アグリゲーション(CKAA)を提案する。
  論文  参考訳（メタデータ） (2025-07-13T03:11:35Z)
• ThanoRA: Task Heterogeneity-Aware Multi-Task Low-Rank Adaptation [96.86211867758652]
  Low-Rank Adaptation (LoRA) は、基礎モデルの下流の微調整に広く採用されている。 タスク不均一性を考慮したマルチタスク低ランク適応フレームワークであるTanoRAを提案する。
  論文  参考訳（メタデータ） (2025-05-24T11:01:45Z)
• SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。 既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。 クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)
• SoMA: Singular Value Decomposed Minor Components Adaptation for Domain Generalizable Representation Learning [6.262268096839562]
  ドメインの一般化は、1つまたは複数のソースドメインを使用してモデルを適応し、目に見えないターゲットドメインで堅牢なパフォーマンスを保証することを目的としています。 既存のPEFT手法は、事前訓練されたモデルの一般化可能なコンポーネントと学習タスク固有の特徴のバランスをとるのに苦労する。 Singular Value De Minor Components Adaptation (SoMA) を導入する。
  論文  参考訳（メタデータ） (2024-12-05T11:17:57Z)
• MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning [74.43869839954168]
  MTL能力を大幅に向上させながら、低ランク適応の利点を保ちつつ、MTL-LoRAを提案する。 MTL-LoRAは、タスク固有の情報を識別し、共有知識をキャプチャするタスク適応パラメータを追加することで、LoRAを強化する。 このアプローチにより、事前訓練されたモデルは、限られた数のトレーニング可能なパラメータで、異なるターゲットドメインに共同で適応することができる。
  論文  参考訳（メタデータ） (2024-10-12T08:32:26Z)
• Exploring Language Model Generalization in Low-Resource Extractive QA [57.14068405860034]
  ドメインドリフト下でのLarge Language Models (LLM) を用いた抽出質問応答(EQA)について検討する。 性能ギャップを実証的に説明するための一連の実験を考案する。
  論文  参考訳（メタデータ） (2024-09-27T05:06:43Z)
• More Than Catastrophic Forgetting: Integrating General Capabilities For Domain-Specific LLMs [40.54076184225558]
  大言語モデル(LLM)がドメイン固有のタスクに微調整された後に、一般的なタスクのパフォーマンスが低下する。 本稿では,一般能力統合(GCI)と呼ばれる,CFを越えたドメイン固有LLMの実適用に向けた課題について述べる。 GCIの目的は、新たに獲得した汎用能力を、新しいドメイン知識と共に保持するだけでなく、両方のスキルセットを結合的に調和して利用して、ドメイン固有のタスクのパフォーマンスを高めることである。
  論文  参考訳（メタデータ） (2024-05-28T05:00:12Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。