論文の概要: LSA-PAST: Layer-Specific Adaptation and Prototype Transport for Compositional Incremental Learning
- arxiv url: http://arxiv.org/abs/2610.27203v1
- Date: Mon, 19 Oct 2026 19:37:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.483148
- Title: LSA-PAST: Layer-Specific Adaptation and Prototype Transport for Compositional Incremental Learning
- Title(参考訳): LSA-PAST:構成インクリメンタル学習のための層特異的適応とプロトタイプトランスポート
- Abstract要約: CIL(Class-Incremental Learning)は、モデルが事前知識を維持しながら、時間とともに新しいクラスを認識できるようにする。
本稿では,プロトタイプ・アンコレッド・アダプタ・スペース・トランスポート(LSA-PAST)を用いたレイヤ特化適応を提案する。
LSAはLow-Rank Adaptation (LoRA)を凍結したViTに統合し、状態、オブジェクト、合成のための奥行き特化アダプタを組み込む。
PASTは、過去のアンロックされたプロトタイプを現在のアダプタ空間にマッピングし、リハーサルのないアフィン変換を現在のタスクデータに適合させ、古いプロトタイプが新しいアダプタと互換性を保つことを可能にする。
- 参考スコア(独自算出の注目度): 10.301397801932856
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Class-Incremental Learning (CIL) enables models to recognize new classes over time while retaining prior knowledge, but many real-world problems are compositional, where visual concepts arise from combinations of primitives such as states (i.e., red, shiny) and objects (i.e., shoe, car). Standard CIL methods treat each composition as an independent class, ignoring shared primitives and providing no mechanism to stabilize their representations as new compositions arrive. This causes parameter updates to entangle primitives and induce drift that degrades performance on earlier compositions. Compositional Incremental Learning (composition-IL) formalizes this setting by introducing new state-object compositions across tasks. In this paper, we propose Layer-Specific Adaptation with Prototype-Anchored Adapter-Space Transport (LSA-PAST), a parameter-efficient method tailored to composition-IL. LSA integrates Low-Rank Adaptation (LoRA) into a frozen ViT with depth-specialized adapters for states, objects, and compositions. PAST then maps past, anchored prototypes into the current adapter space through a rehearsal-free affine transform fit on current-task data, enabling old prototypes to remain compatible with new adapters. Extensive experiments demonstrate that LSA-PAST achieves state-of-the-art (SOA) accuracy-forgetting trade-off performance for composition-IL.
- Abstract(参考訳): クラスインクリメンタルラーニング(Class-Incremental Learning、CIL)は、モデルが事前知識を維持しながら新しいクラスを認識することを可能にするが、現実の多くの問題は構成的であり、状態(赤、光沢)や物体(靴、車)といった原始的な概念の組み合わせから視覚的概念が生まれる。
標準のCILメソッドは、各コンポジションを独立したクラスとして扱い、共有プリミティブを無視し、新しいコンポジションが到着するにつれてそれらの表現を安定化するためのメカニズムを提供しない。
これにより、パラメータをアンタングルプリミティブに更新し、以前のコンポジションのパフォーマンスを低下させるドリフトを誘導する。
コンポジションインクリメンタルラーニング (Comppositional Incremental Learning: IL) は、タスクにまたがる新しいステートオブジェクトコンポジションを導入することで、この設定をフォーマル化する。
本稿では,コンポジションILに適したパラメータ効率の手法であるLSA-PAST(Prototype-Anchored Adapter-Space Transport)を提案する。
LSAはLow-Rank Adaptation (LoRA)を凍結したViTに統合し、状態、オブジェクト、合成のための奥行き特化アダプタを組み込む。
PASTは、過去のアンロックされたプロトタイプを現在のアダプタ空間にマッピングし、リハーサルのないアフィン変換を現在のタスクデータに適合させ、古いプロトタイプが新しいアダプタと互換性を保つことを可能にする。
大規模な実験により、LSA-PASTは、コンポジションILの最先端(SOA)の精度保証トレードオフ性能を達成することが実証された。
関連論文リスト
- Dynamic Context-oriented Decomposition for Task-aware Low-rank Adaptation with Less Forgetting and Faster Convergence [131.41894248194995]
タスク認識方式でアダプタを初期化する新しい手法であるコンテキスト指向分解適応(CorDA)を提案する。
本手法は,タスク認識により,知識保存モード (KPM) と命令レビューモード (IPM) の2つのオプション適応モードを実現する。
論文 参考訳(メタデータ) (2025-06-16T07:55:14Z) - CL-LoRA: Continual Low-Rank Adaptation for Rehearsal-Free Class-Incremental Learning [8.81873424028249]
CIL (Class-Incremental Learning) は、学習した授業の知識を維持しつつ、新しいクラスを逐次学習することを目的としている。
我々は,textbftask-sharedアダプタを併用して,クロスタスク知識とtextbftask-specific Adapter を学習し,各タスクのユニークな特徴を捉えた新しいデュアルアダプタアーキテクチャを提案する。
CL-LoRAは、トレーニングと推論の計算を減らし、複数のベンチマークで常に有望な性能を達成することを実証する。
論文 参考訳(メタデータ) (2025-05-30T17:19:52Z) - Dynamic Integration of Task-Specific Adapters for Class Incremental Learning [32.124078616314144]
非典型的なクラス インクリメンタルラーニング (NECIL) では、モデルがスクラッチからリトレーニングしたり、古いタスク インクリメンタルを格納したりすることなく、新しいクラスを継続的に取得できる。
本稿では,タスク特化アダプタ統合(TSAI)とパッチレベルモデルアライメントという,タスク特化アダプタの動的統合(DIA)という新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2024-09-23T13:01:33Z) - Graph-guided Cross-composition Feature Disentanglement for Compositional Zero-shot Learning [54.08741382593959]
合成ゼロショット学習(CZSL)において、プリミティブ(属性とオブジェクト)の視覚的特徴の歪みは例外的な結果を示した。
異なる構成にまたがる一般的な非絡み合った原始的特徴を学ぶことは困難である。
本稿では,複数のプリミティブ共有合成を入力として利用するクロスコンポジション特徴分散の解を提案する。
論文 参考訳(メタデータ) (2024-08-19T08:23:09Z) - CorDA: Context-Oriented Decomposition Adaptation of Large Language Models for Task-Aware Parameter-Efficient Fine-tuning [101.81127587760831]
現在の微調整手法は、学習すべき下流タスクのコンテキストや、維持すべき重要な知識のコンテキストに広く適用できるアダプタを構築している。
学習可能なタスク対応アダプタを構築するコンテキスト指向の分解適応手法であるCorDAを提案する。
本手法は,知識保存型適応と指導レビュー型適応の2つの選択肢を実現する。
論文 参考訳(メタデータ) (2024-06-07T19:10:35Z) - Expandable Subspace Ensemble for Pre-Trained Model-Based Class-Incremental Learning [65.57123249246358]
PTMベースのCILのためのExpAndable Subspace Ensemble (EASE)を提案する。
タスク固有のサブスペースを作成することを目的として、新しいタスクごとに異なる軽量アダプタモジュールをトレーニングする。
我々のプロトタイプ補完戦略は、古いクラスのインスタンスを使わずに、古いクラスの新機能を合成します。
論文 参考訳(メタデータ) (2024-03-18T17:58:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。