論文の概要: Global Pre-fixing, Local Adjusting: A Simple yet Effective Contrastive Strategy for Continual Learning

• arxiv url: http://arxiv.org/abs/2509.15347v1
• Date: Thu, 18 Sep 2025 18:41:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-22 18:18:10.8691
• Title: Global Pre-fixing, Local Adjusting: A Simple yet Effective Contrastive Strategy for Continual Learning
• Title（参考訳）: グローバルな事前修正と局所調整:継続的学習のためのシンプルで効果的なコントラスト戦略
• Authors: Jia Tang, Xinrui Wang, Songcan Chen,
• Abstract要約: 我々はtextbf Supervised textbfContrastive Learning (GPLASC) のための textbfGlobal textbfPre-fixing, textbfLocal textbfAdjusting というコントラスト戦略を提案する。 具体的には、表現の単位超球面全体を非重複領域に分割し、各領域の中心がタスク間の事前固定を形成する。 個々のタスクに対して,本手法は特徴構造を制御し,内部を形成するのに役立つ。
• 参考スコア（独自算出の注目度）: 35.27260472296966
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning (CL) involves acquiring and accumulating knowledge from evolving tasks while alleviating catastrophic forgetting. Recently, leveraging contrastive loss to construct more transferable and less forgetful representations has been a promising direction in CL. Despite advancements, their performance is still limited due to confusion arising from both inter-task and intra-task features. To address the problem, we propose a simple yet effective contrastive strategy named \textbf{G}lobal \textbf{P}re-fixing, \textbf{L}ocal \textbf{A}djusting for \textbf{S}upervised \textbf{C}ontrastive learning (GPLASC). Specifically, to avoid task-level confusion, we divide the entire unit hypersphere of representations into non-overlapping regions, with the centers of the regions forming an inter-task pre-fixed \textbf{E}quiangular \textbf{T}ight \textbf{F}rame (ETF). Meanwhile, for individual tasks, our method helps regulate the feature structure and form intra-task adjustable ETFs within their respective allocated regions. As a result, our method \textit{simultaneously} ensures discriminative feature structures both between tasks and within tasks and can be seamlessly integrated into any existing contrastive continual learning framework. Extensive experiments validate its effectiveness.
• Abstract（参考訳）: 継続的な学習(CL)は、破滅的な忘れを緩和しながら、進化するタスクから知識を取得し、蓄積する。 近年, コントラスト損失を利用してより伝達性が高く, 忘れにくい表現を構築することが, CLにおける有望な方向性である。 進歩にもかかわらず、タスク間の特徴とタスク内特徴の両方から生じる混乱のため、パフォーマンスは依然として制限されている。 この問題に対処するために、簡単な反トラスト戦略である \textbf{G}lobal \textbf{P}re-fixing, \textbf{L}ocal \textbf{A}djusting for \textbf{S}upervised \textbf{C}ontrastive Learning (GPLASC)を提案する。 具体的には、タスクレベルの混乱を避けるために、表現の単位超球面全体を非重複領域に分割し、各領域の中心は、タスク間固定された \textbf{E}quiangular \textbf{T}ight \textbf{F}rame (ETF) を形成する。 一方,本手法は各タスクにおいて特徴構造を制御し,各領域内でタスク内調整可能なETFを形成するのに有効である。 その結果,タスク内とタスク内の両方で識別的特徴構造を保証し,既存のコントラスト的連続学習フレームワークにシームレスに統合することが可能となった。 大規模な実験は、その有効性を検証する。

関連論文リスト

• GNSP: Gradient Null Space Projection for Preserving Cross-Modal Alignment in VLMs Continual Learning [27.9960664846484]
  コントラスト言語-画像事前学習は、共有埋め込み空間における視覚的・テキスト的モダリティを整列させることにより、目覚ましいゼロショットの一般化を示した。 様々なタスクを継続的に微調整すると、CLIPはその埋め込みアライメントの破滅的な忘れ込みと劣化に悩まされる。 GNSP(Gradient Null Space Projection)は,タスク固有の勾配を以前に学習した知識のnull空間に投影する,効率的な連続学習手法である。
  論文  参考訳（メタデータ） (2025-07-26T07:22:12Z)
• Prompt-OT: An Optimal Transport Regularization Paradigm for Knowledge Preservation in Vision-Language Model Adaptation [5.296260279593993]
  CLIPのような視覚言語モデル(VLM)は、強力なパフォーマンスを示すが、下流タスクに適応する際には苦労する。 本稿では,特徴分布の構造的整合性を保つことにより,忘れを軽減できる最適トランスポート(OT)誘導型プロンプト学習フレームワークを提案する。 提案手法は,視覚とテキスト表現の両面に制約を課し,全体的な特徴の整合性を確保する。
  論文  参考訳（メタデータ） (2025-03-11T21:38:34Z)
• Fresh-CL: Feature Realignment through Experts on Hypersphere in Continual Learning [3.708456605408296]
  連続学習(Fresh-CL)におけるハイパーSpHereのエキスパートによる特徴認識手法を提案する。 本研究では,ETFの動的拡張を専門家の混合により提案し,様々な部分空間への適応射影を可能とし,特徴表現を向上する。 11のデータセットの実験では、最強のベースラインに比べて精度が2%向上した。
  論文  参考訳（メタデータ） (2025-01-04T05:20:53Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Region-aware Distribution Contrast: A Novel Approach to Multi-Task Partially Supervised Learning [50.88504784466931]
  マルチタスク密度予測にはセマンティックセグメンテーション、深さ推定、表面正規推定が含まれる。 既存のソリューションは通常、グローバルなクロスタスク画像マッチングのためのグローバルなイメージ表現の学習に依存している。 本提案では,ガウス分布を用いた地域表現をモデル化する。
  論文  参考訳（メタデータ） (2024-03-15T12:41:30Z)
• Self-regulating Prompts: Foundational Model Adaptation without Forgetting [112.66832145320434]
  本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
  論文  参考訳（メタデータ） (2023-07-13T17:59:35Z)
• Task-Adaptive Saliency Guidance for Exemplar-free Class Incremental Learning [60.501201259732625]
  EFCILにタスク適応型サリエンシを導入し、タスク適応型サリエンシ・スーパービジョン(TASS)と呼ばれる新しいフレームワークを提案する。 提案手法は,CIFAR-100, Tiny-ImageNet, ImageNet-Subset EFCILベンチマークを用いて,タスク間のサリエンシマップの保存や,最先端の成果の達成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-12-16T02:43:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。