論文の概要: Adapter-Enhanced Semantic Prompting for Continual Learning

• arxiv url: http://arxiv.org/abs/2412.11074v1
• Date: Sun, 15 Dec 2024 06:14:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:59:55.903745
• Title: Adapter-Enhanced Semantic Prompting for Continual Learning
• Title（参考訳）: 継続的学習のための適応型セマンティック・プロンプト
• Authors: Baocai Yin, Ji Zhao, Huajie Jiang, Ningning Hou, Yongli Hu, Amin Beheshti, Ming-Hsuan Yang, Yuankai Qi,
• Abstract要約: 継続学習(CL)は、モデルが進化するデータストリームに適応できるようにする。 従来のメソッドは通常、再生のために過去のデータを保持したり、新しい知識を学ぶためにモデルに追加のブランチを追加したりします。 本稿では,プロンプトチューニングとアダプタ技術を統合した軽量CLフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 91.63494614012362
• License:
• Abstract: Continual learning (CL) enables models to adapt to evolving data streams. A major challenge of CL is catastrophic forgetting, where new knowledge will overwrite previously acquired knowledge. Traditional methods usually retain the past data for replay or add additional branches in the model to learn new knowledge, which has high memory requirements. In this paper, we propose a novel lightweight CL framework, Adapter-Enhanced Semantic Prompting (AESP), which integrates prompt tuning and adapter techniques. Specifically, we design semantic-guided prompts to enhance the generalization ability of visual features and utilize adapters to efficiently fuse the semantic information, aiming to learn more adaptive features for the continual learning task. Furthermore, to choose the right task prompt for feature adaptation, we have developed a novel matching mechanism for prompt selection. Extensive experiments on three CL datasets demonstrate that our approach achieves favorable performance across multiple metrics, showing its potential for advancing CL.
• Abstract（参考訳）: 継続学習(CL)は、モデルが進化するデータストリームに適応できるようにする。 CLの大きな課題は破滅的な忘れことであり、そこでは、新しい知識が以前獲得した知識を上書きする。 従来のメソッドは通常、リプレイのために過去のデータを保持したり、新しい知識を学ぶためにモデルに追加のブランチを追加したりします。 本稿では,新しい軽量CLフレームワークであるAdapter-Enhanced Semantic Prompting (AESP)を提案する。 具体的には,視覚的特徴の一般化能力を高めるためにセマンティック誘導プロンプトを設計し,セマンティック情報を効率的に融合させるアダプタを用いて,継続学習タスクのより適応的な特徴を学習することを目的とする。 さらに,特徴適応のための適切なタスクプロンプトを選択するために,プロンプト選択のための新しいマッチング機構を開発した。 3つのCLデータセットに対する大規模な実験により、我々のアプローチは複数のメトリクスで良好なパフォーマンスを達成し、CLを前進させる可能性を示している。

関連論文リスト

• LW2G: Learning Whether to Grow for Prompt-based Continual Learning [15.766350352592331]
  最近のPrompt-based Continual Learning (PCL) は、事前学習モデル(PTM)による顕著なパフォーマンスを実現している。 我々は,タスク間の相違に基づいて,成長するかどうか (LW2G) をtextbfLearn Wearn に送信するプラグインモジュールを提案する。 グラディエント・プロジェクションの継続学習にインスパイアされたLW2Gは、Hinder Forward Capability(HFC)と呼ばれるメトリクスを開発し、新しいタスクの学習に課される障害を測定する。
  論文  参考訳（メタデータ） (2024-09-27T15:55:13Z)
• Auto-selected Knowledge Adapters for Lifelong Person Re-identification [54.42307214981537]
  Lifelong Person Re-Identificationは、異なる時間と場所にわたる重複しないデータセットから継続的に学習するシステムを必要とする。 リハーサルのない、あるいはリハーサルベースの既存のアプローチは、依然として破滅的な忘れ込みの問題に悩まされている。 本稿では,知識アダプタを採用した新しいフレームワークであるAdalReIDと,生涯学習のためのパラメータフリー自動選択機構を提案する。
  論文  参考訳（メタデータ） (2024-05-29T11:42:02Z)
• Convolutional Prompting meets Language Models for Continual Learning [4.115213208594654]
  継続学習(CL)により、機械学習モデルは、古いタスクからのデータなしで、新しいトレーニングデータを継続的にシフトすることから学ぶことができる。 ConvPromptは、階層的に共有された埋め込みを維持する新しい畳み込みプロンプト生成機構である。 畳み込みのインテリジェントな利用により、パフォーマンスを損なうことなく、低パラメータのオーバーヘッドを維持することができます。
  論文  参考訳（メタデータ） (2024-03-29T17:40:37Z)
• Class Incremental Learning with Pre-trained Vision-Language Models [59.15538370859431]
  本稿では、事前学習された視覚言語モデル(例えば、CLIP)を利用して、さらなる適応を可能にするアプローチを提案する。 いくつかの従来のベンチマークの実験は、常に現在の最先端よりも顕著な改善のマージンを示している。
  論文  参考訳（メタデータ） (2023-10-31T10:45:03Z)
• Learning without Forgetting for Vision-Language Models [65.49600786387106]
  CIL(Class-Incremental Learning)あるいは継続的学習(Continuous Learning)は、現実世界において望ましい能力である。 VLM(Vision-Language Models)の最近の進歩は、一般化可能な表現を学習する上で有望な能力を示している。 本稿では,VLM を忘れずに学習できる ProjectiOn Fusion (PROOF) を提案する。
  論文  参考訳（メタデータ） (2023-05-30T17:59:32Z)
• Tip-Adapter: Training-free Adaption of CLIP for Few-shot Classification [58.06983806317233]
  対照的に、CLIPとして知られる事前学習は、大規模な画像テキストペアを使用して視覚表現を学ぶための新しいパラダイムを提供する。 CLIPの適応性を高めるため、既存のメソッドは学習可能なモジュールを微調整する。 そこで本研究では,Tip-Adapterと呼ばれる少数ショット分類を行うためのCLIPのトレーニングフリー適応手法を提案する。
  論文  参考訳（メタデータ） (2022-07-19T19:12:11Z)
• Effects of Auxiliary Knowledge on Continual Learning [16.84113206569365]
  連続学習(CL)では、ニューラルネットワークは、時間とともに分布が変化するデータのストリームに基づいて訓練される。 既存のCLアプローチのほとんどは、獲得した知識を保存するソリューションを見つけることに重点を置いている。 モデルが新しいタスクを継続的に学習する必要があるため、タスク学習の後に改善する可能性のある現在の知識に焦点を合わせることも重要である、と我々は主張する。
  論文  参考訳（メタデータ） (2022-06-03T14:31:59Z)
• CLIP-Adapter: Better Vision-Language Models with Feature Adapters [79.52844563138493]
  即時チューニング以外に、より良い視覚言語モデルを実現するための代替経路があることが示される。 本稿では,CLIP-Adapterを提案する。 様々な視覚的分類タスクの実験および広範囲なアブレーション研究は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2021-10-09T11:39:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。