論文の概要: CoLeCLIP: Open-Domain Continual Learning via Joint Task Prompt and Vocabulary Learning

• arxiv url: http://arxiv.org/abs/2403.10245v1
• Date: Fri, 15 Mar 2024 12:28:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-18 17:20:54.833027
• Title: CoLeCLIP: Open-Domain Continual Learning via Joint Task Prompt and Vocabulary Learning
• Title（参考訳）: CoLeCLIP: 共同タスクプロンプトと語彙学習によるオープンドメイン連続学習
• Authors: Yukun Li, Guansong Pang, Wei Suo, Chenchen Jing, Yuling Xi, Lingqiao Liu, Hao Chen, Guoqiang Liang, Peng Wang,
• Abstract要約: 本稿では,CLIPに基づくオープンドメインCLモデルを学習する新しいアプローチであるCoLeCLIPを紹介する。 CoLeCLIPは、タスクとクラスインクリメンタルな学習設定の両方で、オープンドメインCLの最先端メソッドよりも優れています。
• 参考スコア（独自算出の注目度）: 38.063942750061585
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper explores the problem of continual learning (CL) of vision-language models (VLMs) in open domains, where the models need to perform continual updating and inference on a streaming of datasets from diverse seen and unseen domains with novel classes. Such a capability is crucial for various applications in open environments, e.g., AI assistants, autonomous driving systems, and robotics. Current CL studies mostly focus on closed-set scenarios in a single domain with known classes. Large pre-trained VLMs like CLIP have demonstrated superior zero-shot recognition ability, and a number of recent studies leverage this ability to mitigate catastrophic forgetting in CL, but they focus on closed-set CL in a single domain dataset. Open-domain CL of large VLMs is significantly more challenging due to 1) large class correlations and domain gaps across the datasets and 2) the forgetting of zero-shot knowledge in the pre-trained VLMs in addition to the knowledge learned from the newly adapted datasets. In this work we introduce a novel approach, termed CoLeCLIP, that learns an open-domain CL model based on CLIP. It addresses these challenges by a joint learning of a set of task prompts and a cross-domain class vocabulary. Extensive experiments on 11 domain datasets show that CoLeCLIP outperforms state-of-the-art methods for open-domain CL under both task- and class-incremental learning settings.
• Abstract（参考訳）: 本稿では,オープンドメインにおける視覚言語モデル(VLM)の連続的学習(CL)の問題について考察する。 このような能力は、オープンな環境、例えばAIアシスタント、自律運転システム、ロボット工学など、様々なアプリケーションに欠かせない。 現在のCL研究は主に、既知のクラスを持つ単一のドメインにおけるクローズド・セットのシナリオに焦点を当てている。 CLIPのような大規模な事前学習されたVLMは、ゼロショット認識能力に優れており、近年の多くの研究では、CLにおける破滅的な忘れを緩和する能力を活用しているが、それらは単一のドメインデータセットにおけるクローズドセットCLに焦点を当てている。 大きなVLMのオープンドメインCLは、より困難である。 1)データセット間の大きなクラス相関とドメインギャップ 2) 事前学習VLMにおけるゼロショット知識の忘れ, 新たに適応したデータセットから学習した知識に加えて, ゼロショット知識の忘れ方について検討した。 本稿では、CLIPに基づくオープンドメインCLモデルを学ぶ、CoLeCLIPと呼ばれる新しいアプローチを紹介する。 一連のタスクプロンプトとドメイン間のクラスボキャブラリを共同で学習することで、これらの課題に対処する。 11のドメインデータセットに対する大規模な実験は、CoLeCLIPがタスクとクラスインクリメンタルな学習設定の両方で、オープンドメインCLの最先端メソッドよりも優れていることを示している。

関連論文リスト

• Slowing Down Forgetting in Continual Learning [20.57872238271025]
  継続的学習(CL)における一般的な課題は、新しいタスクが学習された後に古いタスクのパフォーマンスが落ちることを忘れることである。 本稿では,ReCLと呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-11T12:19:28Z)
• Exploring Language Model Generalization in Low-Resource Extractive QA [57.14068405860034]
  ドメインドリフト下でのLarge Language Models (LLM) を用いた抽出質問応答(EQA)について検討する。 パフォーマンスギャップを実証的に説明するための一連の実験を考案する。
  論文  参考訳（メタデータ） (2024-09-27T05:06:43Z)
• Density Distribution-based Learning Framework for Addressing Online Continual Learning Challenges [4.715630709185073]
  オンライン連続学習のための密度分布に基づく学習フレームワークを提案する。 我々のフレームワークは、より優れた平均精度と時間空間効率を実現する。 提案手法は, CL のアプローチにおいて, 有意な差で優れる。
  論文  参考訳（メタデータ） (2023-11-22T09:21:28Z)
• AD-CLIP: Adapting Domains in Prompt Space Using CLIP [11.836764044083257]
  ドメインに依存しないCLIPのプロンプト学習戦略であるtextscAD-CLIPを導入する。 我々のプロンプトは、画像スタイルとコンテンツの特徴を同時に学習することで、ドメイン不変でクラス一般化できるように設計されている。 3つのベンチマークDAデータセットに対する実験により,既存の文献と比較して,textscAD-CLIPの有効性が示された。
  論文  参考訳（メタデータ） (2023-08-10T15:58:28Z)
• POP: Prompt Of Prompts for Continual Learning [59.15888651733645]
  継続的な学習(CL)は、破滅的な忘れをせずに新しい概念を学習する人間の能力を模倣することを目的としている。 POP学習を用いた基礎モデルでは,古典的なCL手法よりも優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-14T02:09:26Z)
• CL-CrossVQA: A Continual Learning Benchmark for Cross-Domain Visual Question Answering [31.983067109848342]
  CL-CrossVQAは、クロスドメイン視覚質問応答のための厳密な連続学習ベンチマークである。 我々は,4つのVLPM,4つのCLアプローチ,および5つのVQAデータセットに関する広範囲な実験を行った。
  論文  参考訳（メタデータ） (2022-11-19T02:43:30Z)
• Beyond Supervised Continual Learning: a Review [69.9674326582747]
  連続学習(Continuous Learning, CL)は、定常データ分布の通常の仮定を緩和または省略する機械学習のフレーバーである。 データ分布の変化は、いわゆる破滅的な忘れ(CF)効果、すなわち、過去の知識の突然の喪失を引き起こす可能性がある。 本稿では、CLを他の環境で研究する文献をレビューする。例えば、監督を減らした学習、完全に教師なしの学習、強化学習などである。
  論文  参考訳（メタデータ） (2022-08-30T14:44:41Z)
• The CLEAR Benchmark: Continual LEArning on Real-World Imagery [77.98377088698984]
  連続学習(CL)は、生涯AIにとって重要な課題であると考えられている。 本稿では,視覚概念の自然な時間進化を伴う最初の連続画像分類ベンチマークであるCLEARを紹介する。 単純な教師なし事前学習のステップで、最先端のCLアルゴリズムがすでに強化されていることが分かりました。
  論文  参考訳（メタデータ） (2022-01-17T09:09:09Z)
• Curriculum Learning for Reinforcement Learning Domains: A Framework and Survey [53.73359052511171]
  強化学習(Reinforcement Learning, RL)は、エージェントが限られた環境フィードバックしか持たないシーケンシャルな意思決定タスクに対処するための一般的なパラダイムである。 本稿では、RLにおけるカリキュラム学習(CL)の枠組みを提案し、既存のCLメソッドを仮定、能力、目標の観点から調査・分類する。
  論文  参考訳（メタデータ） (2020-03-10T20:41:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。