論文の概要: Exploiting the Semantic Knowledge of Pre-trained Text-Encoders for Continual Learning

• arxiv url: http://arxiv.org/abs/2408.01076v1
• Date: Fri, 2 Aug 2024 07:51:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-05 14:07:18.107652
• Title: Exploiting the Semantic Knowledge of Pre-trained Text-Encoders for Continual Learning
• Title（参考訳）: 継続学習のための事前学習型テキストエンコーダのセマンティック知識の活用
• Authors: Lu Yu, Zhe Tao, Hantao Yao, Joost Van de Weijer, Changsheng Xu,
• Abstract要約: 継続的な学習は、モデルが学習した知識を維持しながら、新しいデータから学習することを可能にする。 画像のラベル情報で利用できるセマンティック知識は、以前に取得したセマンティッククラスの知識と関連する重要なセマンティック情報を提供する。 テキスト埋め込みを用いて意味的類似性を把握し,タスク内およびタスク間のセマンティックガイダンスの統合を提案する。
• 参考スコア（独自算出の注目度）: 70.64617500380287
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Deep neural networks (DNNs) excel on fixed datasets but struggle with incremental and shifting data in real-world scenarios. Continual learning addresses this challenge by allowing models to learn from new data while retaining previously learned knowledge. Existing methods mainly rely on visual features, often neglecting the rich semantic information encoded in text. The semantic knowledge available in the label information of the images, offers important semantic information that can be related with previously acquired knowledge of semantic classes. Consequently, effectively leveraging this information throughout continual learning is expected to be beneficial. To address this, we propose integrating semantic guidance within and across tasks by capturing semantic similarity using text embeddings. We start from a pre-trained CLIP model, employ the \emph{Semantically-guided Representation Learning (SG-RL)} module for a soft-assignment towards all current task classes, and use the Semantically-guided Knowledge Distillation (SG-KD) module for enhanced knowledge transfer. Experimental results demonstrate the superiority of our method on general and fine-grained datasets. Our code can be found in https://github.com/aprilsveryown/semantically-guided-continual-learning.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、固定データセットに排他的だが、現実のシナリオでは、インクリメンタルなデータシフトに苦労する。 継続学習は、モデルが学習した知識を維持しながら、新しいデータから学習できるようにすることによって、この課題に対処する。 既存の手法は主に視覚的特徴に依存しており、しばしばテキストで符号化されたリッチな意味情報を無視する。 画像のラベル情報で利用できるセマンティック知識は、以前に取得したセマンティッククラスの知識と関連する重要なセマンティック情報を提供する。 その結果、継続的な学習を通じてこの情報を効果的に活用することは有益であることが期待される。 そこで本研究では,テキスト埋め込みを用いて意味的類似性を捉えることによって,タスク内およびタスク間のセマンティックガイダンスの統合を提案する。 事前訓練されたCLIPモデルから始まり、現在のすべてのタスククラスに対してソフトアサインメントを行うために \emph{Semantically-guided Representation Learning (SG-RL) モジュールを使用し、知識伝達を強化するために Semantically-guided Knowledge Distillation (SG-KD) モジュールを使用する。 実験結果から,本手法の汎用および微粒なデータセット上での優位性を示した。 私たちのコードは、https://github.com/aprilsveryown/semantically-guided-continual-learningで見られます。

関連論文リスト

• Enhancing Visual Continual Learning with Language-Guided Supervision [76.38481740848434]
  継続的な学習は、モデルが以前獲得した知識を忘れずに新しいタスクを学習できるようにすることを目的としている。 ワンホットラベルが伝達する少ない意味情報は,タスク間の効果的な知識伝達を妨げている,と我々は主張する。 具体的には, PLM を用いて各クラスのセマンティックターゲットを生成し, 凍結し, 監視信号として機能する。
  論文  参考訳（メタデータ） (2024-03-24T12:41:58Z)
• Online Continual Learning For Interactive Instruction Following Agents [20.100312650193228]
  このような学習シナリオは,ロボットエージェントが世界を探索し,知覚する上で,継続的に世界を学ぶことが求められているため,現実的ではない,と我々は主張する。 本研究では,新しい行動学習と新しい環境学習という,エンボディエージェントのための2つの連続学習環境を提案する。
  論文  参考訳（メタデータ） (2024-03-12T11:33:48Z)
• Premonition: Using Generative Models to Preempt Future Data Changes in Continual Learning [63.850451635362425]
  継続的な学習には、データ分散の継続的な変化に対応するためのモデルが必要である。 本稿では,大規模言語モデルと画像生成モデルの組み合わせが有用であることを示す。 トレーニング済みネットワークのバックボーンは、下流の連続学習問題に有用な表現を学習できることがわかった。
  論文  参考訳（メタデータ） (2024-03-12T06:29:54Z)
• Language Semantic Graph Guided Data-Efficient Learning [10.039953846594805]
  本稿では,自然言語記述として表されるラベルから構築した言語意味グラフ(LSG)を紹介する。 補助グラフニューラルネットワークは、ハイレベルな意味関係を抽出し、プライマリモデルのトレーニングをガイドするために使用される。 奥行き分析の結果,LSG法はトレーニングプロセスの高速化にも寄与することがわかった。
  論文  参考訳（メタデータ） (2023-11-15T08:54:57Z)
• COOLer: Class-Incremental Learning for Appearance-Based Multiple Object Tracking [32.47215340215641]
  本稿では,連続学習研究の範囲を,複数物体追跡(MOT)のためのクラス増分学習に拡張する。 オブジェクト検出器の連続学習のための従来のソリューションは、外見に基づくトラッカーのデータ関連ステージには対応していない。 我々は,Contrastive- and cOntinual-LearningベースのトラッカーであるCOOLerを紹介した。
  論文  参考訳（メタデータ） (2023-10-04T17:49:48Z)
• Recognizing Unseen Objects via Multimodal Intensive Knowledge Graph Propagation [68.13453771001522]
  画像の領域と対応するセマンティック埋め込みとをマッチングする多モード集中型ZSLフレームワークを提案する。 我々は、大規模な実世界のデータに基づいて、広範囲な実験を行い、そのモデルを評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:07:48Z)
• Semantic TrueLearn: Using Semantic Knowledge Graphs in Recommendation Systems [22.387120578306277]
  本研究は,意味的関連性を取り入れた国家認識型教育レコメンデーションシステムの構築を目指している。 本稿では,ウィキペディアリンクグラフを用いた学習リソースにおける知識コンポーネント間の意味的関連性を利用した,新しい学習モデルを提案する。 大規模データセットを用いた実験により,TrueLearnアルゴリズムの新たなセマンティックバージョンが,予測性能の面で統計的に有意な改善を実現していることが示された。
  論文  参考訳（メタデータ） (2021-12-08T16:23:27Z)
• K-XLNet: A General Method for Combining Explicit Knowledge with Language Model Pretraining [5.178964604577459]
  明示的な知識を活用することで、モデルの事前訓練を改善することに重点を置いています。 具体的には、まず知識グラフ(KG)から知識事実をマッチングし、次に直接変換器に知識命令層を追加する。 実験の結果,変圧器に外部知識を加えるだけで,多くのNLPタスクにおける学習性能が向上することが示された。
  論文  参考訳（メタデータ） (2021-03-25T06:14:18Z)
• ALICE: Active Learning with Contrastive Natural Language Explanations [69.03658685761538]
  本研究では,学習におけるデータ効率を向上させるために,AlICEを用いたアクティブラーニングを提案する。 ALICEは、まずアクティブラーニングを使用して、最も情報に富んだラベルクラスを選択し、対照的な自然言語の説明を引き出す。 意味的に抽出された知識を用いて、これらの説明から知識を抽出する。
  論文  参考訳（メタデータ） (2020-09-22T01:02:07Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。