論文の概要: Leveraging Hierarchical Taxonomies in Prompt-based Continual Learning

• arxiv url: http://arxiv.org/abs/2410.04327v2
• Date: Wed, 20 Nov 2024 18:59:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:10:22.138268
• Title: Leveraging Hierarchical Taxonomies in Prompt-based Continual Learning
• Title（参考訳）: プロンプト型連続学習における階層型分類の活用
• Authors: Quyen Tran, Hoang Phan, Minh Le, Tuan Truong, Dinh Phung, Linh Ngo, Thien Nguyen, Nhat Ho, Trung Le,
• Abstract要約: 深層学習モデルの学習において,情報の整理・接続という人間の習慣を適用することが効果的な戦略として有効であることがわかった。 本稿では,モデルがより挑戦的な知識領域に集中するように促す新たな正規化損失関数を提案する。
• 参考スコア（独自算出の注目度）: 41.13568563835089
• License:
• Abstract: Drawing inspiration from human learning behaviors, this work proposes a novel approach to mitigate catastrophic forgetting in Prompt-based Continual Learning models by exploiting the relationships between continuously emerging class data. We find that applying human habits of organizing and connecting information can serve as an efficient strategy when training deep learning models. Specifically, by building a hierarchical tree structure based on the expanding set of labels, we gain fresh insights into the data, identifying groups of similar classes could easily cause confusion. Additionally, we delve deeper into the hidden connections between classes by exploring the original pretrained model's behavior through an optimal transport-based approach. From these insights, we propose a novel regularization loss function that encourages models to focus more on challenging knowledge areas, thereby enhancing overall performance. Experimentally, our method demonstrated significant superiority over the most robust state-of-the-art models on various benchmarks.
• Abstract（参考訳）: 人間の学習行動からインスピレーションを得たこの研究は、連続的に出現するクラスデータ間の関係を利用して、Promptベースの連続学習モデルにおける破滅的な忘れを緩和する新しいアプローチを提案する。 深層学習モデルの学習において,情報の整理・接続という人間の習慣を適用することが効果的な戦略として有効であることがわかった。 具体的には、拡大するラベルセットに基づいて階層木構造を構築することで、データに対する新たな洞察を得ることができ、類似したクラスのグループを特定することは、容易に混乱を引き起こす可能性がある。 さらに、私たちは、最適なトランスポートベースのアプローチを通じて、オリジナルの事前訓練されたモデルの振る舞いを探索することで、クラス間の隠れた接続を深く掘り下げる。 これらの知見から,モデルがより挑戦的な知識領域に集中し,全体的な性能を向上させるための新たな正規化損失関数を提案する。 実験により,本手法は様々なベンチマークにおいて,最も頑健な最先端モデルに対して有意な優位性を示した。

関連論文リスト

• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• Preserving Generalization of Language models in Few-shot Continual Relation Extraction [34.68364639170838]
  FCRE(Few-shot Continual Relations extract)は、新たな研究分野である。 本稿では,よく捨てられる言語モデルヘッドを活用する新しい手法を提案する。 提案手法の有効性を実証し,今後の研究に有用な知見を提供する。
  論文  参考訳（メタデータ） (2024-10-01T02:22:34Z)
• Reinforcement Learning Based Multi-modal Feature Fusion Network for Novel Class Discovery [47.28191501836041]
  本稿では,人間の認知過程をシミュレートするために強化学習フレームワークを用いる。 また,マルチモーダル情報から特徴を抽出・融合するマルチエージェントフレームワークをデプロイした。 我々は、OS-MN40、OS-MN40-Miss、Cifar10データセットを用いて、3Dドメインと2Dドメインの両方でのアプローチの性能を示す。
  論文  参考訳（メタデータ） (2023-08-26T07:55:32Z)
• Class-relation Knowledge Distillation for Novel Class Discovery [16.461242381109276]
  主な課題は、既知のクラスデータの知識を新しいクラスの学習に転送することである。 本稿では,既知のクラスに基づいて学習したモデルの予測クラス分布に基づいて,新しいクラスに対するクラス関係表現を提案する。 本稿では,クラス関係表現を利用して新しいクラスの学習を規則化する新しい知識蒸留フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-18T11:35:57Z)
• Mitigating Forgetting in Online Continual Learning via Contrasting Semantically Distinct Augmentations [22.289830907729705]
  オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。 主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
  論文  参考訳（メタデータ） (2022-11-10T05:29:43Z)
• Reinforcement Learning based Path Exploration for Sequential Explainable Recommendation [57.67616822888859]
  強化学習(TMER-RL)を活用した新しい時間的メタパスガイド型説明可能な勧告を提案する。 TMER-RLは, 動的知識グラフ上での動的ユーザ・イテム進化を逐次モデル化するために, 注意機構を持つ連続項目間の強化項目・イテムパスをモデル化する。 2つの実世界のデータセットに対するTMERの大規模な評価は、最近の強いベースラインと比較して最先端のパフォーマンスを示している。
  論文  参考訳（メタデータ） (2021-11-24T04:34:26Z)
• Model-based Meta Reinforcement Learning using Graph Structured Surrogate Models [40.08137765886609]
  グラフ構造化サーロゲートモデル (GSSM) と呼ばれるモデルが, 環境ダイナミクス予測における最先端の手法を上回っていることを示した。 当社のアプローチでは,テスト時間ポリシの勾配最適化を回避して,デプロイメント中の高速実行を実現しつつ,高いリターンを得ることができる。
  論文  参考訳（メタデータ） (2021-02-16T17:21:55Z)
• Behavior Priors for Efficient Reinforcement Learning [97.81587970962232]
  本稿では,情報とアーキテクチャの制約を,確率論的モデリング文献のアイデアと組み合わせて行動の事前学習を行う方法について考察する。 このような潜伏変数の定式化が階層的強化学習(HRL)と相互情報と好奇心に基づく目的との関係について論じる。 シミュレーションされた連続制御領域に適用することで,フレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2020-10-27T13:17:18Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)
• Learning From Multiple Experts: Self-paced Knowledge Distillation for Long-tailed Classification [106.08067870620218]
  我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。 提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。 提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-01-06T12:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。