論文の概要: A Framework of Meta Functional Learning for Regularising Knowledge Transfer

• arxiv url: http://arxiv.org/abs/2203.14840v1
• Date: Mon, 28 Mar 2022 15:24:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-29 13:34:40.516342
• Title: A Framework of Meta Functional Learning for Regularising Knowledge Transfer
• Title（参考訳）: 知識伝達の正規化のためのメタ機能学習フレームワーク
• Authors: Pan Li, Yanwei Fu and Shaogang Gong
• Abstract要約: 本研究では,データ豊富なタスクから一般化可能な関数型モデルをメタ学習することで,メタ関数型学習(MFL)の新たなフレームワークを提案する。 MFLは、限定ラベル付きデータに対する機能訓練が学習すべきより差別的な機能を促進することにより、異なる学習タスクに一般化可能な機能正規化に関するメタ知識を計算する。
• 参考スコア（独自算出の注目度）: 89.74127682599898
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning classifiers' capability is largely dependent on the scale of available training data and limited by the model overfitting in data-scarce learning tasks. To address this problem, this work proposes a novel framework of Meta Functional Learning (MFL) by meta-learning a generalisable functional model from data-rich tasks whilst simultaneously regularising knowledge transfer to data-scarce tasks. The MFL computes meta-knowledge on functional regularisation generalisable to different learning tasks by which functional training on limited labelled data promotes more discriminative functions to be learned. Based on this framework, we formulate three variants of MFL: MFL with Prototypes (MFL-P) which learns a functional by auxiliary prototypes, Composite MFL (ComMFL) that transfers knowledge from both functional space and representational space, and MFL with Iterative Updates (MFL-IU) which improves knowledge transfer regularisation from MFL by progressively learning the functional regularisation in knowledge transfer. Moreover, we generalise these variants for knowledge transfer regularisation from binary classifiers to multi-class classifiers. Extensive experiments on two few-shot learning scenarios, Few-Shot Learning (FSL) and Cross-Domain Few-Shot Learning (CD-FSL), show that meta functional learning for knowledge transfer regularisation can improve FSL classifiers.
• Abstract（参考訳）: 機械学習分類器の能力は、利用可能なトレーニングデータの規模に大きく依存し、データキャリア学習タスクのモデルオーバーフィットによって制限される。 そこで本研究では,データリッチタスクから一般化可能な関数モデルをメタ学習し,同時にデータキャリアタスクへの知識伝達を規則化するメタ機能学習(mfl)の新たな枠組みを提案する。 mflは、制限されたラベル付きデータに対する機能訓練が学習すべきより識別機能を促進する異なる学習タスクに一般化可能な機能正規化に関するメタ知識を計算する。 本枠組みに基づいて, 補助プロトタイプによる機能学習を行うMFLと, 機能空間と表現空間の両方から知識を伝達するComposite MFL(ComMFL)と, 知識伝達における機能正規化を段階的に学習することで, MFLからの知識伝達規則化を改善するMFL-IU(Iterative Updates)の3つの変種を定式化する。 さらに,バイナリ分類器から複数分類器への知識転送規則化のために,これらの変種を一般化する。 FSL(Few-Shot Learning)とCD-FSL(Cross-Domain Few-Shot Learning)の2つの事例において,知識伝達規則化のためのメタ関数学習がFSL分類法を改善することを示す。

関連論文リスト

• TaSL: Task Skill Localization and Consolidation for Language Model Continual Learning [41.28933724210434]
  言語モデル継続学習(CL)は、大規模な言語モデル(LLM)を、リトレーニングなしで動的現実のシナリオに適応できる能力に対して、近年大きな関心を集めている。 既存のアプローチでは、複数のパラメータ効率の細かい調整(PEFT)ブロックを使用してタスク固有の知識を取得するが、これらの手法は非効率であり、タスク間の潜在的な知識伝達を利用できない。 本稿では,タスクスキルのローカライゼーションと統合(TaSL)という,言語モデルのための新しいCLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-09T17:44:45Z)
• Interactive Continual Learning: Fast and Slow Thinking [19.253164551254734]
  本稿では,対話型連続学習フレームワークを提案する。 System1におけるメモリ検索を改善するために,von Mises-Fisher(vMF)分布に基づくCL-vMF機構を導入する。 提案したICLの包括的評価は,既存の手法と比較して,忘れられ,優れた性能を示す。
  論文  参考訳（メタデータ） (2024-03-05T03:37:28Z)
• SAPT: A Shared Attention Framework for Parameter-Efficient Continual Learning of Large Language Models [71.78800549517298]
  大規模言語モデル(LLM)を動的世界に展開するには,継続的な学習(CL)能力が不可欠である。 既存の方法は、パラメータ効率チューニング(PET)ブロックを用いてタスク固有の知識を取得するための学習モジュールと、テスト入力に対して対応するものを選択するための選択モジュールを考案する。 本稿では,共有注意学習と選択モジュールを通じてPET学習と選択を調整するための新しい共有注意フレームワーク(SAPT)を提案する。
  論文  参考訳（メタデータ） (2024-01-16T11:45:03Z)
• A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
  フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。 Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。 FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
  論文  参考訳（メタデータ） (2024-01-09T10:22:23Z)
• Federated Continual Learning via Knowledge Fusion: A Survey [33.74289759536269]
  FCL(Federated Continual Learning)は、フェデレートされた学習環境と継続的な学習環境の両方において、モデル学習に対処する新たなパラダイムである。 FCLの主な目的は、異なるクライアントからの異種知識を融合し、新しいタスクを学習しながら、以前のタスクの知識を保持することである。 本研究は,フェデレーション学習と継続学習をまず重視し,その統合,すなわちFCL,特にFCLを知識融合を通じて議論する。
  論文  参考訳（メタデータ） (2023-12-27T08:47:39Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• Challenges and Opportunities of Using Transformer-Based Multi-Task Learning in NLP Through ML Lifecycle: A Survey [0.6240603866868214]
  MTL(Multi-Task Learning)は,共同学習による効率向上とパフォーマンス向上のための,有望なアプローチとして登場した。 本稿では,機械学習ライフサイクルの典型的な段階を通じて,MLLアプローチを使用する上での課題と機会について論じる。 MTLと継続学習の両方を扱えるモデルを持つことは現実的だと思います。
  論文  参考訳（メタデータ） (2023-08-16T09:11:00Z)
• Learning without Forgetting for Vision-Language Models [65.49600786387106]
  CIL(Class-Incremental Learning)あるいは継続的学習(Continuous Learning)は、現実世界において望ましい能力である。 VLM(Vision-Language Models)の最近の進歩は、一般化可能な表現を学習する上で有望な能力を示している。 本稿では,VLM を忘れずに学習できる ProjectiOn Fusion (PROOF) を提案する。
  論文  参考訳（メタデータ） (2023-05-30T17:59:32Z)
• A Strong Baseline for Semi-Supervised Incremental Few-Shot Learning [54.617688468341704]
  少ないショット学習は、限られたトレーニングサンプルを持つ新しいクラスに一般化するモデルを学ぶことを目的としている。 本研究では,(1)信頼できない擬似ラベルによる基本クラスと新クラスのあいまいさを緩和する高度に設計されたメタトレーニングアルゴリズム,(2)ラベルの少ないデータとラベルなしデータを用いて基礎知識を保ちながら,新クラスの識別的特徴を学習するモデル適応機構を提案する。
  論文  参考訳（メタデータ） (2021-10-21T13:25:52Z)
• ProtoDA: Efficient Transfer Learning for Few-Shot Intent Classification [21.933876113300897]
  我々は,メタラーニングパラダイムの下で,原型ネットワークを用いた関連するタスクのアンサンブル上での伝達学習による代替的アプローチを採用する。 本研究は,意図分類を事例として,学習課題における多様性の増大が,分類性能を著しく向上させることを示した。
  論文  参考訳（メタデータ） (2021-01-28T00:19:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。