論文の概要: ProtoDiff: Learning to Learn Prototypical Networks by Task-Guided Diffusion

• arxiv url: http://arxiv.org/abs/2306.14770v2
• Date: Mon, 6 Nov 2023 21:59:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-08 19:18:01.621279
• Title: ProtoDiff: Learning to Learn Prototypical Networks by Task-Guided Diffusion
• Title（参考訳）: ProtoDiff: タスクガイド拡散によるプロトタイプネットワークの学習
• Authors: Yingjun Du, Zehao Xiao, Shengcai Liao, Cees Snoek
• Abstract要約: プロトタイプベースのメタ学習は、数発の学習課題に対処するための強力なテクニックとして登場した。 ランダムノイズからタスク固有のプロトタイプを徐々に生成するフレームワークであるProtoDiffを紹介する。 我々は、基礎となるプロトタイプの分布を正確に捉える能力を示すために、徹底的なアブレーション研究を行っている。
• 参考スコア（独自算出の注目度）: 44.805452233966534
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prototype-based meta-learning has emerged as a powerful technique for addressing few-shot learning challenges. However, estimating a deterministic prototype using a simple average function from a limited number of examples remains a fragile process. To overcome this limitation, we introduce ProtoDiff, a novel framework that leverages a task-guided diffusion model during the meta-training phase to gradually generate prototypes, thereby providing efficient class representations. Specifically, a set of prototypes is optimized to achieve per-task prototype overfitting, enabling accurately obtaining the overfitted prototypes for individual tasks. Furthermore, we introduce a task-guided diffusion process within the prototype space, enabling the meta-learning of a generative process that transitions from a vanilla prototype to an overfitted prototype. ProtoDiff gradually generates task-specific prototypes from random noise during the meta-test stage, conditioned on the limited samples available for the new task. Furthermore, to expedite training and enhance ProtoDiff's performance, we propose the utilization of residual prototype learning, which leverages the sparsity of the residual prototype. We conduct thorough ablation studies to demonstrate its ability to accurately capture the underlying prototype distribution and enhance generalization. The new state-of-the-art performance on within-domain, cross-domain, and few-task few-shot classification further substantiates the benefit of ProtoDiff.
• Abstract（参考訳）: プロトタイプベースのメタラーニングは、数少ない学習課題に対処する強力なテクニックとして登場した。 しかし、限られた例から単純な平均関数を用いて決定論的プロトタイプを推定することは脆弱なプロセスである。 この制限を克服するために,メタトレーニングフェーズ中にタスク誘導拡散モデルを活用する新しいフレームワークであるProtoDiffを導入し,プロトタイプを段階的に生成し,効率的なクラス表現を提供する。 具体的には、タスク毎のプロトタイプのオーバーフィットを達成するために一連のプロトタイプが最適化され、個々のタスクにオーバーフィットしたプロトタイプを正確に得ることができる。 さらに,プロトタイプ空間内にタスク誘導拡散プロセスを導入することで,バニラプロトタイプから過剰に適合したプロトタイプへ遷移する生成過程のメタラーニングを可能にする。 ProtoDiffは、メタテスト段階でランダムノイズからタスク固有のプロトタイプを徐々に生成し、新しいタスクで利用可能な限られたサンプルに条件付けする。 さらに,訓練の迅速化とProtoDiffの性能向上を図るため,残余プロトタイプの空間性を活用した残余プロトタイプ学習を提案する。 我々は,基礎となるプロトタイプ分布を正確に把握し,一般化を促進する能力を示すため,徹底的なアブレーション研究を行う。 ドメイン内、クロスドメイン、および少数タスクの少数ショット分類における新しい最先端のパフォーマンスは、ProtoDiffのメリットをさらに裏付けるものだ。

関連論文リスト

• Mixture of Gaussian-distributed Prototypes with Generative Modelling for Interpretable and Trustworthy Image Recognition [15.685927265270085]
  ガウス分布プロトタイプ(MGProto)の混合(mixture of Gaussian-Distributed Prototypes)と呼ばれるプロトタイプ分布を学習するための新しい生成パラダイムを提案する。 MGProtoは最先端の画像認識とOoD検出性能を実現し,解釈可能性の向上を実現している。
  論文  参考訳（メタデータ） (2023-11-30T11:01:37Z)
• Learning Transferable Conceptual Prototypes for Interpretable Unsupervised Domain Adaptation [79.22678026708134]
  本稿では,Transferable Prototype Learning (TCPL) という,本質的に解釈可能な手法を提案する。 この目的を達成するために、ソースドメインからターゲットドメインにカテゴリの基本概念を転送する階層的なプロトタイプモジュールを設計し、基礎となる推論プロセスを説明するためにドメイン共有プロトタイプを学習する。 総合的な実験により,提案手法は有効かつ直感的な説明を提供するだけでなく,従来の最先端技術よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-10-12T06:36:41Z)
• Boundary-Refined Prototype Generation: A General End-to-End Paradigm for Semi-Supervised Semantic Segmentation [34.88132191766558]
  原型に基づく分類は機械学習の古典的手法であり,近年,半教師付きセマンティックセマンティックセグメンテーションにおいて顕著な成功を収めている。 そこで本研究では,BRPG(Border-refined prototype generation)法を提案する。 提案手法は,クラス境界に近いプロトタイプを生成することを目的として,信頼性しきい値に基づいて,高信頼度と低信頼度の特徴を別々にサンプリングし,クラスタ化する。
  論文  参考訳（メタデータ） (2023-07-19T16:12:37Z)
• Dual Prototypical Contrastive Learning for Few-shot Semantic Segmentation [55.339405417090084]
  本稿では,FSSタスクに適合する2つの特徴的コントラスト学習手法を提案する。 第一の考え方は、プロトタイプの特徴空間におけるクラス内距離を減少させながら、クラス間距離を増やすことで、プロトタイプをより差別的にすることである。 提案手法は,PASCAL-5iおよびCOCO-20iデータセット上で,最先端のFSS手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-09T08:14:50Z)
• Prototype Completion for Few-Shot Learning [13.63424509914303]
  少数ショット学習は、いくつかの例で新しいクラスを認識することを目的としている。 事前学習に基づく手法は,特徴抽出器を事前学習し,最寄りのセントロイド型メタラーニングを通して微調整することで,この問題に効果的に対処する。 本稿では,完成度に基づくメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-11T03:44:00Z)
• Attentional Prototype Inference for Few-Shot Segmentation [128.45753577331422]
  数発のセグメンテーションのための確率的潜在変数フレームワークである注意型プロトタイプ推論(API)を提案する。 我々は各オブジェクトカテゴリのプロトタイプを表現するためにグローバル潜在変数を定義し、確率分布としてモデル化する。 我々は4つのベンチマークで広範な実験を行い、提案手法は最先端のプロトタイプベースの手法よりも、少なくとも競争力があり、しばしば優れた性能が得られる。
  論文  参考訳（メタデータ） (2021-05-14T06:58:44Z)
• Prototype Completion with Primitive Knowledge for Few-Shot Learning [20.449056536438658]
  少ないショット学習は、新しいクラスのための分類器を少数の例で学習することを目的とした、難しい課題である。 事前学習に基づくメタラーニング手法は,特徴抽出器を事前学習し,最寄りのセントロイド型メタラーニングを通して微調整することで,この問題に効果的に対処する。 本稿では,完成度に基づくメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-09-10T16:09:34Z)
• Learning Sparse Prototypes for Text Generation [120.38555855991562]
  プロトタイプ駆動のテキスト生成は、トレーニングコーパス全体の保存とインデックスを必要とするため、テスト時に非効率である。 本稿では,言語モデリング性能を向上するスパースなプロトタイプサポートセットを自動的に学習する新しい生成モデルを提案する。 実験では,1000倍のメモリ削減を実現しつつ,従来のプロトタイプ駆動型言語モデルよりも優れていた。
  論文  参考訳（メタデータ） (2020-06-29T19:41:26Z)
• Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
  原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。 PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。 PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
  論文  参考訳（メタデータ） (2020-05-11T09:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。