論文の概要: MetaNODE: Prototype Optimization as a Neural ODE for Few-Shot Learning

• arxiv url: http://arxiv.org/abs/2103.14341v1
• Date: Fri, 26 Mar 2021 09:16:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-29 12:42:32.268656
• Title: MetaNODE: Prototype Optimization as a Neural ODE for Few-Shot Learning
• Title（参考訳）: MetaNODE:Few-Shot Learningのためのニューラルネットワークとしてのプロトタイプ最適化
• Authors: Baoquan Zhang, Xutao Li, Yunming Ye, Shanshan Feng, Rui Ye
• Abstract要約: Few-Shot Learningは、例が少なくて新しいクラスを認識する方法など、難しいタスクです。 本稿では,プロトタイプ最適化問題として,バイアスの低減を図る。 MetaNODEと呼ばれる新しいプロトタイプ最適化ベースのメタラーニングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 15.03769312691378
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Few-Shot Learning (FSL) is a challenging task, i.e., how to recognize novel classes with few examples? Pre-training based methods effectively tackle the problem by pre-training a feature extractor and then predict novel classes via a nearest neighbor classifier with mean-based prototypes. Nevertheless, due to the data scarcity, the mean-based prototypes are usually biased. In this paper, we diminish the bias by regarding it as a prototype optimization problem. Although the existing meta-optimizers can also be applied for the optimization, they all overlook a crucial gradient bias issue, i.e., the mean-based gradient estimation is also biased on scarce data. Consequently, we regard the gradient itself as meta-knowledge and then propose a novel prototype optimization-based meta-learning framework, called MetaNODE. Specifically, we first regard the mean-based prototypes as initial prototypes, and then model the process of prototype optimization as continuous-time dynamics specified by a Neural Ordinary Differential Equation (Neural ODE). A gradient flow inference network is carefully designed to learn to estimate the continuous gradients for prototype dynamics. Finally, the optimal prototypes can be obtained by solving the Neural ODE using the Runge-Kutta method. Extensive experiments demonstrate that our proposed method obtains superior performance over the previous state-of-the-art methods. Our code will be publicly available upon acceptance.
• Abstract（参考訳）: 少数ショット学習(fsl)は難しい課題である。例を少なくして新しいクラスをどのように認識するか? 事前学習に基づく手法は,特徴抽出器の事前学習と,平均型プロトタイプを用いた近接クラス分類器による新しいクラス予測により,この問題に効果的に対処する。 それでも、データ不足のため、平均ベースのプロトタイプは通常バイアスがかかる。 本稿では,プロトタイプ最適化問題としてのバイアスを小さくする。 既存のメタ最適化は最適化にも適用できるが、いずれも重要な勾配バイアス問題、すなわち平均に基づく勾配推定は不足データにも偏りがある。 その結果,勾配自体をメタ知識とみなし,メタノードと呼ばれる新しい最適化ベースのメタ学習フレームワークを提案する。 具体的には、まず平均ベースのプロトタイプを初期プロトタイプとみなし、次にニューラル正規微分方程式(Neural ODE)で指定された連続時間ダイナミクスとしてプロトタイプ最適化のプロセスをモデル化する。 勾配流推論ネットワークは、プロトタイプダイナミクスの連続勾配を推定するために慎重に設計されている。 最後に、runge-kutta法を用いてニューラルネットワークodeを解いて最適なプロトタイプを得ることができる。 実験の結果,提案手法は従来の最先端手法よりも優れた性能を示した。 私たちのコードは受け入れ次第公開されます。

関連論文リスト

• Prototype Optimization with Neural ODE for Few-Shot Learning [41.743442773121444]
  FewShot Learningは、いくつかの例で新しいクラスを認識することを目的としている。 データ不足のため、平均ベースのプロトタイプは通常バイアスを受けます。 そこで本研究では,プロトタイプを最適化するメタ最適化手法を導入することで,プロトタイプを修正できる新しいプロトタイプ最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-19T06:17:25Z)
• A Coding-Theoretic Analysis of Hyperspherical Prototypical Learning Geometry [25.514947992281378]
  HPL(Hyperspherical Prototypeal Learning)は、単位超球面上のクラスプロトタイプを設計する表現学習における教師ありアプローチである。 これまでのHPLのアプローチには、以下の欠点がある: (i) 予想外の最適化手順に従う; (ii) 理論上は健全であるが、1つの潜在次元にのみ制約される。
  論文  参考訳（メタデータ） (2024-07-10T13:44:19Z)
• Gradient Guidance for Diffusion Models: An Optimization Perspective [45.6080199096424]
  本稿では,ユーザ特定目的の最適化に向けて,事前学習した拡散モデルを適用するための勾配ガイダンスの形式について検討する。 我々は,その最適化理論とアルゴリズム設計を体系的に研究するために,誘導拡散の数学的枠組みを確立する。
  論文  参考訳（メタデータ） (2024-04-23T04:51:02Z)
• Towards Theoretically Inspired Neural Initialization Optimization [66.04735385415427]
  我々は,ニューラルネットワークの初期状態を評価するための理論的知見を備えた,GradCosineという微分可能な量を提案する。 標準制約下でGradCosineを最大化することにより、ネットワークのトレーニングとテストの両方の性能を向上させることができることを示す。 サンプル分析から実際のバッチ設定に一般化されたNIOは、無視可能なコストで、より優れた初期化を自動で探すことができる。
  論文  参考訳（メタデータ） (2022-10-12T06:49:16Z)
• MACE: An Efficient Model-Agnostic Framework for Counterfactual Explanation [132.77005365032468]
  MACE(Model-Agnostic Counterfactual Explanation)の新たな枠組みを提案する。 MACE法では, 優れた反実例を見つけるための新しいRL法と, 近接性向上のための勾配のない降下法を提案する。 公開データセットの実験は、有効性、空間性、近接性を向上して検証する。
  論文  参考訳（メタデータ） (2022-05-31T04:57:06Z)
• Prototype Completion for Few-Shot Learning [13.63424509914303]
  少数ショット学習は、いくつかの例で新しいクラスを認識することを目的としている。 事前学習に基づく手法は,特徴抽出器を事前学習し,最寄りのセントロイド型メタラーニングを通して微調整することで,この問題に効果的に対処する。 本稿では,完成度に基づくメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-11T03:44:00Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• An AI-Assisted Design Method for Topology Optimization Without Pre-Optimized Training Data [68.8204255655161]
  トポロジ最適化に基づくAI支援設計手法を提示し、最適化された設計を直接的に得ることができる。 設計は、境界条件と入力データとしての充填度に基づいて、人工ニューラルネットワーク、予測器によって提供される。
  論文  参考訳（メタデータ） (2020-12-11T14:33:27Z)
• Prototype Completion with Primitive Knowledge for Few-Shot Learning [20.449056536438658]
  少ないショット学習は、新しいクラスのための分類器を少数の例で学習することを目的とした、難しい課題である。 事前学習に基づくメタラーニング手法は,特徴抽出器を事前学習し,最寄りのセントロイド型メタラーニングを通して微調整することで,この問題に効果的に対処する。 本稿では,完成度に基づくメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-09-10T16:09:34Z)
• A Primer on Zeroth-Order Optimization in Signal Processing and Machine Learning [95.85269649177336]
  ZO最適化は、勾配推定、降下方向、ソリューション更新の3つの主要なステップを反復的に実行する。 我々は,ブラックボックス深層学習モデルによる説明文の評価や生成,効率的なオンラインセンサ管理など,ZO最適化の有望な応用を実証する。
  論文  参考訳（メタデータ） (2020-06-11T06:50:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。