論文の概要: Prototype Optimization with Neural ODE for Few-Shot Learning
- arxiv url: http://arxiv.org/abs/2411.12259v1
- Date: Tue, 19 Nov 2024 06:17:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-20 13:36:40.829469
- Title: Prototype Optimization with Neural ODE for Few-Shot Learning
- Title（参考訳）: ニューラルネットワークによるFew-Shot学習のためのプロトタイプ最適化
- Authors: Baoquan Zhang, Shanshan Feng, Bingqi Shan, Xutao Li, Yunming Ye, Yew-Soon Ong,
- Abstract要約: FewShot Learningは、いくつかの例で新しいクラスを認識することを目的としている。
データ不足のため、平均ベースのプロトタイプは通常バイアスを受けます。
そこで本研究では,プロトタイプを最適化するメタ最適化手法を導入することで,プロトタイプを修正できる新しいプロトタイプ最適化フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 41.743442773121444
- License:
- Abstract: Few-Shot Learning (FSL) is a challenging task, which aims to recognize novel classes with few examples. Pre-training based methods effectively tackle the problem by pre-training a feature extractor and then performing class prediction via a cosine classifier with mean-based prototypes. Nevertheless, due to the data scarcity, the mean-based prototypes are usually biased. In this paper, we attempt to diminish the prototype bias by regarding it as a prototype optimization problem. To this end, we propose a novel prototype optimization framework to rectify prototypes, i.e., introducing a meta-optimizer to optimize prototypes. Although the existing meta-optimizers can also be adapted to our framework, they all overlook a crucial gradient bias issue, i.e., the mean-based gradient estimation is also biased on sparse data. To address this issue, in this paper, we regard the gradient and its flow as meta-knowledge and then propose a novel Neural Ordinary Differential Equation (ODE)-based meta-optimizer to optimize prototypes, called MetaNODE. Although MetaNODE has shown superior performance, it suffers from a huge computational burden. To further improve its computation efficiency, we conduct a detailed analysis on MetaNODE and then design an effective and efficient MetaNODE extension version (called E2MetaNODE). It consists of two novel modules: E2GradNet and E2Solver, which aim to estimate accurate gradient flows and solve optimal prototypes in an effective and efficient manner, respectively. Extensive experiments show that 1) our methods achieve superior performance over previous FSL methods and 2) our E2MetaNODE significantly improves computation efficiency meanwhile without performance degradation.
- Abstract（参考訳）: FSL(Few-Shot Learning)は、新しいクラスをいくつかの例で認識することを目的とした課題である。
事前学習に基づく手法は,特徴抽出器を事前学習し,平均型プロトタイプを用いたコサイン分類器を用いてクラス予測を行うことにより,この問題に効果的に対処する。
それでも、データ不足のため、平均ベースのプロトタイプは通常バイアスがかかる。
本稿では,プロトタイプ最適化問題として,プロトタイプのバイアスを低減しようとする。
そこで本研究では,プロトタイプを最適化するためのメタ最適化手法を導入する,新しいプロトタイプ最適化フレームワークを提案する。
既存のメタ最適化器も我々のフレームワークに適応できるが、それらはすべて重要な勾配バイアス問題、すなわち平均に基づく勾配推定もスパースデータに偏っている。
この問題に対処するため,本論文では,その勾配と流れをメタ知識とみなし,MetaNODEと呼ばれるプロトタイプを最適化するための新しいニューラル正規微分方程式(ODE)に基づくメタ最適化手法を提案する。
MetaNODEは優れた性能を示しているが、膨大な計算負荷に悩まされている。
計算効率をさらに向上するため,MetaNODEの詳細な解析を行い,効率的なMetaNODE拡張バージョン(E2MetaNODE)を設計する。
E2GradNet(英語版)とE2Solver(英語版)の2つの新しいモジュールで構成されており、それぞれが正確な勾配流を推定し、効率的な方法で最適なプロトタイプを解くことを目的としている。
大規模な実験は
1) 従来のFSL法よりも優れた性能を実現する。
2)E2MetaNODEは性能劣化のない計算効率を著しく向上させる。
関連論文リスト
- Improving Instance Optimization in Deformable Image Registration with Gradient Projection [7.6061804149819885]
変形可能な画像登録は本質的に多目的最適化問題である。
これらの矛盾する目的は、しばしば最適化結果の貧弱につながる。
ディープラーニングの手法は、大規模なデータセット処理の効率化により、最近この領域で人気を博している。
論文 参考訳（メタデータ） (2024-10-21T08:27:13Z) - ELRA: Exponential learning rate adaption gradient descent optimization
method [83.88591755871734]
我々は, 高速(指数率), ab initio(超自由)勾配に基づく適応法を提案する。
本手法の主な考え方は,状況認識による$alphaの適応である。
これは任意の次元 n の問題に適用でき、線型にしかスケールできない。
論文 参考訳（メタデータ） (2023-09-12T14:36:13Z) - Bidirectional Looking with A Novel Double Exponential Moving Average to
Adaptive and Non-adaptive Momentum Optimizers [109.52244418498974]
我々は,新しいtextscAdmeta(textbfADouble指数textbfMov averagtextbfE textbfAdaptiveおよび非適応運動量)フレームワークを提案する。
我々は、textscAdmetaR と textscAdmetaS の2つの実装を提供し、前者は RAdam を、後者は SGDM をベースとしています。
論文 参考訳（メタデータ） (2023-07-02T18:16:06Z) - End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。
我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
論文 参考訳（メタデータ） (2023-05-25T10:58:46Z) - Conservative Objective Models for Effective Offline Model-Based
Optimization [78.19085445065845]
計算設計の問題は、合成生物学からコンピュータアーキテクチャまで、様々な場面で発生している。
本研究では,分布外入力に対する接地的目標の実際の値を低くする目的関数のモデルを学習する手法を提案する。
COMは、様々なMBO問題に対して、既存のメソッドの実装と性能の面では単純である。
論文 参考訳（メタデータ） (2021-07-14T17:55:28Z) - SHINE: SHaring the INverse Estimate from the forward pass for bi-level
optimization and implicit models [15.541264326378366]
近年,深層ニューラルネットワークの深度を高める手法として暗黙の深度学習が登場している。
トレーニングは双レベル問題として実行され、その計算複雑性は巨大なヤコビ行列の反復反転によって部分的に駆動される。
本稿では,この計算ボトルネックに対処する新たな手法を提案する。
論文 参考訳（メタデータ） (2021-06-01T15:07:34Z) - Meta Hamiltonian Learning [0.0]
我々はメタラーニングとして知られる機械学習技術を用いて、このタスクのより効率的なドリフトを学習する。
メタ最適化器は,テストサンプルの平均損失において,他の最適化手法よりも優れていた。
論文 参考訳（メタデータ） (2021-04-09T16:01:34Z) - MetaNODE: Prototype Optimization as a Neural ODE for Few-Shot Learning [15.03769312691378]
Few-Shot Learningは、例が少なくて新しいクラスを認識する方法など、難しいタスクです。
本稿では,プロトタイプ最適化問題として,バイアスの低減を図る。
MetaNODEと呼ばれる新しいプロトタイプ最適化ベースのメタラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2021-03-26T09:16:46Z) - Meta Learning Black-Box Population-Based Optimizers [0.0]
人口ベースのブラックボックス一般化を推論するメタラーニングの利用を提案する。
メタロス関数は,学習アルゴリズムが検索動作を変更することを促進し,新たなコンテキストに容易に適合できることを示す。
論文 参考訳（メタデータ） (2021-03-05T08:13:25Z) - Meta-Learning with Neural Tangent Kernels [58.06951624702086]
メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。
このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。
本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
論文 参考訳（メタデータ） (2021-02-07T20:53:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。