Fugu-MT 論文翻訳(概要): Episodic fine-tuning prototypical networks for optimization-based few-shot learning: Application to audio classification

論文の概要: Episodic fine-tuning prototypical networks for optimization-based few-shot learning: Application to audio classification

arxiv url: http://arxiv.org/abs/2410.05302v1
Date: Fri, 4 Oct 2024 12:39:29 GMT
ステータス: 処理完了
システム内更新日: 2024-11-01 19:37:51.371431
Title: Episodic fine-tuning prototypical networks for optimization-based few-shot learning: Application to audio classification
Title（参考訳）: 最適化に基づく少数ショット学習のためのエピソード微調整プロトタイプネットワーク:音声分類への応用
Authors: Xuanyu Zhuang, Geoffroy Peeters, Gaël Richard,
Abstract要約: Prototypeal Network(ProtoNet)は、Few-shot Learningのシナリオで一般的な選択肢として登場した。 C-way-K-shotテストエピソードのテストエピソードの(ラベル付き)サポートセット上でProtoNetを微調整する手法を提案する。提案したモデルであるMAML-ProtoとMC-Protoは,我々のユニークな微調整手法と組み合わせて,数ショットの音声分類タスクにおいて,通常のProtoNetよりも優れた性能を示す。
参考スコア（独自算出の注目度）: 13.5196633635749
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The Prototypical Network (ProtoNet) has emerged as a popular choice in Few-shot Learning (FSL) scenarios due to its remarkable performance and straightforward implementation. Building upon such success, we first propose a simple (yet novel) method to fine-tune a ProtoNet on the (labeled) support set of the test episode of a C-way-K-shot test episode (without using the query set which is only used for evaluation). We then propose an algorithmic framework that combines ProtoNet with optimization-based FSL algorithms (MAML and Meta-Curvature) to work with such a fine-tuning method. Since optimization-based algorithms endow the target learner model with the ability to fast adaption to only a few samples, we utilize ProtoNet as the target model to enhance its fine-tuning performance with the help of a specifically designed episodic fine-tuning strategy. The experimental results confirm that our proposed models, MAML-Proto and MC-Proto, combined with our unique fine-tuning method, outperform regular ProtoNet by a large margin in few-shot audio classification tasks on the ESC-50 and Speech Commands v2 datasets. We note that although we have only applied our model to the audio domain, it is a general method and can be easily extended to other domains.
Abstract（参考訳）: Prototypeal Network (ProtoNet) は、Few-shot Learning (FSL) のシナリオにおいて、目覚ましいパフォーマンスと簡単な実装のために一般的な選択肢として登場した。このような成功を前提として,我々はまず,C-way-K-shotテストエピソードのテストエピソードの(ラベル付き)サポートセット上でProtoNetを微調整する簡単な(yet novel)手法を提案する(評価にのみ使用されるクエリセットを使わずに)。そこで我々は,ProtoNetと最適化に基づくFSLアルゴリズム(MAMLとMeta-Curvature)を組み合わせるアルゴリズムフレームワークを提案する。最適化に基づくアルゴリズムは,少数のサンプルに対して高速適応が可能な学習者モデルを実現するため,ProtoNetをターゲットモデルとして利用し,特定の設計のエピソード微調整戦略の助けを借りて,その微調整性能を向上させる。実験結果から,提案モデルであるMAML-ProtoとMC-Protoが,独自の微調整手法と組み合わせて,ESC-50および音声コマンドv2データセットの音声分類タスクにおいて,プロトネットの差を大きく上回ったことが確認された。我々は、我々のモデルをオーディオ領域にのみ適用したが、それは一般的な方法であり、容易に他の領域に拡張できることに注意する。

関連論文リスト

Scaling LLM Inference with Optimized Sample Compute Allocation [56.524278187351925]
我々は、異なる推論構成の最適な混合を見つけるアルゴリズムであるOSCAを提案する。実験の結果,学習した混合アロケーションでは,最高の単一構成よりも精度がよいことがわかった。 OSCAはシングルターンタスク以外のエージェント処理にも有効であることが示されており、デフォルト設定よりも3倍少ない計算でSWE-Benchの精度が向上している。
論文参考訳（メタデータ） (2024-10-29T19:17:55Z)
Symmetrical Joint Learning Support-query Prototypes for Few-shot Segmentation [33.33249452130038]
クラス内変動の重要な問題に対処するFew-Shot(FSS)のための新しいフレームワークであるSym-Netを提案する。我々は、クエリとプロトタイプの両方を対称的に学習し、学習プロセスが他方よりも1つのセット(サポートまたはクエリ)を好まないようにします。実験の結果,提案したSym-Netは最先端モデルよりも優れていた。
論文参考訳（メタデータ） (2024-07-27T17:37:56Z)
Step-level Value Preference Optimization for Mathematical Reasoning [6.318873143509028]
SVPO(Step-level Value Preference Optimization)と呼ばれる新しいアルゴリズムを導入する。提案手法は,領域内および領域外両方の数学的推論ベンチマーク上での最先端性能を実現する。
論文参考訳（メタデータ） (2024-06-16T09:06:17Z)
Improving generalization in large language models by learning prefix subspaces [5.911540700785975]
本稿では、希少なデータ構造における大規模言語モデル(LLM)の微調整に焦点を当てる("few-shot"学習環境としても知られる)。ニューラルネットワーク部分空間に基づくLLMの一般化能力を向上させる手法を提案する。
論文参考訳（メタデータ） (2023-10-24T12:44:09Z)
Simple Pooling Front-ends For Efficient Audio Classification [56.59107110017436]
入力音声特徴量における時間的冗長性を排除することは,効率的な音声分類に有効な方法である可能性が示唆された。本稿では、単純な非パラメトリックプーリング操作を用いて冗長な情報を削減する単純なプールフロントエンド(SimPFs)のファミリーを提案する。 SimPFは、市販オーディオニューラルネットワークの浮動小数点演算数の半数以上を削減できる。
論文参考訳（メタデータ） (2022-10-03T14:00:41Z)
Exploiting Temporal Structures of Cyclostationary Signals for Data-Driven Single-Channel Source Separation [98.95383921866096]
単一チャネルソース分離(SCSS)の問題点について検討する。我々は、様々なアプリケーション領域に特に適するサイクロ定常信号に焦点を当てる。本稿では,最小MSE推定器と競合するU-Netアーキテクチャを用いたディープラーニング手法を提案する。
論文参考訳（メタデータ） (2022-08-22T14:04:56Z)
Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2022-06-12T04:42:49Z)
Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
論文参考訳（メタデータ） (2022-03-09T17:26:53Z)
Parameter Tuning Strategies for Metaheuristic Methods Applied to Discrete Optimization of Structural Design [0.0]
本稿では, 鉄筋コンクリート(RC)構造物の設計最適化のためのメタヒューリスティック手法のパラメータを調整するためのいくつかの手法を提案する。平均性能曲線の下での面積に基づいて, 実用性指標を提案する。
論文参考訳（メタデータ） (2021-10-12T17:34:39Z)
CSS-LM: A Contrastive Framework for Semi-supervised Fine-tuning of Pre-trained Language Models [59.49705076369856]
プレトレーニング言語モデル(PLM)の微調整フェーズを改善するための新しいフレームワークを提案する。大規模未ラベルコーパスから,タスクに対するドメインレベルおよびクラスレベルの意味的関連性に応じて,正および負のインスタンスを検索する。次に、検索したラベル付きおよびオリジナルラベル付きの両方のインスタンスに対して、対照的な半教師付き学習を行い、PLMが重要なタスク関連セマンティックな特徴をキャプチャするのを助ける。
論文参考訳（メタデータ） (2021-02-07T09:27:26Z)
Neural Model-based Optimization with Right-Censored Observations [42.530925002607376]
ニューラルネットワーク(NN)は、モデルベースの最適化手順のコアでうまく機能することが実証されている。トレーニングされた回帰モデルは,いくつかのベースラインよりも優れた予測品質が得られることを示す。
論文参考訳（メタデータ） (2020-09-29T07:32:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。