論文の概要: Episode-specific Fine-tuning for Metric-based Few-shot Learners with Optimization-based Training

• arxiv url: http://arxiv.org/abs/2506.17499v1
• Date: Fri, 20 Jun 2025 22:24:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:36.443134
• Title: Episode-specific Fine-tuning for Metric-based Few-shot Learners with Optimization-based Training
• Title（参考訳）: 最適化型学習者のためのエピソード特化ファインチューニング
• Authors: Xuanyu Zhuang, Geoffroy Peeters, Gaël Richard,
• Abstract要約: メトリックベースのモデルは、クエリの類似性を計算し、学習されたメトリック空間内の埋め込みをサポートする。 ラベル付けされていないクエリサンプルの分類を支援するため、推論中にラベル付きサポートサンプルの小さなセットが提供される。 そこで本研究では,メトリックベースモデルに対して,単純なエピソード固有かつ効果的なインジェクションの微調整手法を提案する。
• 参考スコア（独自算出の注目度）: 13.5196633635749
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In few-shot classification tasks (so-called episodes), a small set of labeled support samples is provided during inference to aid the classification of unlabeled query samples. Metric-based models typically operate by computing similarities between query and support embeddings within a learned metric space, followed by nearest-neighbor classification. However, these labeled support samples are often underutilized--they are only used for similarity comparison, despite their potential to fine-tune and adapt the metric space itself to the classes in the current episode. To address this, we propose a series of simple yet effective episode-specific, during-inference fine-tuning methods for metric-based models, including Rotational Division Fine-Tuning (RDFT) and its two variants, Iterative Division Fine-Tuning (IDFT) and Augmented Division Fine-Tuning (ADFT). These methods construct pseudo support-query pairs from the given support set to enable fine-tuning even for non-parametric models. Nevertheless, the severely limited amount of data in each task poses a substantial risk of overfitting when applying such fine-tuning strategies. To mitigate this, we further propose to train the metric-based model within an optimization-based meta-learning framework. With the combined efforts of episode-specific fine-tuning and optimization-based meta-training, metric-based models are equipped with the ability to rapidly adapt to the limited support samples during inference while avoiding overfitting. We validate our approach on three audio datasets from diverse domains, namely ESC-50 (environmental sounds), Speech Commands V2 (spoken keywords), and Medley-solos-DB (musical instrument). Experimental results demonstrate that our approach consistently improves performance for all evaluated metric-based models (especially for attention-based models) and generalizes well across different audio domains.
• Abstract（参考訳）: 少数の分類タスク(いわゆるエピソード)では、ラベル付きサポートサンプルの小さなセットが推論中に提供され、ラベルなしクエリサンプルの分類を支援する。 メトリックベースのモデルは通常、クエリと学習されたメトリック空間内のサポート埋め込みの類似性を計算し、次に最も近い隣の分類を行う。 しかしながら、これらのラベル付きサポートサンプルは、しばしば未使用であり、類似性比較にのみ使用される。 そこで本研究では,回転分割ファインチューニング (RDFT) とその2つの変種である反復分割ファインチューニング (IDFT) と拡張分割ファインチューニング (ADFT) を含む,メートル法に基づくモデルに対する単純なエピソード固有かつ効果的なインジェクションファインチューニング手法を提案する。 これらの手法は、パラメトリックでないモデルであっても微調整を可能にするために、所定のサポートセットから擬似的なサポートクエリペアを構成する。 それでも、各タスクにおけるデータ量が著しく制限されることは、このような微調整戦略を適用する際に、過度に適合するリスクを生じさせる。 これを軽減するため,最適化に基づくメタラーニングフレームワークにおいて,メートル法に基づくモデルをトレーニングすることを提案する。 エピソード固有の微調整と最適化に基づくメタトレーニングの組み合わせにより、メトリックベースのモデルは、オーバーフィッティングを回避しつつ、推論中に限られたサポートサンプルに迅速に適応する能力を備えている。 ESC-50(環境音)、音声コマンドV2(音声キーワード)、Medley-solos-DB(音楽楽器)の3つの領域からの音声データセットに対するアプローチを検証する。 実験結果から,提案手法は評価基準モデル(特に注意基準モデル)の性能を一貫して改善し,異なる音声領域にまたがる一般化を図っている。

関連論文リスト

• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Comparative Analysis of Different Efficient Fine Tuning Methods of Large Language Models (LLMs) in Low-Resource Setting [0.0]
  我々は、大規模言語モデル(LLM)の様々な微調整戦略の理解を深めようとしている。 我々は,2つのデータセット(COLAとMNLI)で事前学習したモデルに対して,バニラファインチューニングやPBFT(Pattern-Based Fine-Tuning)のような最先端の手法を比較した。 以上の結果から,バニラFTやPBFTに匹敵する領域外一般化が期待できる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-05-21T20:08:52Z)
• Rethinking Few-shot 3D Point Cloud Semantic Segmentation [62.80639841429669]
  本稿では,FS-PCSによる3Dポイント・クラウドセマンティックセマンティックセグメンテーションについて再検討する。 我々は、最先端の2つの重要な問題、前景の漏洩とスパースポイントの分布に焦点をあてる。 これらの問題に対処するために、新しいベンチマークを構築するための標準化されたFS-PCS設定を導入する。
  論文  参考訳（メタデータ） (2024-03-01T15:14:47Z)
• Variable Importance Matching for Causal Inference [73.25504313552516]
  これらの目標を達成するためのModel-to-Matchと呼ばれる一般的なフレームワークについて説明する。 Model-to-Matchは、距離メートル法を構築するために変数重要度測定を使用する。 LASSO を用いて Model-to-Match フレームワークを運用する。
  論文  参考訳（メタデータ） (2023-02-23T00:43:03Z)
• Adaptive Meta-learner via Gradient Similarity for Few-shot Text Classification [11.035878821365149]
  本稿では, モデル一般化能力の向上を図るため, 適応型メタラーナをグラディエント類似性(AMGS)を介して提案する。 いくつかのベンチマークによる実験結果から,提案したAMGSは連続的にテキスト分類性能を向上することが示された。
  論文  参考訳（メタデータ） (2022-09-10T16:14:53Z)
• MetaAudio: A Few-Shot Audio Classification Benchmark [2.294014185517203]
  この研究は、画像ベースのベンチマークへの依存を軽減することを目的として、初めて包括的で公開され、完全に再現可能なオーディオベースの代替手段を提供する。 7つの音声データセットにおいて,様々な手法の複数ショットの分類性能を比較した。 実験では,MAMLやMeta-Curvatureのような勾配に基づくメタ学習法が,測定法とベースライン法の両方で一貫して優れていた。
  論文  参考訳（メタデータ） (2022-04-05T11:33:44Z)
• Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking Fairness and Algorithm Utility [54.179859639868646]
  Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。 学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。 本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-15T10:08:39Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。