論文の概要: Automatic Combination of Sample Selection Strategies for Few-Shot
Learning
- arxiv url: http://arxiv.org/abs/2402.03038v1
- Date: Mon, 5 Feb 2024 14:23:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 15:43:19.857539
- Title: Automatic Combination of Sample Selection Strategies for Few-Shot
Learning
- Title(参考訳): ファウショット学習のためのサンプル選択戦略の自動組み合わせ
- Authors: Branislav Pecher, Ivan Srba, Maria Bielikova, Joaquin Vanschoren
- Abstract要約: 数ショットの学習では、モデルをトレーニングするのに使用されるサンプルの数が限られており、全体的な成功に大きな影響を与えます。
本研究では,20種類のサンプル選択戦略が8つの画像と6つのテキストデータセット上での5つの数ショット学習手法の性能に与える影響について検討する。
- 参考スコア(独自算出の注目度): 8.741702582225987
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In few-shot learning, such as meta-learning, few-shot fine-tuning or
in-context learning, the limited number of samples used to train a model have a
significant impact on the overall success. Although a large number of sample
selection strategies exist, their impact on the performance of few-shot
learning is not extensively known, as most of them have been so far evaluated
in typical supervised settings only. In this paper, we thoroughly investigate
the impact of 20 sample selection strategies on the performance of 5 few-shot
learning approaches over 8 image and 6 text datasets. In addition, we propose a
new method for automatic combination of sample selection strategies (ACSESS)
that leverages the strengths and complementary information of the individual
strategies. The experimental results show that our method consistently
outperforms the individual selection strategies, as well as the recently
proposed method for selecting support examples for in-context learning. We also
show a strong modality, dataset and approach dependence for the majority of
strategies as well as their dependence on the number of shots - demonstrating
that the sample selection strategies play a significant role for lower number
of shots, but regresses to random selection at higher number of shots.
- Abstract(参考訳): メタラーニング、マイスショット微調整、インコンテキストラーニングなど、わずかなショット学習では、モデルのトレーニングに使用されるサンプル数が、全体の成功に大きな影響を与えます。
多数のサンプル選択戦略が存在するが、ほとんどが教師ありの典型的な設定でしか評価されていないため、少数ショット学習のパフォーマンスへの影響は広くは知られていない。
本稿では,20個のサンプル選択戦略が8つの画像と6つのテキストデータセット上での5つの数ショット学習手法の性能に与える影響を徹底的に検討する。
さらに,個々の戦略の強みと補完的情報を活用したサンプル選択戦略 (acsess) の自動組み合わせ手法を提案する。
実験の結果,提案手法は,文脈内学習支援例の選択方法と同様に,個人選択戦略を一貫して上回っていることがわかった。
また,ショット数への依存だけでなく,大部分の戦略に対して強いモダリティ,データセット,アプローチ依存が示され,サンプル選択戦略がより少ないショット数に対して重要な役割を果たすが,より高いショット数でのランダム選択への回帰を示す。
関連論文リスト
- Classification Under Strategic Self-Selection [14.385380621680797]
自己選択が学習に与える影響と,学習が自己選択集団の構成に及ぼす影響について検討した。
本稿では,自己選択行動下での学習を効果的に最適化できる,識別可能なフレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-23T11:37:56Z) - ALE: A Simulation-Based Active Learning Evaluation Framework for the
Parameter-Driven Comparison of Query Strategies for NLP [3.024761040393842]
Active Learning (AL)は、後続のサンプルやランダムなサンプルではなく、次にアノテータに有望なデータポイントを提案する。
この方法は、モデルパフォーマンスを維持しながらアノテーションの労力を節約することを目的としている。
NLPにおけるAL戦略の比較評価のための再現可能な能動学習評価フレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-01T10:42:11Z) - Active Learning Principles for In-Context Learning with Large Language
Models [65.09970281795769]
本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。
ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
論文 参考訳(メタデータ) (2023-05-23T17:16:04Z) - Budget-aware Few-shot Learning via Graph Convolutional Network [56.41899553037247]
本稿では,いくつかの例から新しい視覚概念を学習することを目的とした,数ショット学習の課題に取り組む。
数ショット分類における一般的な問題設定は、データラベルの取得においてランダムサンプリング戦略を前提としている。
そこで我々は,新しい対象カテゴリーの学習を目的とした,予算に配慮した数発の学習問題を新たに導入する。
論文 参考訳(メタデータ) (2022-01-07T02:46:35Z) - An Investigation of Replay-based Approaches for Continual Learning [79.0660895390689]
連続学習(CL)は機械学習(ML)の大きな課題であり、破滅的忘れ(CF)を伴わずに連続的に複数のタスクを学習する能力を記述する。
いくつかの解クラスが提案されており、その単純さと堅牢性から、いわゆるリプレイベースのアプローチは非常に有望であるように思われる。
連続学習におけるリプレイに基づくアプローチを実証的に検討し,応用の可能性を評価する。
論文 参考訳(メタデータ) (2021-08-15T15:05:02Z) - True Few-Shot Learning with Language Models [78.42578316883271]
ホールドアウト例が利用できない場合, LMの少数ショット能力を評価する。
以上の結果から,先行研究はLMの真少ショット能力を大幅に過大評価していたことが示唆された。
論文 参考訳(メタデータ) (2021-05-24T17:55:51Z) - Jo-SRC: A Contrastive Approach for Combating Noisy Labels [58.867237220886885]
Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency) というノイズロバスト手法を提案する。
具体的には、対照的な学習方法でネットワークをトレーニングする。
各サンプルの2つの異なるビューからの予測は、クリーンまたは分布不足の「可能性」を推定するために使用されます。
論文 参考訳(メタデータ) (2021-03-24T07:26:07Z) - Improved active output selection strategy for noisy environments [0.0]
モデルベースのキャリブレーションに必要なテストベンチ時間をテスト設計のためのアクティブラーニングメソッドで削減できます。
本稿では,アクティブ出力選択のための改良戦略を提案する。
論文 参考訳(メタデータ) (2021-01-10T08:27:30Z) - Few-shot Classification via Adaptive Attention [93.06105498633492]
ごく少数の参照サンプルに基づいて,クエリサンプル表現を最適化し,高速に適応する新しい数ショット学習手法を提案する。
実験で実証したように,提案モデルでは,様々なベンチマーク数ショット分類と微粒化認識データセットを用いて,最先端の分類結果を達成している。
論文 参考訳(メタデータ) (2020-08-06T05:52:59Z) - Progressive Multi-Stage Learning for Discriminative Tracking [25.94944743206374]
本稿では,頑健な視覚追跡のためのサンプル選択の段階的多段階最適化ポリシを用いた共同識別学習手法を提案する。
提案手法は, 時間重み付き, 検出誘導型セルフペースト学習戦略により, 簡単なサンプル選択を行う。
ベンチマークデータセットの実験では、提案した学習フレームワークの有効性が示されている。
論文 参考訳(メタデータ) (2020-04-01T07:01:30Z) - SEERL: Sample Efficient Ensemble Reinforcement Learning [20.983016439055188]
モデルフリー強化アルゴリズムのための新しいトレーニングおよびモデル選択フレームワークを提案する。
適切な多彩なポリシーの集合を学習し、選択することが、適切なアンサンブルのために必要であることを示す。
Atari 2600 と Mujoco では,本フレームワークはサンプリング効率が高く,計算コストも高く,SOTA(State-of-the-art)スコアよりも優れていた。
論文 参考訳(メタデータ) (2020-01-15T10:12:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。