論文の概要: Automatic Combination of Sample Selection Strategies for Few-Shot
Learning
- arxiv url: http://arxiv.org/abs/2402.03038v1
- Date: Mon, 5 Feb 2024 14:23:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 15:43:19.857539
- Title: Automatic Combination of Sample Selection Strategies for Few-Shot
Learning
- Title（参考訳）: ファウショット学習のためのサンプル選択戦略の自動組み合わせ
- Authors: Branislav Pecher, Ivan Srba, Maria Bielikova, Joaquin Vanschoren
- Abstract要約: 数ショットの学習では、モデルをトレーニングするのに使用されるサンプルの数が限られており、全体的な成功に大きな影響を与えます。
本研究では,20種類のサンプル選択戦略が8つの画像と6つのテキストデータセット上での5つの数ショット学習手法の性能に与える影響について検討する。
- 参考スコア（独自算出の注目度）: 8.741702582225987
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In few-shot learning, such as meta-learning, few-shot fine-tuning or
in-context learning, the limited number of samples used to train a model have a
significant impact on the overall success. Although a large number of sample
selection strategies exist, their impact on the performance of few-shot
learning is not extensively known, as most of them have been so far evaluated
in typical supervised settings only. In this paper, we thoroughly investigate
the impact of 20 sample selection strategies on the performance of 5 few-shot
learning approaches over 8 image and 6 text datasets. In addition, we propose a
new method for automatic combination of sample selection strategies (ACSESS)
that leverages the strengths and complementary information of the individual
strategies. The experimental results show that our method consistently
outperforms the individual selection strategies, as well as the recently
proposed method for selecting support examples for in-context learning. We also
show a strong modality, dataset and approach dependence for the majority of
strategies as well as their dependence on the number of shots - demonstrating
that the sample selection strategies play a significant role for lower number
of shots, but regresses to random selection at higher number of shots.
- Abstract（参考訳）: メタラーニング、マイスショット微調整、インコンテキストラーニングなど、わずかなショット学習では、モデルのトレーニングに使用されるサンプル数が、全体の成功に大きな影響を与えます。
多数のサンプル選択戦略が存在するが、ほとんどが教師ありの典型的な設定でしか評価されていないため、少数ショット学習のパフォーマンスへの影響は広くは知られていない。
本稿では,20個のサンプル選択戦略が8つの画像と6つのテキストデータセット上での5つの数ショット学習手法の性能に与える影響を徹底的に検討する。
さらに,個々の戦略の強みと補完的情報を活用したサンプル選択戦略 (acsess) の自動組み合わせ手法を提案する。
実験の結果,提案手法は,文脈内学習支援例の選択方法と同様に,個人選択戦略を一貫して上回っていることがわかった。
また,ショット数への依存だけでなく,大部分の戦略に対して強いモダリティ,データセット,アプローチ依存が示され,サンプル選択戦略がより少ないショット数に対して重要な役割を果たすが,より高いショット数でのランダム選択への回帰を示す。
関連論文リスト
- Use Random Selection for Now: Investigation of Few-Shot Selection Strategies in LLM-based Text Augmentation for Classification [6.273933281069326]
生成型大規模言語モデル(LLM)は、データ拡張タスクにますます使われています。
数ショットの学習文献に存在するサンプル選択戦略を比較し,LLMに基づくテキスト拡張におけるそれらの効果について検討する。
結果から,一部の情報化戦略ではモデルの性能が向上する一方,限界性能が向上してもほとんど発生しないことがわかった。
論文 参考訳（メタデータ） (2024-10-14T17:30:08Z) - Model-Free Active Exploration in Reinforcement Learning [53.786439742572995]
強化学習における探索問題について検討し,新しいモデルフリーソリューションを提案する。
我々の戦略は、最先端の探査アプローチよりも高速に効率的な政策を特定できる。
論文 参考訳（メタデータ） (2024-06-30T19:00:49Z) - Diversified Batch Selection for Training Acceleration [68.67164304377732]
オンラインバッチ選択として知られる一般的な研究ラインでは、トレーニングプロセス中の情報サブセットの選択について検討している。
バニラ参照モデルフリーメソッドは、独立してデータをサンプリング的にスコア付けし、選択する。
DivBS(Diversified Batch Selection)を提案する。
論文 参考訳（メタデータ） (2024-06-07T12:12:20Z) - What Makes Good Few-shot Examples for Vision-Language Models? [29.620987070958318]
代表性(REPRE)とガウス的モンテカルロ(Montecarlo)の2つの革新的な選択方法を紹介する。
その結果,REPREとモンテカルロは,ランダム選択とALベースの戦略の両方を,数ショットのトレーニングシナリオで大きく上回っていることがわかった。
この研究は、これらのインスタンス選択法はモデルに依存しないものであり、幅広い数発の訓練手法に多彩な拡張をもたらすことを強調している。
論文 参考訳（メタデータ） (2024-05-22T11:03:33Z) - ALE: A Simulation-Based Active Learning Evaluation Framework for the
Parameter-Driven Comparison of Query Strategies for NLP [3.024761040393842]
Active Learning (AL)は、後続のサンプルやランダムなサンプルではなく、次にアノテータに有望なデータポイントを提案する。
この方法は、モデルパフォーマンスを維持しながらアノテーションの労力を節約することを目的としている。
NLPにおけるAL戦略の比較評価のための再現可能な能動学習評価フレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-01T10:42:11Z) - Budget-aware Few-shot Learning via Graph Convolutional Network [56.41899553037247]
本稿では,いくつかの例から新しい視覚概念を学習することを目的とした,数ショット学習の課題に取り組む。
数ショット分類における一般的な問題設定は、データラベルの取得においてランダムサンプリング戦略を前提としている。
そこで我々は,新しい対象カテゴリーの学習を目的とした,予算に配慮した数発の学習問題を新たに導入する。
論文 参考訳（メタデータ） (2022-01-07T02:46:35Z) - An Investigation of Replay-based Approaches for Continual Learning [79.0660895390689]
連続学習(CL)は機械学習(ML)の大きな課題であり、破滅的忘れ(CF)を伴わずに連続的に複数のタスクを学習する能力を記述する。
いくつかの解クラスが提案されており、その単純さと堅牢性から、いわゆるリプレイベースのアプローチは非常に有望であるように思われる。
連続学習におけるリプレイに基づくアプローチを実証的に検討し,応用の可能性を評価する。
論文 参考訳（メタデータ） (2021-08-15T15:05:02Z) - Jo-SRC: A Contrastive Approach for Combating Noisy Labels [58.867237220886885]
Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency) というノイズロバスト手法を提案する。
具体的には、対照的な学習方法でネットワークをトレーニングする。
各サンプルの2つの異なるビューからの予測は、クリーンまたは分布不足の「可能性」を推定するために使用されます。
論文 参考訳（メタデータ） (2021-03-24T07:26:07Z) - Improved active output selection strategy for noisy environments [0.0]
モデルベースのキャリブレーションに必要なテストベンチ時間をテスト設計のためのアクティブラーニングメソッドで削減できます。
本稿では,アクティブ出力選択のための改良戦略を提案する。
論文 参考訳（メタデータ） (2021-01-10T08:27:30Z) - Few-shot Classification via Adaptive Attention [93.06105498633492]
ごく少数の参照サンプルに基づいて,クエリサンプル表現を最適化し,高速に適応する新しい数ショット学習手法を提案する。
実験で実証したように,提案モデルでは,様々なベンチマーク数ショット分類と微粒化認識データセットを用いて,最先端の分類結果を達成している。
論文 参考訳（メタデータ） (2020-08-06T05:52:59Z) - SEERL: Sample Efficient Ensemble Reinforcement Learning [20.983016439055188]
モデルフリー強化アルゴリズムのための新しいトレーニングおよびモデル選択フレームワークを提案する。
適切な多彩なポリシーの集合を学習し、選択することが、適切なアンサンブルのために必要であることを示す。
Atari 2600 と Mujoco では,本フレームワークはサンプリング効率が高く,計算コストも高く,SOTA(State-of-the-art)スコアよりも優れていた。
論文 参考訳（メタデータ） (2020-01-15T10:12:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。