論文の概要: What Makes Good Few-shot Examples for Vision-Language Models?

• arxiv url: http://arxiv.org/abs/2405.13532v1
• Date: Wed, 22 May 2024 11:03:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-25 00:34:02.871101
• Title: What Makes Good Few-shot Examples for Vision-Language Models?
• Title（参考訳）: 視覚言語モデルに良い例は何か?
• Authors: Zhaojun Guo, Jinghui Lu, Xuejing Liu, Rui Zhao, ZhenXing Qian, Fei Tan,
• Abstract要約: 代表性(REPRE)とガウス的モンテカルロ(Montecarlo)の2つの革新的な選択方法を紹介する。 その結果,REPREとモンテカルロは,ランダム選択とALベースの戦略の両方を,数ショットのトレーニングシナリオで大きく上回っていることがわかった。 この研究は、これらのインスタンス選択法はモデルに依存しないものであり、幅広い数発の訓練手法に多彩な拡張をもたらすことを強調している。
• 参考スコア（独自算出の注目度）: 29.620987070958318
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the notable advancements achieved by leveraging pre-trained vision-language (VL) models through few-shot tuning for downstream tasks, our detailed empirical study highlights a significant dependence of few-shot learning outcomes on the careful selection of training examples - a facet that has been previously overlooked in research. In this study, we delve into devising more effective strategies for the meticulous selection of few-shot training examples, as opposed to relying on random sampling, to enhance the potential of existing few-shot prompt learning methodologies. To achieve this, we assess the effectiveness of various Active Learning (AL) techniques for instance selection, such as Entropy and Margin of Confidence, within the context of few-shot training. Furthermore, we introduce two innovative selection methods - Representativeness (REPRE) and Gaussian Monte Carlo (Montecarlo) - designed to proactively pinpoint informative examples for labeling in relation to pre-trained VL models. Our findings demonstrate that both REPRE and Montecarlo significantly surpass both random selection and AL-based strategies in few-shot training scenarios. The research also underscores that these instance selection methods are model-agnostic, offering a versatile enhancement to a wide array of few-shot training methodologies.
• Abstract（参考訳）: ダウンストリームタスクに対する数ショットのチューニングを通じて、事前学習された視覚言語(VL)モデルを活用することで達成された顕著な進歩にもかかわらず、我々の詳細な実証的研究は、トレーニング例の慎重に選択する上で、数ショットの学習結果に重大な依存があることを強調している。 本研究では, ランダムサンプリングに頼らず, 数発学習手法を巧妙に選択するための, より効果的な戦略を考案し, 既存の数発学習手法の可能性を高めることを目的とした。 これを実現するために,数発の訓練の文脈において,エントロピーや信頼のマージンといった様々なアクティブラーニング(AL)手法の有効性を評価する。 さらに、事前学習されたVLモデルに対して、ラベル付けのための情報的例を積極的に特定するために、表現性(REPRE)とガウス的モンテカルロ(Montecarlo)という2つの革新的な選択手法を導入する。 その結果,REPREとモンテカルロは,ランダム選択とALベースの戦略の両方を,数ショットのトレーニングシナリオで大きく上回っていることがわかった。 この研究は、これらのインスタンス選択法はモデルに依存しないものであり、幅広い数発の訓練手法に多彩な拡張をもたらすことを強調している。

関連論文リスト

• Diversified Batch Selection for Training Acceleration [68.67164304377732]
  オンラインバッチ選択として知られる一般的な研究ラインでは、トレーニングプロセス中の情報サブセットの選択について検討している。 バニラ参照モデルフリーメソッドは、独立してデータをサンプリング的にスコア付けし、選択する。 DivBS(Diversified Batch Selection)を提案する。
  論文  参考訳（メタデータ） (2024-06-07T12:12:20Z)
• Automatic Combination of Sample Selection Strategies for Few-Shot Learning [8.741702582225987]
  数ショットの学習では、モデルをトレーニングするのに使用されるサンプルの数が限られており、全体的な成功に大きな影響を与えます。 本研究では,20種類のサンプル選択戦略が8つの画像と6つのテキストデータセット上での5つの数ショット学習手法の性能に与える影響について検討する。
  論文  参考訳（メタデータ） (2024-02-05T14:23:43Z)
• RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
  In-Context Learning (RetICL) のための検索式を提案する。 RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
  論文  参考訳（メタデータ） (2023-05-23T20:15:56Z)
• Active Learning Principles for In-Context Learning with Large Language Models [65.09970281795769]
  本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。 ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
  論文  参考訳（メタデータ） (2023-05-23T17:16:04Z)
• Learning New Tasks from a Few Examples with Soft-Label Prototypes [18.363177410917597]
  ソフトラベルのプロトタイプ(SLP)に基づく新しい数ショット学習手法を提案する。 これまでにないNLPタスク(4,8,16)の学習に重点を置いている。 このデータ・リーン・セッティングにおけるテスト作業の大部分において,本手法が優れた性能を発揮することを実験的に実証した。
  論文  参考訳（メタデータ） (2022-10-31T16:06:48Z)
• Sample Efficient Reinforcement Learning via Model-Ensemble Exploration and Exploitation [3.728946517493471]
  MEEEは楽観的な探索と重み付けによる搾取からなるモデルアンサンブル法である。 我々の手法は、特にサンプル複雑性において、他のモデルフリーおよびモデルベース最先端手法よりも優れています。
  論文  参考訳（メタデータ） (2021-07-05T07:18:20Z)
• True Few-Shot Learning with Language Models [78.42578316883271]
  ホールドアウト例が利用できない場合, LMの少数ショット能力を評価する。 以上の結果から,先行研究はLMの真少ショット能力を大幅に過大評価していたことが示唆された。
  論文  参考訳（メタデータ） (2021-05-24T17:55:51Z)
• Few-shot Classification via Adaptive Attention [93.06105498633492]
  ごく少数の参照サンプルに基づいて,クエリサンプル表現を最適化し,高速に適応する新しい数ショット学習手法を提案する。 実験で実証したように,提案モデルでは,様々なベンチマーク数ショット分類と微粒化認識データセットを用いて,最先端の分類結果を達成している。
  論文  参考訳（メタデータ） (2020-08-06T05:52:59Z)
• Exploiting the Matching Information in the Support Set for Few Shot Event Classification [66.31312496170139]
  数ショットの学習セットに基づくイベント分類について検討する。 本稿では,学習過程におけるサポートセットを効果的に活用する新たなトレーニング手法を提案する。 2つのベンチマークECデータセットを用いた実験の結果,提案手法は,イベント分類の精度を最大10%向上できることがわかった。
  論文  参考訳（メタデータ） (2020-02-13T00:40:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。