論文の概要: Descriptor and Word Soups: Overcoming the Parameter Efficiency Accuracy Tradeoff for Out-of-Distribution Few-shot Learning

• arxiv url: http://arxiv.org/abs/2311.13612v1
• Date: Tue, 21 Nov 2023 23:30:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-03 14:03:06.402373
• Title: Descriptor and Word Soups: Overcoming the Parameter Efficiency Accuracy Tradeoff for Out-of-Distribution Few-shot Learning
• Title（参考訳）: ディスクリプタとワードスープ : アウトオブディストリビューション・マイノショット学習におけるパラメータ効率のトレードオフを克服する
• Authors: Christopher Liao, Theodoros Tsiligkaridis, Brian Kulis
• Abstract要約: 記述子(descriptor)と単語スープ( word soups)という,より柔軟な方法を提案する。 Descriptor soupは、ジェネリックな数ショットのトレーニングデータを使用して、テキスト記述子の小さなセットを優しく選択する。 単語のスープは、似たような方法で単語の連鎖を優雅に組み立てる。
• 参考スコア（独自算出の注目度）: 14.695102732987774
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Over the past year, a large body of multimodal research has emerged around zero-shot evaluation using GPT descriptors. These studies boost the zero-shot accuracy of pretrained VL models with an ensemble of label-specific text generated by GPT. A recent study, WaffleCLIP, demonstrated that similar zero-shot accuracy can be achieved with an ensemble of random descriptors. However, both zero-shot methods are un-trainable and consequently sub-optimal when some few-shot out-of-distribution (OOD) training data is available. Inspired by these prior works, we present two more flexible methods called descriptor and word soups, which do not require an LLM at test time and can leverage training data to increase OOD target accuracy. Descriptor soup greedily selects a small set of textual descriptors using generic few-shot training data, then calculates robust class embeddings using the selected descriptors. Word soup greedily assembles a chain of words in a similar manner. Compared to existing few-shot soft prompt tuning methods, word soup requires fewer parameters by construction and less GPU memory, since it does not require backpropagation. Both soups outperform current published few-shot methods, even when combined with SoTA zero-shot methods, on cross-dataset and domain generalization benchmarks. Compared with SoTA prompt and descriptor ensembling methods, such as ProDA and WaffleCLIP, word soup achieves higher OOD accuracy with fewer ensemble members. Please checkout our code: github.com/Chris210634/word_soups
• Abstract（参考訳）: 近年,gptディスクリプタを用いたゼロショット評価を中心に,マルチモーダル研究が盛んに行われている。 これらの研究は、事前訓練されたVLモデルのゼロショット精度を高める。 最近の研究であるWaffleCLIPは、同じゼロショット精度をランダムな記述子のアンサンブルで達成できることを示した。 しかし、両方のゼロショット法は訓練不可能であり、結果として数発のアウト・オブ・ディストリビューション(OOD)トレーニングデータが利用できる場合、サブ最適である。 これらの先行研究に触発されて,テスト時にllmを必要とせず,oodターゲット精度を向上させるためのトレーニングデータを活用する,descriptorとword soupsという,より柔軟な2つの方法を提案する。 Descriptor soupは、ジェネリックな数ショットのトレーニングデータを使用して小さなテキスト記述子を選択し、選択した記述子を使って堅牢なクラス埋め込みを計算する。 単語スープも同様に単語の連鎖を強欲に組み立てる。 既存のマイナショットソフトプロンプトチューニング方法と比較して、word soupはバックプロパゲーションを必要としないため、構成によるパラメータの削減とgpuメモリの削減が求められている。 どちらのスープも、データセットとドメインの一般化ベンチマークにおいて、SoTAゼロショットメソッドと組み合わせても、現在の数ショットメソッドよりも優れている。 ProDAやWaffleCLIPのようなSoTAプロンプトやディスクリプタのアンサンブル手法と比較して、単語スープはアンサンブルメンバーが少なくて高いOOD精度を実現する。 私たちのコード: github.com/chris210634/word_soups

関連論文リスト

• Enhancing Low-Resource LLMs Classification with PEFT and Synthetic Data [36.09359953556684]
  大規模言語モデル(LLMs)は、テキスト分類タスクにおいて、0ショットまたは数ショットの設定で動作する。 In-Context Learning (ICL) は通常、0ショット設定よりも精度が高いが、入力のプロンプトが長くなるため、効率性は高い。
  論文  参考訳（メタデータ） (2024-04-03T03:24:19Z)
• Leveraging Weakly Annotated Data for Hate Speech Detection in Code-Mixed Hinglish: A Feasibility-Driven Transfer Learning Approach with Large Language Models [0.0]
  混合コード低リソース言語におけるヘイトスピーチ検出は、大規模言語モデルの使用が有益であることが証明された活発な問題領域である。 そこで本研究では,100件のYouTubeコメントのデータセットを作成した。 すべてのアプローチにおいて、双方向自動回帰変換器(BART)を用いたゼロショット分類と、生成事前学習変換器3(ChatGPT-3)を用いた少数ショットプロンプトが最適である。
  論文  参考訳（メタデータ） (2024-03-04T15:27:49Z)
• Hypergraph Enhanced Knowledge Tree Prompt Learning for Next-Basket Recommendation [50.55786122323965]
  次バスケットレコメンデーション(NBR)は、対応するバスケットシーケンスが与えられた次のバスケット内のアイテムを推論することを目的としている。 HEKP4NBRは知識グラフ(KG)をKTP(Knowledge Tree Prompt)と呼ばれるプロンプトに変換し、PLMがOOV(Out-Of-Vocabulary)アイテムIDをエンコードするのを助ける。 ハイパーグラフ畳み込みモジュールは、複数の側面からMoEモデルによって測定されたアイテム類似性に基づいてハイパーグラフを構築するように設計されている。
  論文  参考訳（メタデータ） (2023-12-26T02:12:21Z)
• Align Your Prompts: Test-Time Prompting with Distribution Alignment for Zero-Shot Generalization [64.62570402941387]
  テスト領域のギャップを埋めるために、機能分散シフトを最小限にして、テスト時にマルチモーダルプロンプトを適用するために、単一のテストサンプルを使用します。 提案手法は,既存のプロンプト学習技術以上のゼロショットトップ1精度を向上し,ベースラインのMaPLeよりも3.08%向上した。
  論文  参考訳（メタデータ） (2023-11-02T17:59:32Z)
• BYOC: Personalized Few-Shot Classification with Co-Authored Class Descriptions [2.076173115539025]
  LLMを用いた少数ショットテキスト分類のための新しい手法を提案する。 わずかな例ではなく、LLMは各クラスの健全な特徴を記述して誘導される。 例、質問、回答は、分類プロンプトを形成するために要約される。
  論文  参考訳（メタデータ） (2023-10-09T19:37:38Z)
• M-Tuning: Prompt Tuning with Mitigated Label Bias in Open-Set Scenarios [103.6153593636399]
  緩和ラベルバイアス(M-Tuning)を用いた視覚言語プロンプトチューニング手法を提案する。 これはWordNetからのオープンワードを導入し、クローズドセットラベルワードのみからもっと多くのプロンプトテキストを形成する単語の範囲を広げ、シミュレートされたオープンセットシナリオでプロンプトをチューニングする。 提案手法は,様々なスケールのデータセット上で最高の性能を達成し,広範囲にわたるアブレーション研究もその有効性を検証した。
  論文  参考訳（メタデータ） (2023-03-09T09:05:47Z)
• Pre-trained Language Models Can be Fully Zero-Shot Learners [26.60008734311909]
  完全ゼロショット言語理解のための非パラメトリックプロンプト PLM (NPPrompt) を提案する。 NPPromptは事前訓練された言語モデルのみを使用し、さらなる微調整のためにラベル付きデータや追加の生コーパスを必要としない。 NPPromptは,従来の多種多様なNLPタスクにおける複数ショットとゼロショットの学習手法と比較して評価する。
  論文  参考訳（メタデータ） (2022-12-14T00:03:52Z)
• Beyond prompting: Making Pre-trained Language Models Better Zero-shot Learners by Clustering Representations [24.3378487252621]
  事前学習した言語モデルの埋め込み空間にテキストをクラスタリングすることで、ゼロショットテキスト分類を改善することができることを示す。 提案手法は, 即発的なゼロショット学習よりも平均20%絶対的な改善を実現している。
  論文  参考訳（メタデータ） (2022-10-29T16:01:51Z)
• Prompt Consistency for Zero-Shot Task Generalization [118.81196556175797]
  本稿では,ラベルのないデータを用いてゼロショット性能を向上させる手法について検討する。 具体的には,複数のプロンプトを使ってひとつのタスクを指定できることを利用して,プロンプトの一貫性を規則化する手法を提案する。 我々のアプローチは、4つのNLPタスクにまたがる11のデータセットのうち9つにおいて、最先端のゼロショット学習者であるT0を精度で最大10.6の絶対点で上回ります。
  論文  参考訳（メタデータ） (2022-04-29T19:18:37Z)
• PERFECT: Prompt-free and Efficient Few-shot Learning with Language Models [67.3725459417758]
  PERFECTは、手工芸に頼らずに数発のPLMを微調整するためのシンプルで効率的な方法である。 そこで本研究では,手作業によるタスクプロンプトを,サンプル効率の良い微調整が可能なタスク固有アダプタに置き換えることができることを示す。 幅広い数発のNLPタスクの実験では、PERFECTはシンプルで効率的でありながら、既存の最先端の数発の学習方法よりも優れていることが示されている。
  論文  参考訳（メタデータ） (2022-04-03T22:31:25Z)
• Revisiting Deep Local Descriptor for Improved Few-Shot Classification [56.74552164206737]
  textbfDense textbfClassification と textbfAttentive textbfPooling を利用して埋め込みの質を向上させる方法を示す。 広範に使われているグローバル平均プール (GAP) の代わりに, 注意深いプールを施し, 特徴マップをプールすることを提案する。
  論文  参考訳（メタデータ） (2021-03-30T00:48:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。