論文の概要: CrossTune: Black-Box Few-Shot Classification with Label Enhancement

• arxiv url: http://arxiv.org/abs/2403.12468v1
• Date: Tue, 19 Mar 2024 05:52:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 15:12:20.563327
• Title: CrossTune: Black-Box Few-Shot Classification with Label Enhancement
• Title（参考訳）: CrossTune:ラベル拡張によるブラックボックスのFew-Shot分類
• Authors: Danqing Luo, Chen Zhang, Yan Zhang, Haizhou Li,
• Abstract要約: ラベル強化型クロスアテンションネットワークであるCrossTuneを導入し,ブラックボックス言語モデルの適応性を即時検索なしで研究する。 提案手法は,従来の勾配のないブラックボックスチューニング手法を平均5.7%向上させる。
• 参考スコア（独自算出の注目度）: 40.88968135459357
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training or finetuning large-scale language models (LLMs) requires substantial computation resources, motivating recent efforts to explore parameter-efficient adaptation to downstream tasks. One approach is to treat these models as black boxes and use forward passes (Inference APIs) to interact with them. Current research focuses on adapting these black-box models to downstream tasks using gradient-free prompt optimization, but this often involves an expensive process of searching task-specific prompts. Therefore, we are motivated to study black-box language model adaptation without prompt search. Specifically, we introduce a label-enhanced cross-attention network called CrossTune, which models the semantic relatedness between the input text sequence and task-specific label descriptions. Its effectiveness is examined in the context of few-shot text classification. To improve the generalization of CrossTune, we utilize ChatGPT to generate additional training data through in-context learning. A switch mechanism is implemented to exclude low-quality ChatGPT-generated data. Through extensive experiments on seven benchmark text classification datasets, we demonstrate that our proposed approach outperforms the previous state-of-the-art gradient-free black-box tuning method by 5.7% on average. Even without using ChatGPT-augmented data, CrossTune performs better or comparably than previous black-box tuning methods, suggesting the effectiveness of our approach.
• Abstract（参考訳）: 大規模言語モデル(LLM)の訓練や微調整には、かなりの計算資源が必要である。 ひとつのアプローチは、これらのモデルをブラックボックスとして扱い、フォワードパス(推論API)を使用してそれらと対話することです。 現在の研究は、勾配のないプロンプト最適化を用いて、これらのブラックボックスモデルを下流タスクに適応させることに重点を置いているが、これはタスク固有のプロンプトを探索する高価なプロセスを伴うことが多い。 そこで我々は,ブラックボックス言語モデルへの適応を即時検索なしで研究する動機付けを行った。 具体的には、入力テキストシーケンスとタスク固有のラベル記述とのセマンティックな関連性をモデル化する、CrossTuneというラベル強化型クロスアテンションネットワークを提案する。 その有効性は、少数ショットテキスト分類の文脈で検証される。 CrossTuneの一般化を改善するために、ChatGPTを使用して、コンテキスト内学習を通じて追加のトレーニングデータを生成する。 低品質のChatGPT生成データを除外するためにスイッチ機構が実装されている。 7つのベンチマークテキスト分類データセットの広範な実験を通して,提案手法が従来の勾配なしブラックボックスチューニング手法を平均5.7%上回っていることを示す。 ChatGPTを付加したデータを使用しなくても、CrossTuneは従来のブラックボックスチューニング手法よりも良い、あるいはコンパラブルに動作し、我々のアプローチの有効性を示唆している。

関連論文リスト

• Black-Box Forgetting [8.84485103053191]
  我々は,ブラックボックスフォーッティングというブラックボックスモデルの選択的忘れ問題に対処する。 本稿では,複数のトークン間で共通な低次元潜在成分をプロンプトに導入するLatent Context Sharingを提案する。 4つの標準ベンチマークデータセットに対する実験は、妥当なベースラインを持つ手法の優位性を実証している。
  論文  参考訳（メタデータ） (2024-11-01T07:10:40Z)
• Adapting Vision-Language Models to Open Classes via Test-Time Prompt Tuning [50.26965628047682]
  学習済みのモデルをオープンクラスに適応させることは、機械学習において難しい問題である。 本稿では,両者の利点を組み合わせたテスト時プロンプトチューニング手法を提案する。 提案手法は,基本クラスと新クラスの両方を考慮し,すべての比較手法を平均的に上回る結果を得た。
  論文  参考訳（メタデータ） (2024-08-29T12:34:01Z)
• NC-TTT: A Noise Contrastive Approach for Test-Time Training [19.0284321951354]
  ノイズコントラストテストタイムトレーニング(NC-TTT)は,ノイズの特徴マップの識別に基づく非教師なしTTT技術である。 予測された特徴写像のノイズの多いビューを分類し、新しい領域に応じてモデルを適応させることで、分類性能を重要なマージンで回復させることができる。
  論文  参考訳（メタデータ） (2024-04-12T10:54:11Z)
• Black-Box Tuning of Vision-Language Models with Effective Gradient Approximation [71.21346469382821]
  ブラックボックスモデルに対するテキストプロンプト最適化と出力特徴適応のための協調ブラックボックスチューニング(CBBT)を導入する。 CBBTは11のダウンストリームベンチマークで広範囲に評価され、既存のブラックボックスVL適応法と比較して顕著に改善されている。
  論文  参考訳（メタデータ） (2023-12-26T06:31:28Z)
• Enhancing Black-Box Few-Shot Text Classification with Prompt-Based Data Augmentation [42.05617728412819]
  大規模言語モデルの勾配にアクセスすることなく、少数ショットのテキスト分類を最適化する方法を示す。 我々のアプローチはBT-Classifierと呼ばれ、最先端のブラックボックス学習者よりもはるかに優れています。
  論文  参考訳（メタデータ） (2023-05-23T07:54:34Z)
• Active Finetuning: Exploiting Annotation Budget in the Pretraining-Finetuning Paradigm [132.9949120482274]
  本稿では,事前学習ファインタニングパラダイムにおけるアノテーションのためのサンプルの選択に焦点を当てる。 本研究では,アクティブな微調整タスクのためのActiveFTと呼ばれる新しい手法を提案する。 画像分類とセマンティックセグメンテーションの両方に基づくベースラインよりも優れたActiveFTの先行性能と高効率性を示す。
  論文  参考訳（メタデータ） (2023-03-25T07:17:03Z)
• Test-Time Prompt Tuning for Zero-Shot Generalization in Vision-Language Models [107.05966685291067]
  テスト時間プロンプトチューニング (TPT) を提案し, 適応的なプロンプトを1つのテストサンプルで学習する。 TPTはCLIPのゼロショットトップ1の精度を平均3.6%改善する。 クロスデータセットの一般化を目に見えないカテゴリで評価する際、PTは追加のトレーニングデータを使用する最先端のアプローチと同等に機能する。
  論文  参考訳（メタデータ） (2022-09-15T17:55:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。