論文の概要: Black-box Prompt Learning for Pre-trained Language Models

• arxiv url: http://arxiv.org/abs/2201.08531v1
• Date: Fri, 21 Jan 2022 03:53:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-24 14:33:18.864563
• Title: Black-box Prompt Learning for Pre-trained Language Models
• Title（参考訳）: 事前学習型言語モデルのためのブラックボックス・プロンプト学習
• Authors: Shizhe Diao, Xuechun Li, Yong Lin, Zhichao Huang, Tong Zhang
• Abstract要約: この研究は、与えられた入力の出力を除いて、事前訓練されたモデルにアクセスできない新しいシナリオを考察する。 まず、事前に学習したモデルが凍結されているだけでなく、見えなくなるような、テキスト分類のブラックボックス設定を紹介します。 そこで我々は,事前学習コーパスから事前学習したモデルから学習した知識を活用できる,即時学習ファミリーの新しい手法であるブラックボックスプロンプトを提案する。
• 参考スコア（独自算出の注目度）: 18.17029934303874
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Domain-specific fine-tuning strategies for large pre-trained models received vast attention in recent years. In previously studied settings, the model architectures and parameters are tunable or at least visible, which we refer to as white-box settings. This work considers a new scenario, where we do not have access to a pre-trained model, except for its outputs given inputs, and we call this problem black-box fine-tuning. To illustrate our approach, we first introduce the black-box setting formally on text classification, where the pre-trained model is not only frozen but also invisible. We then propose our solution black-box prompt, a new technique in the prompt-learning family, which can leverage the knowledge learned by pre-trained models from the pre-training corpus. Our experiments demonstrate that the proposed method achieved the state-of-the-art performance on eight datasets. Further analyses on different human-designed objectives, prompt lengths, and intuitive explanations demonstrate the robustness and flexibility of our method.
• Abstract（参考訳）: 大規模事前訓練モデルのドメイン固有の微調整戦略は近年大きな注目を集めている。 これまで検討された設定では、モデルアーキテクチャとパラメータは調整可能か少なくとも可視であり、これはホワイトボックス設定と呼ばれる。 この研究は、与えられた入力の出力を除いて事前訓練されたモデルにアクセスできない新しいシナリオを考察し、この問題をブラックボックスファインチューニングと呼ぶ。 提案手法を説明するために,まずテキスト分類におけるブラックボックス設定を導入し,事前学習したモデルが凍結されているだけでなく,見えなくなるようにした。 そこで我々は,事前学習コーパスから事前学習したモデルから学習した知識を活用できる,新しい手法であるブラックボックスプロンプトを提案する。 実験により,提案手法は8つのデータセット上で最先端の性能を達成した。 提案手法の頑健さと柔軟性について, 人体設計対象, 即時長, 直感的説明のさらなる分析を行った。

関連論文リスト

• Training Spatial-Frequency Visual Prompts and Probabilistic Clusters for Accurate Black-Box Transfer Learning [35.72926400167876]
  そこで本研究では,ブラックボックス環境における視覚認識モデルのためのパラメータ効率変換学習フレームワークを提案する。 実験では,広範囲な視覚認識データセットにまたがる数ショットの移動学習環境において,優れた性能を示す。
  論文  参考訳（メタデータ） (2024-08-15T05:35:52Z)
• Parameter-Efficient and Memory-Efficient Tuning for Vision Transformer: A Disentangled Approach [87.8330887605381]
  本稿では,学習可能なパラメータをわずかに限定して,事前学習した視覚変換器を下流認識タスクに適用する方法を示す。 学習可能で軽量なモジュールを用いてタスク固有のクエリを合成する。 本手法はメモリ制約下での最先端性能を実現し,実環境における適用性を示す。
  論文  参考訳（メタデータ） (2024-07-09T15:45:04Z)
• Mafin: Enhancing Black-Box Embeddings with Model Augmented Fine-Tuning [13.211063836237468]
  マフィン(Mafin)は、トレーニング可能な埋め込みモデルで強化することで、ブラックボックスの埋め込みモデルを微調整するための新しいアプローチである。 以上の結果から,Mafinは小さな拡張モデルの訓練を必要とせず,ブラックボックス埋め込みの性能を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2024-02-19T14:33:24Z)
• Black-Box Tuning of Vision-Language Models with Effective Gradient Approximation [71.21346469382821]
  ブラックボックスモデルに対するテキストプロンプト最適化と出力特徴適応のための協調ブラックボックスチューニング(CBBT)を導入する。 CBBTは11のダウンストリームベンチマークで広範囲に評価され、既存のブラックボックスVL適応法と比較して顕著に改善されている。
  論文  参考訳（メタデータ） (2023-12-26T06:31:28Z)
• Enhancing Black-Box Few-Shot Text Classification with Prompt-Based Data Augmentation [42.05617728412819]
  大規模言語モデルの勾配にアクセスすることなく、少数ショットのテキスト分類を最適化する方法を示す。 我々のアプローチはBT-Classifierと呼ばれ、最先端のブラックボックス学習者よりもはるかに優れています。
  論文  参考訳（メタデータ） (2023-05-23T07:54:34Z)
• Gradient-Regulated Meta-Prompt Learning for Generalizable Vision-Language Models [137.74524357614285]
  グラディエント・レグルアテッドメタプロンプト学習フレームワークについて紹介する。 パラメーターとデータ -- 効率的な方法で下流タスクにモデルを適応させるのに役立つ。 GRAMはモデルに依存しない方法で様々なプロンプトチューニング手法に容易に組み込むことができる。
  論文  参考訳（メタデータ） (2023-03-12T05:03:37Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• Reinforcement Learning with Action-Free Pre-Training from Videos [95.25074614579646]
  本稿では,ビデオにおける生成前学習を通じて動的理解に役立つ表現を学習するフレームワークを提案する。 我々のフレームワークは、視覚に基づく強化学習の最終性能とサンプル効率の両方を著しく改善する。
  論文  参考訳（メタデータ） (2022-03-25T19:44:09Z)
• Can Explanations Be Useful for Calibrating Black Box Models? [31.473798197405948]
  我々は,新しいドメインの例から,ブラックボックスモデルの性能を新しいドメインで改善する方法について検討する。 提案手法はまず,タスクに対する人間の直感とモデル属性を組み合わせた一連の特徴を抽出する。 キャリブレーション機能はタスク間である程度移動し、効果的に利用する方法について光を当てている。
  論文  参考訳（メタデータ） (2021-10-14T17:48:16Z)
• Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing [78.8500633981247]
  本稿では,自然言語処理における新たなパラダイムにおける研究成果の探索と整理を行う。 入力xを取り込んで出力yをP(y|x)として予測するようにモデルを訓練する従来の教師付き学習とは異なり、プロンプトベースの学習は直接テキストの確率をモデル化する言語モデルに基づいている。
  論文  参考訳（メタデータ） (2021-07-28T18:09:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。