論文の概要: Technical Report -- Competition Solution for Prompt Tuning using Pretrained Language Model

• arxiv url: http://arxiv.org/abs/2212.06369v2
• Date: Wed, 14 Dec 2022 07:58:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-15 11:57:13.290952
• Title: Technical Report -- Competition Solution for Prompt Tuning using Pretrained Language Model
• Title（参考訳）: 事前訓練言語モデルを用いたプロンプトチューニングのための競合ソリューション
• Authors: Jiang-Long Song and Wu-He Zou and Feng Li and Xiao-Lei Qin
• Abstract要約: デリバティブフリー最適化(DFO)を用いたブラックボックスチューニングは、事前訓練されたモデルの現実的なシナリオを拡張するための新しいアプローチを提供する。 本稿では,LMチューニングのシナリオに基づいて,本コンペティションで提案するソリューションについて述べる。 結局、私たちはデータセットと結果への影響、および競合に対する懸念について疑問を提起しました。
• 参考スコア（独自算出の注目度）: 5.922095457942862
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prompt tuning recently becomes a hot-spot in the applications of large pretrained language models on specific downstream tasks. Regarding the Language Model as a Service (LMaaS), black-box tuning using derivative-free optimization (DFO) provides a novel approach to expand the practical scenarios of pretrained models and enrich the researches of few-shot learning. In this report, we present our solution in this competition that is based on the LMaaS scenario. Our solution consists of several modifications to BBTv2, including multiple label words, selection of P0, rolling update strategy, multi-task loss from MLP classifier, and finally using the ensemble method to further improve generalization ability. We also shared some strategies that we tried but didn't use in the final submission for further discussion. In the end we raised a question about the SNLI dataset and the impact on the results, as well as our concerns about the competition.
• Abstract（参考訳）: 近年、プロンプトチューニングは、特定の下流タスクに対する大規模な事前訓練言語モデルの応用においてホットスポットとなっている。 言語モデル・アズ・ア・サービス (lmaas) に関して、デリバティブフリー最適化 (dfo) を用いたブラックボックスチューニングは、事前訓練されたモデルの実用的なシナリオを拡張し、少数の学習の研究を豊かにする新しいアプローチを提供する。 本稿では,LMaaSのシナリオに基づいたこのコンペティションにおけるソリューションについて述べる。 提案手法は,複数のラベル単語,p0の選択,ロール更新戦略,mlp分類器によるマルチタスク損失など,bbtv2の改良を複数行ない,さらに一般化能力を向上させるためにアンサンブル法を用いた。 また、いくつかの戦略を共有しましたが、最終的な提案では使用していません。 最終的には、snliデータセットと結果への影響、および競合に関する懸念について質問しました。

関連論文リスト

• Context-aware Prompt Tuning: Advancing In-Context Learning with Adversarial Methods [69.36397993451742]
  In this work introduced Context-aware Prompt Tuning (CPT) - ICL, PT, and adversarial attack。 入力および出力フォーマットのユニークな構造を考慮して、特定のコンテキストトークンを変更する。 敵の攻撃にインスパイアされた我々は、損失を最大化するのではなく、最小化に焦点をあてて、コンテキストに存在するラベルに基づいて入力を調整する。
  論文  参考訳（メタデータ） (2024-10-22T17:45:47Z)
• CLIP with Generative Latent Replay: a Strong Baseline for Incremental Learning [17.614980614656407]
  インクリメンタル・プロンプト学習のための連続的生成学習を提案する。 変分オートエンコーダを用いてクラス条件分布を学習する。 このような生成的リプレイアプローチは、ゼロショット機能を改善しつつ、新しいタスクに適応できることを示す。
  論文  参考訳（メタデータ） (2024-07-22T16:51:28Z)
• Adaptive Cross-lingual Text Classification through In-Context One-Shot Demonstrations [47.89819316477715]
  我々は、IC-XLT(In-Context Cross-lingual Transfer)を導入して、分類タスクにおけるワンショット言語間移動にICT(In-Context Tuning)を利用する。 新たな概念は、コンテキストサンプルから学習するためにモデルをトレーニングし、その言語でOne-Shotコンテキストのデモを予測することによって、ターゲット言語への推論中にそれを適応させる、というものだ。 この結果から, IC-XLT はmT5モデルの言語横断性を向上し, 微調整により適応したZero およびFew-shot シナリオにおいて, プロンプトベースモデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-04-03T04:40:57Z)
• Curricular Transfer Learning for Sentence Encoded Tasks [0.0]
  本稿では「データハッキング」と文法解析によって導かれる事前学習の手順を提案する。 実験では,MultiWoZタスクの事前学習手法と比較して,提案手法からかなりの改善が得られた。
  論文  参考訳（メタデータ） (2023-08-03T16:18:19Z)
• Zero-shot Visual Question Answering with Language Model Feedback [83.65140324876536]
  知識に基づく視覚的質問応答(VQA)のための言語モデル指導型キャプションアプローチ LAMOC を提案する。 提案手法では,予備学習言語モデル (PLM) である回答予測モデルの文脈として,キャプションモデルによって生成されたキャプションを用いる。
  論文  参考訳（メタデータ） (2023-05-26T15:04:20Z)
• Improving Few-Shot Performance of Language Models via Nearest Neighbor Calibration [12.334422701057674]
  In-context Learning のための近辺校正フレームワークを提案する。 インコンテキスト学習パラダイムは、トレーニングインスタンスを推論する際に誤ったラベルを生成するという現象にインスパイアされている。 テキスト分類タスクの多種多様な実験により,本手法はテキスト内学習を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2022-12-05T12:49:41Z)
• Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)
• Improving Meta-learning for Low-resource Text Classification and Generation via Memory Imitation [87.98063273826702]
  本稿では,メモリ模倣メタラーニング(MemIML)手法を提案する。 本手法の有効性を証明するために理論的解析を行った。
  論文  参考訳（メタデータ） (2022-03-22T12:41:55Z)
• CSS-LM: A Contrastive Framework for Semi-supervised Fine-tuning of Pre-trained Language Models [59.49705076369856]
  プレトレーニング言語モデル(PLM)の微調整フェーズを改善するための新しいフレームワークを提案する。 大規模未ラベルコーパスから,タスクに対するドメインレベルおよびクラスレベルの意味的関連性に応じて,正および負のインスタンスを検索する。 次に、検索したラベル付きおよびオリジナルラベル付きの両方のインスタンスに対して、対照的な半教師付き学習を行い、PLMが重要なタスク関連セマンティックな特徴をキャプチャするのを助ける。
  論文  参考訳（メタデータ） (2021-02-07T09:27:26Z)
• Making Pre-trained Language Models Better Few-shot Learners [11.90626040104822]
  最近のGPT-3モデルは、自然言語プロンプトといくつかのタスクデモンストレーションを入力コンテキストとして活用することで、驚くべき数ショットパフォーマンスを実現します。 これらの知見に触発されて,より実用的なシナリオで,微調整が計算効率のよい小型言語モデルを用いて,小数点学習の研究を行った。 LM-BFF - 少数の注釈付き例で、言語モデルの微調整のためのシンプルで補完的な技術のスイート - 言語モデルのより良い少数ショット微調整を提示します。
  論文  参考訳（メタデータ） (2020-12-31T17:21:26Z)
• Dynamic Data Selection and Weighting for Iterative Back-Translation [116.14378571769045]
  本稿では,反復的バックトランスレーションモデルのためのカリキュラム学習戦略を提案する。 我々は、ドメイン適応、低リソース、高リソースMT設定に関するモデルを評価する。 実験の結果,提案手法は競争基準値よりも最大1.8 BLEU点の改善を達成できた。
  論文  参考訳（メタデータ） (2020-04-07T19:49:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。