論文の概要: Clip-Tuning: Towards Derivative-free Prompt Learning with a Mixture of Rewards

• arxiv url: http://arxiv.org/abs/2210.12050v1
• Date: Fri, 21 Oct 2022 15:42:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-24 15:03:19.696954
• Title: Clip-Tuning: Towards Derivative-free Prompt Learning with a Mixture of Rewards
• Title（参考訳）: クリップチューニング:報酬の混合によるデリバティブフリープロンプト学習に向けて
• Authors: Yekun Chai, Shuohuan Wang, Yu Sun, Hao Tian, Hua Wu, Haifeng Wang
• Abstract要約: 微分自由なプロンプト学習は、プロンプトチューニングの軽量な代替手段として登場した。 Clip-Tuningを提案する。Clip-Tuningは、言語モデルの多様な凍結された「薄型」ネットワークを採用する手法である。 本手法は、7つの言語理解ベンチマークにおいて、数ショット設定で勾配に基づく同等性を実現する。
• 参考スコア（独自算出の注目度）: 45.72721300912537
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Derivative-free prompt learning has emerged as a lightweight alternative to prompt tuning, which only requires model inference to optimize the prompts. However, existing work did not take full advantage of the over-parameterized characteristics of large pre-trained language models (PLMs). In this paper, we propose Clip-Tuning, a simple yet effective method that adopts diverse frozen "thinned" networks of PLMs to obtain a mixture of rewards and thus advance the derivative-free prompt learning. The thinned networks consist of all the hidden units that survive a stationary dropout strategy, whose inference predictions reflect an ensemble of partial views over prompted training samples. Our method outperforms previous gradient-free prompt learning methods and achieves parity with gradient-based counterparts on seven language understanding benchmarks under few-shot settings.
• Abstract（参考訳）: デリバティブフリーなプロンプト学習はプロンプトチューニングの軽量な代替手段として登場し、プロンプトを最適化するためにモデル推論のみを必要とする。 しかし、既存の研究は、大規模事前学習言語モデル(PLM)の過度なパラメータ化特性を十分に活用しなかった。 本稿では,PLMの「薄型」ネットワークを多種多様な「薄型」ネットワークで適用し,報酬の混合を図り,デリバティブフリーな素早い学習を推し進める,シンプルで効果的なClip-Tuningを提案する。 薄いネットワークは、静止したドロップアウト戦略を生き残るすべての隠れユニットで構成されており、推論予測は、トレーニングサンプルを誘導する部分的なビューの集合を反映している。 提案手法は,従来の勾配フリープロンプト学習手法を上回り,数ショット設定による7つの言語理解ベンチマークにおいて,勾配ベースと同等性を達成する。

関連論文リスト

• Rethinking Token Reduction in MLLMs: Towards a Unified Paradigm for Training-Free Acceleration [31.50005609235654]
  本研究は,無訓練トークン還元研究の現況を再考する。 トークン還元を3つの異なる段階に分解する「フィルタ相関圧縮」パラダイムを提案する。 10のベンチマークでの実験結果から,本手法は最大82.4%のFLOP削減が可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-11-26T18:53:51Z)
• Hard Prompts Made Interpretable: Sparse Entropy Regularization for Prompt Tuning with RL [29.01858866450715]
  ソフトQ-ラーニングを利用した最適なプロンプトを見つけることを目的としたRLPromptを提案する。 結果は有望な結果を示す一方で,プロンプトが不自然に現れることがしばしばあり,その解釈可能性を妨げることが確認されている。 この制限をスパルス・ツァリスエントロピー正規化(英語版)を用いて解決する。
  論文  参考訳（メタデータ） (2024-07-20T03:10:19Z)
• Debiasing Multimodal Large Language Models [61.6896704217147]
  LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。 本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。 これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
  論文  参考訳（メタデータ） (2024-03-08T12:35:07Z)
• Exploring Lottery Prompts for Pre-trained Language Models [46.66885465183664]
  インスタンスレベルのプロンプトとその一般化可能性について検討する。 いずれの場合も、ほとんどの場合、PLMから正しい予測を誘導する宝くじプロンプトがある。 一部の強力な宝くじプロンプトは、トレーニングセット全体に対して高いパフォーマンスを持つ。
  論文  参考訳（メタデータ） (2023-05-31T02:17:04Z)
• M-Tuning: Prompt Tuning with Mitigated Label Bias in Open-Set Scenarios [103.6153593636399]
  緩和ラベルバイアス(M-Tuning)を用いた視覚言語プロンプトチューニング手法を提案する。 これはWordNetからのオープンワードを導入し、クローズドセットラベルワードのみからもっと多くのプロンプトテキストを形成する単語の範囲を広げ、シミュレートされたオープンセットシナリオでプロンプトをチューニングする。 提案手法は,様々なスケールのデータセット上で最高の性能を達成し,広範囲にわたるアブレーション研究もその有効性を検証した。
  論文  参考訳（メタデータ） (2023-03-09T09:05:47Z)
• ConsPrompt: Exploiting Contrastive Samples for Fewshot Prompt Learning [37.219617741198334]
  本研究では,プロンプト表現のロバスト性を改善するために,適切なコントラストサンプルと多自由度コントラスト学習手法について検討する。 以上の結果から, 高速微調整プロセスにおける多自由度コントラスト学習の有効性が証明された。
  論文  参考訳（メタデータ） (2022-11-08T09:29:45Z)
• CPL: Counterfactual Prompt Learning for Vision and Language Models [76.18024920393245]
  本稿では、視覚と言語モデルのための新しいアンダーラインテキストbfCounterfactual underlinetextbfPrompt underlinetextbfLearning (CPL)法を提案する。 CPLは、共同最適化フレームワークにおいて、反ファクト生成とコントラスト学習を同時に採用している。 実験により、CPLは異なるビジョンと言語タスクにおいて優れた数ショットのパフォーマンスを得ることができることが示された。
  論文  参考訳（メタデータ） (2022-10-19T08:06:39Z)
• Contrastive Demonstration Tuning for Pre-trained Language Models [59.90340768724675]
  デモの例は、プロンプトチューニングの優れた最終パフォーマンスに不可欠である。 提案手法は次の通りである: (i) 従来の急速学習アプローチにプラグイン; (ii) 多数のカテゴリを持つ広範囲な分類タスクに拡張。 16のデータセットに対する実験結果から,従来のLM-BFFとP-tuningを統合した手法により,性能が向上することが示された。
  論文  参考訳（メタデータ） (2022-04-09T05:30:48Z)
• Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
  原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。 PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。 PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
  論文  参考訳（メタデータ） (2020-05-11T09:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。