論文の概要: Manifold-based Verbalizer Space Re-embedding for Tuning-free Prompt-based Classification

• arxiv url: http://arxiv.org/abs/2309.04174v2
• Date: Mon, 29 Jan 2024 12:31:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-30 22:09:38.286222
• Title: Manifold-based Verbalizer Space Re-embedding for Tuning-free Prompt-based Classification
• Title（参考訳）: 調律のないプロンプトに基づく分類のための多様体型動詞化空間再埋め込み
• Authors: Haochun Wang, Sendong Zhao, Chi Liu, Nuwa Xi, Muzhen Cai, Bing Qin, Ting Liu
• Abstract要約: そこで本研究では, クラス内制約付き局所線形埋め込み(Locally Linear Embedding) と呼ばれる, チューニング不要な多様体を用いた空間再埋め込み法を提案する。 我々の手法は、さらに3.2%までプロンプトベースのチューニングを強化する。
• 参考スコア（独自算出の注目度）: 34.33544689818836
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompt-based classification adapts tasks to a cloze question format utilizing the [MASK] token and the filled tokens are then mapped to labels through pre-defined verbalizers. Recent studies have explored the use of verbalizer embeddings to reduce labor in this process. However, all existing studies require a tuning process for either the pre-trained models or additional trainable embeddings. Meanwhile, the distance between high-dimensional verbalizer embeddings should not be measured by Euclidean distance due to the potential for non-linear manifolds in the representation space. In this study, we propose a tuning-free manifold-based space re-embedding method called Locally Linear Embedding with Intra-class Neighborhood Constraint (LLE-INC) for verbalizer embeddings, which preserves local properties within the same class as guidance for classification. Experimental results indicate that even without tuning any parameters, our LLE-INC is on par with automated verbalizers with parameter tuning. And with the parameter updating, our approach further enhances prompt-based tuning by up to 3.2%. Furthermore, experiments with the LLaMA-7B&13B indicate that LLE-INC is an efficient tuning-free classification approach for the hyper-scale language models.
• Abstract（参考訳）: Promptベースの分類は、[MASK]トークンを使用してタスクを閉じた質問形式に適応し、入力されたトークンは事前に定義された動詞化子を通してラベルにマッピングされる。 近年, このプロセスにおける労働力削減のために, 発声器埋め込みの使用について検討している。 しかし、既存の研究はすべて、事前訓練されたモデルまたは追加訓練可能な埋め込みのチューニングプロセスを必要とする。 一方、高次元動詞化子埋め込み間の距離は、表現空間における非線形多様体のポテンシャルのためにユークリッド距離で測るべきではない。 本研究では, クラス内近傍制約付き局所線形埋め込み (lle-inc) と呼ばれる, 同じクラス内の局所プロパティを分類のガイダンスとして保存するチューニングフリーな多様体型空間再埋め込み法を提案する。 実験結果から,パラメータをチューニングせずにも,LLE-INCはパラメータチューニングを伴う自動動詞化器と同等であることがわかった。 また,パラメータの更新により,プロンプトベースのチューニングが最大3.2%向上する。 さらに、llama-7b&13bの実験により、lle-incはハイパースケール言語モデルの効率的なチューニングフリー分類アプローチであることが示された。

関連論文リスト

• Infusing Hierarchical Guidance into Prompt Tuning: A Parameter-Efficient Framework for Multi-level Implicit Discourse Relation Recognition [16.647413058592125]
  マルチレベル暗黙的談話関係認識(MIDRR)は,議論間の階層的談話関係の同定を目的とする。 本稿では,プロンプトベースを提案する。 上記の問題を解決するための多レベルIDRR(PEMI)フレームワーク。
  論文  参考訳（メタデータ） (2024-02-23T03:53:39Z)
• ProTeCt: Prompt Tuning for Taxonomic Open Set Classification [59.59442518849203]
  分類学的オープンセット(TOS)設定では、ほとんどショット適応法はうまくいきません。 本稿では,モデル予測の階層的一貫性を校正する即時チューニング手法を提案する。 次に,階層整合性のための新しいPrompt Tuning(ProTeCt)手法を提案し,ラベル集合の粒度を分類する。
  論文  参考訳（メタデータ） (2023-06-04T02:55:25Z)
• Active Finetuning: Exploiting Annotation Budget in the Pretraining-Finetuning Paradigm [132.9949120482274]
  本稿では,事前学習ファインタニングパラダイムにおけるアノテーションのためのサンプルの選択に焦点を当てる。 本研究では,アクティブな微調整タスクのためのActiveFTと呼ばれる新しい手法を提案する。 画像分類とセマンティックセグメンテーションの両方に基づくベースラインよりも優れたActiveFTの先行性能と高効率性を示す。
  論文  参考訳（メタデータ） (2023-03-25T07:17:03Z)
• Task-Specific Embeddings for Ante-Hoc Explainable Text Classification [6.671252951387647]
  テキストのタスク固有の埋め込みを学習する学習目標を提案する。 提案する目的は,同一のクラスラベルを共有するすべてのテキストが近接しているように埋め込みを学習することである。 本研究は, 総合的な分類精度において, アンテホックな説明可能性と漸進的な学習の利点が無コストで得られることを示す広範囲な実験である。
  論文  参考訳（メタデータ） (2022-11-30T19:56:25Z)
• CCPrefix: Counterfactual Contrastive Prefix-Tuning for Many-Class Classification [57.62886091828512]
  多クラス分類のための新しいプレフィックスチューニング手法であるCCPrefixを提案する。 基本的に、ラベル空間における実数対から派生したインスタンス依存の軟式接頭辞は、多クラス分類における言語動詞化を補完するために利用される。
  論文  参考訳（メタデータ） (2022-11-11T03:45:59Z)
• Generative Prompt Tuning for Relation Classification [21.027631157115135]
  本稿では,関係分類を埋め込み問題として再構成する新しい生成的プロンプトチューニング手法を提案する。 さらに,エンティティ誘導型復号化と識別的関係スコアリングを設計し,推論中の関係を効果的かつ効率的に生成・調整する。
  論文  参考訳（メタデータ） (2022-10-22T12:40:23Z)
• Parameter-Efficient Tuning by Manipulating Hidden States of Pretrained Language Models For Classification Tasks [49.807185872741066]
  トレーニング可能なベクトルを3つだけ導入する簡単なチューニング手法を提案する。 統合された隠れ状態(s)をタスク固有の線形分類器に入力し、カテゴリを予測する。 このスキームは、ELMoが隠された状態をLSTMベースのモデルに供給する以外は、隠された状態を利用する方法に似ている。
  論文  参考訳（メタデータ） (2022-04-10T04:14:02Z)
• Out-of-Manifold Regularization in Contextual Embedding Space for Text Classification [22.931314501371805]
  空間の残りの部分を見つけ、正規化するための新しいアプローチを提案します。 実際に観察された単語から得られた2つの埋め込みに基づいて, アウトオブマニフォールド埋め込みを合成する。 判別器は、入力埋め込みがマニホールド内に位置するかどうかを検出するように訓練され、同時に、ジェネレーターは、容易にマニホールド外として識別できる新しい埋め込みを生成するように最適化される。
  論文  参考訳（メタデータ） (2021-05-14T10:17:59Z)
• A Correspondence Variational Autoencoder for Unsupervised Acoustic Word Embeddings [50.524054820564395]
  そこで本稿では,変数分割音声セグメントを固定次元表現にマッピングするための教師なしモデルを提案する。 結果として得られる音響単語の埋め込みは、低リソース言語とゼロリソース言語のための検索、発見、インデックスシステムの基礎を形成することができる。
  論文  参考訳（メタデータ） (2020-12-03T19:24:42Z)
• Self-Supervised Tuning for Few-Shot Segmentation [82.32143982269892]
  Few-shotのセグメンテーションは、アノテートされたサンプルがほとんどない各画像ピクセルにカテゴリラベルを割り当てることを目的としている。 既存のメタラーニング手法では, 画像から抽出した視覚的特徴を埋め込み空間に埋め込むと, カテゴリー別識別記述子の生成に失敗する傾向にある。 本稿では,複数のエピソードにまたがる潜在特徴の分布を,自己分割方式に基づいて動的に調整する適応型フレームワークチューニングを提案する。
  論文  参考訳（メタデータ） (2020-04-12T03:53:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。