論文の概要: Boosting Prompt-Based Self-Training With Mapping-Free Automatic Verbalizer for Multi-Class Classification

• arxiv url: http://arxiv.org/abs/2312.04982v1
• Date: Fri, 8 Dec 2023 11:43:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-11 15:10:51.396610
• Title: Boosting Prompt-Based Self-Training With Mapping-Free Automatic Verbalizer for Multi-Class Classification
• Title（参考訳）: マルチクラス分類のためのマッピング不要な自動バーバリザによるプロンプトベース自己学習の強化
• Authors: Yookyung Kho, Jaehee Kim, Pilsung Kang
• Abstract要約: マッピング不要な自動言語モデリングツール (MAV) という,新しい効率的な動詞体系を導入する。 MAVは、予測から利用可能な全ての情報に乗じて、分類に必要な単語の特徴を自動的に抽出する訓練可能な発声器として機能する。 5つの多クラス分類データセットの実験結果は、MAVの優れた自己学習効果を示している。
• 参考スコア（独自算出の注目度）: 3.647905567437244
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, prompt-based fine-tuning has garnered considerable interest as a core technique for few-shot text classification task. This approach reformulates the fine-tuning objective to align with the Masked Language Modeling (MLM) objective. Leveraging unlabeled data, prompt-based self-training has shown greater effectiveness in binary and three-class classification. However, prompt-based self-training for multi-class classification has not been adequately investigated, despite its significant applicability to real-world scenarios. Moreover, extending current methods to multi-class classification suffers from the verbalizer that extracts the predicted value of manually pre-defined single label word for each class from MLM predictions. Consequently, we introduce a novel, efficient verbalizer structure, named Mapping-free Automatic Verbalizer (MAV). Comprising two fully connected layers, MAV serves as a trainable verbalizer that automatically extracts the requisite word features for classification by capitalizing on all available information from MLM predictions. Experimental results on five multi-class classification datasets indicate MAV's superior self-training efficacy.
• Abstract（参考訳）: 近年,プロンプトベースファインチューニングは,テキスト分類作業のコア技術として注目されている。 このアプローチは、Masked Language Modeling(MLM)の目的に合わせて微調整の目的を再構築する。 ラベルのないデータを活用することで、プロンプトベースの自己学習は二進法と三等分類においてより大きな効果を示した。 しかし,実世界のシナリオに適用性が高いにもかかわらず,マルチクラス分類のためのプロンプトベース自己学習は十分に検討されていない。 さらに、マルチクラス分類への現在のメソッドの拡張は、mlm予測からクラスごとに手動で定義した単一ラベルワードの予測値を抽出する動詞化に苦しむ。 そこで我々は,MAV (map-free Automatic Verbalizer) という,新しい効率的な動詞体系を導入する。 完全に接続された2つの層を構成するMAVは、MLM予測から利用可能な全ての情報を活用することで、分類に必要な単語の特徴を自動的に抽出する訓練可能な動詞化器として機能する。 5つの多クラス分類データセットの実験結果は、MAVの優れた自己学習効果を示している。

関連論文リスト

• RAR: Retrieving And Ranking Augmented MLLMs for Visual Recognition [78.97487780589574]
  MLLM(Multimodal Large Language Models)は、細粒度カテゴリの分類において優れている。 本稿では,MLLMの検索とランク付けのための拡張手法を提案する。 提案手法は, 微粒化認識における固有の限界に対処するだけでなく, モデルの包括的知識基盤も維持する。
  論文  参考訳（メタデータ） (2024-03-20T17:59:55Z)
• RulePrompt: Weakly Supervised Text Classification with Prompting PLMs and Self-Iterative Logical Rules [30.239044569301534]
  弱教師付きテキスト分類(WSTC)は、大量のテキストを分類できるため、注目を集めている。 本稿では,ルールマイニングモジュールとルール強化擬似ラベル生成モジュールからなるWSTCタスクに対して,ルールプロンプトというPLMベースのアプローチを提案する。 提案手法は解釈可能なカテゴリー規則を導出し,難解なカテゴリを曖昧にすることの利点を証明した。
  論文  参考訳（メタデータ） (2024-03-05T12:50:36Z)
• Automated Machine Learning for Multi-Label Classification [3.2634122554914002]
  2つのアルゴリズムからなるシングルラベル分類タスクに対して,新しいAutoMLアプローチを考案する。 マルチラベル分類におけるAutoMLの課題複雑性を増大させるとともに,シングルラベル分類タスクにおける技術状態を形成するAutoMLアプローチがいかにスケールするかを検討する。
  論文  参考訳（メタデータ） (2024-02-28T09:40:36Z)
• Token Prediction as Implicit Classification to Identify LLM-Generated Text [37.89852204279844]
  本稿では,テキスト生成に関わる大きな言語モデル (LLM) を識別するための新しいアプローチを提案する。 ベースLMに新たな分類層を追加する代わりに、分類タスクを次の注意すべき予測タスクとして再設定する。 実験のバックボーンとしてText-to-Text Transfer Transformer (T5) モデルを用いる。
  論文  参考訳（メタデータ） (2023-11-15T06:33:52Z)
• Automated Few-shot Classification with Instruction-Finetuned Language Models [76.69064714392165]
  我々は、AuT-Fewが最先端の数ショット学習方法より優れていることを示す。 AuT-Few は RAFT few-shot ベンチマークにおいて,データセット間で最高のランク付け手法であることを示す。
  論文  参考訳（メタデータ） (2023-05-21T21:50:27Z)
• M-Tuning: Prompt Tuning with Mitigated Label Bias in Open-Set Scenarios [103.6153593636399]
  緩和ラベルバイアス(M-Tuning)を用いた視覚言語プロンプトチューニング手法を提案する。 これはWordNetからのオープンワードを導入し、クローズドセットラベルワードのみからもっと多くのプロンプトテキストを形成する単語の範囲を広げ、シミュレートされたオープンセットシナリオでプロンプトをチューニングする。 提案手法は,様々なスケールのデータセット上で最高の性能を達成し,広範囲にわたるアブレーション研究もその有効性を検証した。
  論文  参考訳（メタデータ） (2023-03-09T09:05:47Z)
• FastClass: A Time-Efficient Approach to Weakly-Supervised Text Classification [14.918600168973564]
  本稿では,効率的な弱教師付き分類手法であるFastClassを提案する。 センシティブテキスト表現を使用して、外部ラベルなしコーパスからクラス関連文書を検索する。 実験により,提案手法は,分類精度の観点からキーワード駆動モデルよりも優れており,訓練速度のオーダー・オブ・マグニチュードが高速であることが確認された。
  論文  参考訳（メタデータ） (2022-12-11T13:43:22Z)
• Revisiting Self-Training for Few-Shot Learning of Language Model [61.173976954360334]
  ラベル付きデータにはタスク関連情報が豊富に含まれており、言語モデルの素早い学習に有用であることが証明されている。 本研究では,言語モデルファインチューニングのための自己学習手法を再検討し,最先端のプロンプトベースの少ショット学習者,SFLMを提案する。
  論文  参考訳（メタデータ） (2021-10-04T08:51:36Z)
• Binary Classification from Multiple Unlabeled Datasets via Surrogate Set Classification [94.55805516167369]
  我々は m 個の U 集合を $mge2$ で二進分類する新しい手法を提案する。 我々のキーとなる考え方は、サロゲート集合分類(SSC)と呼ばれる補助的分類タスクを考えることである。
  論文  参考訳（メタデータ） (2021-02-01T07:36:38Z)
• Joint Visual and Temporal Consistency for Unsupervised Domain Adaptive Person Re-Identification [64.37745443119942]
  本稿では,局所的なワンホット分類とグローバルなマルチクラス分類を組み合わせることで,視覚的・時間的整合性を両立させる。 3つの大規模ReIDデータセットの実験結果は、教師なしと教師なしの両方のドメイン適応型ReIDタスクにおいて提案手法の優位性を示す。
  論文  参考訳（メタデータ） (2020-07-21T14:31:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。