論文の概要: Learning Label Modular Prompts for Text Classification in the Wild

• arxiv url: http://arxiv.org/abs/2211.17142v1
• Date: Wed, 30 Nov 2022 16:26:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 15:54:07.079786
• Title: Learning Label Modular Prompts for Text Classification in the Wild
• Title（参考訳）: 野生動物におけるテキスト分類のための学習ラベルモジュールプロンプト
• Authors: Hailin Chen, Amrita Saha, Shafiq Joty, Steven C.H. Hoi
• Abstract要約: そこで本研究では,非定常学習/テスト段階の異なるテキスト分類手法を提案する。 複雑なタスクをモジュラー成分に分解することで、そのような非定常環境下での堅牢な一般化が可能になる。 テキスト分類タスクのためのラベルモジュール型プロンプトチューニングフレームワークMODcularPROMPTを提案する。
• 参考スコア（独自算出の注目度）: 56.66187728534808
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning models usually assume i.i.d data during training and testing, but data and tasks in real world often change over time. To emulate the transient nature of real world, we propose a challenging but practical task: text classification in-the-wild, which introduces different non-stationary training/testing stages. Decomposing a complex task into modular components can enable robust generalisation under such non-stationary environment. However, current modular approaches in NLP do not take advantage of recent advances in parameter efficient tuning of pretrained language models. To close this gap, we propose MODULARPROMPT, a label-modular prompt tuning framework for text classification tasks. In MODULARPROMPT, the input prompt consists of a sequence of soft label prompts, each encoding modular knowledge related to the corresponding class label. In two of most formidable settings, MODULARPROMPT outperforms relevant baselines by a large margin demonstrating strong generalisation ability. We also conduct comprehensive analysis to validate whether the learned prompts satisfy properties of a modular representation.
• Abstract（参考訳）: 機械学習モデルは通常、トレーニングとテストの間、i.i.dデータを仮定するが、現実世界のデータとタスクは時間とともに変化する。 実世界の過渡的な性質をエミュレートするために,本研究では,非定常学習/テスト段階の異なるテキスト分類方式を提案する。 複雑なタスクをモジュールコンポーネントに分解することで、このような非定常環境下で堅牢な一般化が可能になる。 しかし、NLPにおける現在のモジュラーアプローチは、事前訓練された言語モデルのパラメータ効率的なチューニングの最近の進歩を生かしていない。 このギャップを埋めるために,テキスト分類タスクのためのラベルモジュール型プロンプトチューニングフレームワークMODcularPROMPTを提案する。 MODcularPROMPTでは、入力プロンプトはソフトラベルプロンプトのシーケンスで構成され、それぞれが対応するクラスラベルに関するモジュラー知識を符号化する。 最も恐ろしい2つの設定において、MODcularPROMPTは、強い一般化能力を示す大きなマージンで関連するベースラインを上回っている。 また、学習したプロンプトがモジュラー表現の性質を満たすかどうかを総合解析して検証する。

関連論文リスト

• Mixture of Prompt Learning for Vision Language Models [12.828490399811376]
  ルーティングモジュールを組み込んだソフトプロンプト学習手法の混合を提案する。 このモジュールはデータセットのさまざまなスタイルをキャプチャし、インスタンス毎に最も適切なプロンプトを動的に選択することができる。 また、意味的にグループ化されたテキストレベルの監視を実装し、各ソフトプロンプトを、そのグループから手動で設計されたテンプレートのトークン埋め込みで初期化する。
  論文  参考訳（メタデータ） (2024-09-18T14:25:02Z)
• Adapting Vision-Language Models to Open Classes via Test-Time Prompt Tuning [50.26965628047682]
  学習済みのモデルをオープンクラスに適応させることは、機械学習において難しい問題である。 本稿では,両者の利点を組み合わせたテスト時プロンプトチューニング手法を提案する。 提案手法は,基本クラスと新クラスの両方を考慮し,すべての比較手法を平均的に上回る結果を得た。
  論文  参考訳（メタデータ） (2024-08-29T12:34:01Z)
• Is Modularity Transferable? A Case Study through the Lens of Knowledge Distillation [59.37775534633868]
  同族PLM間で事前訓練されたタスク固有のPEFTモジュールを転送するための極めて簡単なアプローチを提案する。 また,不整合性PLM間のモジュールの移動を,推論複雑性の変化を伴わずに行う方法を提案する。
  論文  参考訳（メタデータ） (2024-03-27T17:50:00Z)
• CFPL-FAS: Class Free Prompt Learning for Generalizable Face Anti-spoofing [66.6712018832575]
  ドメイン一般化 (DG) ベースの Face Anti-Spoofing (FAS) は、目に見えないドメインにおけるモデルの性能を改善することを目的としている。 私たちはCLIPのような大規模VLMを利用し、テキスト機能を利用して分類器の重みを動的に調整し、一般化可能な視覚的特徴を探索する。
  論文  参考訳（メタデータ） (2024-03-21T11:58:50Z)
• On Conditional and Compositional Language Model Differentiable Prompting [75.76546041094436]
  プロンプトは、下流タスクでうまく機能するために、凍結した事前訓練言語モデル(PLM)を適応するための効果的な方法であることが示されている。 タスク命令や入力メタデータを連続的なプロンプトに変換することを学習する新しいモデル Prompt Production System (PRopS) を提案する。
  論文  参考訳（メタデータ） (2023-07-04T02:47:42Z)
• Gradient-Regulated Meta-Prompt Learning for Generalizable Vision-Language Models [137.74524357614285]
  グラディエント・レグルアテッドメタプロンプト学習フレームワークについて紹介する。 パラメーターとデータ -- 効率的な方法で下流タスクにモデルを適応させるのに役立つ。 GRAMはモデルに依存しない方法で様々なプロンプトチューニング手法に容易に組み込むことができる。
  論文  参考訳（メタデータ） (2023-03-12T05:03:37Z)
• Truth-Conditional Captioning of Time Series Data [34.65925116012727]
  本稿では,時系列における有能なパターンの自然言語記述を自動的に生成する作業について検討する。 このタスクのモデルは、ピークやディップのような高レベルなパターンを抽出できるはずである。 本稿では,まず入力時系列上で学習プログラムを実行する真理条件付き計算モデルを提案する。 提案モデルでは,モジュール型の小型かつ簡易な空間を考慮した場合であっても,高精度なキャプションを生成可能であることがわかった。
  論文  参考訳（メタデータ） (2021-10-05T06:28:37Z)
• Prompt-Learning for Fine-Grained Entity Typing [40.983849729537795]
  完全教師付き,少数ショット,ゼロショットシナリオにおける微粒化エンティティタイピングに対するプロンプトラーニングの適用について検討する。 本稿では,エンティティタイプの情報を自動的に要約するために,プロンプトラーニングにおける分布レベルの最適化を行う自己教師型戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-24T09:39:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。