論文の概要: Learning Label Modular Prompts for Text Classification in the Wild
- arxiv url: http://arxiv.org/abs/2211.17142v1
- Date: Wed, 30 Nov 2022 16:26:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-01 15:54:07.079786
- Title: Learning Label Modular Prompts for Text Classification in the Wild
- Title(参考訳): 野生動物におけるテキスト分類のための学習ラベルモジュールプロンプト
- Authors: Hailin Chen, Amrita Saha, Shafiq Joty, Steven C.H. Hoi
- Abstract要約: そこで本研究では,非定常学習/テスト段階の異なるテキスト分類手法を提案する。
複雑なタスクをモジュラー成分に分解することで、そのような非定常環境下での堅牢な一般化が可能になる。
テキスト分類タスクのためのラベルモジュール型プロンプトチューニングフレームワークMODcularPROMPTを提案する。
- 参考スコア(独自算出の注目度): 56.66187728534808
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine learning models usually assume i.i.d data during training and
testing, but data and tasks in real world often change over time. To emulate
the transient nature of real world, we propose a challenging but practical
task: text classification in-the-wild, which introduces different
non-stationary training/testing stages. Decomposing a complex task into modular
components can enable robust generalisation under such non-stationary
environment. However, current modular approaches in NLP do not take advantage
of recent advances in parameter efficient tuning of pretrained language models.
To close this gap, we propose MODULARPROMPT, a label-modular prompt tuning
framework for text classification tasks. In MODULARPROMPT, the input prompt
consists of a sequence of soft label prompts, each encoding modular knowledge
related to the corresponding class label. In two of most formidable settings,
MODULARPROMPT outperforms relevant baselines by a large margin demonstrating
strong generalisation ability. We also conduct comprehensive analysis to
validate whether the learned prompts satisfy properties of a modular
representation.
- Abstract(参考訳): 機械学習モデルは通常、トレーニングとテストの間、i.i.dデータを仮定するが、現実世界のデータとタスクは時間とともに変化する。
実世界の過渡的な性質をエミュレートするために,本研究では,非定常学習/テスト段階の異なるテキスト分類方式を提案する。
複雑なタスクをモジュールコンポーネントに分解することで、このような非定常環境下で堅牢な一般化が可能になる。
しかし、NLPにおける現在のモジュラーアプローチは、事前訓練された言語モデルのパラメータ効率的なチューニングの最近の進歩を生かしていない。
このギャップを埋めるために,テキスト分類タスクのためのラベルモジュール型プロンプトチューニングフレームワークMODcularPROMPTを提案する。
MODcularPROMPTでは、入力プロンプトはソフトラベルプロンプトのシーケンスで構成され、それぞれが対応するクラスラベルに関するモジュラー知識を符号化する。
最も恐ろしい2つの設定において、MODcularPROMPTは、強い一般化能力を示す大きなマージンで関連するベースラインを上回っている。
また、学習したプロンプトがモジュラー表現の性質を満たすかどうかを総合解析して検証する。
関連論文リスト
- RulePrompt: Weakly Supervised Text Classification with Prompting PLMs
and Self-Iterative Logical Rules [32.04177004723828]
弱教師付きテキスト分類(WSTC)は、大量のテキストを分類できるため、注目を集めている。
本稿では,ルールマイニングモジュールとルール強化擬似ラベル生成モジュールからなるWSTCタスクに対して,ルールプロンプトというPLMベースのアプローチを提案する。
提案手法は解釈可能なカテゴリー規則を導出し,難解なカテゴリを曖昧にすることの利点を証明した。
論文 参考訳(メタデータ) (2024-03-05T12:50:36Z) - Prompt Highlighter: Interactive Control for Multi-Modal LLMs [54.53324095171722]
本研究では,マルチモーダル LLM (LLMs&VLMs) 推論における重要な側面として,明示的な制御可能なテキスト生成を目標とする。
本稿では,新しい推論手法であるPrompt Highlighterを導入し,ユーザが特定のプロンプトスパンをハイライトし,生成中のフォーカスをインタラクティブに制御できるようにする。
推論中、注意重みを通して強調されたトークンでモデルを導くことで、より望ましい出力が得られます。
論文 参考訳(メタデータ) (2023-12-07T13:53:29Z) - On Conditional and Compositional Language Model Differentiable Prompting [75.76546041094436]
プロンプトは、下流タスクでうまく機能するために、凍結した事前訓練言語モデル(PLM)を適応するための効果的な方法であることが示されている。
タスク命令や入力メタデータを連続的なプロンプトに変換することを学習する新しいモデル Prompt Production System (PRopS) を提案する。
論文 参考訳(メタデータ) (2023-07-04T02:47:42Z) - ModuleFormer: Modularity Emerges from Mixture-of-Experts [60.6148988099284]
本稿では,大規模言語モデルの効率性と柔軟性を向上させるために,新しいニューラルネットワークアーキテクチャであるModuleFormerを提案する。
以前のSMoEベースのモジュラー言語モデルとは異なり、ModuleFormerは未処理のデータからモジュラリティを誘導することができる。
論文 参考訳(メタデータ) (2023-06-07T17:59:57Z) - Gradient-Regulated Meta-Prompt Learning for Generalizable
Vision-Language Models [137.74524357614285]
グラディエント・レグルアテッドメタプロンプト学習フレームワークについて紹介する。
パラメーターとデータ -- 効率的な方法で下流タスクにモデルを適応させるのに役立つ。
GRAMはモデルに依存しない方法で様々なプロンプトチューニング手法に容易に組み込むことができる。
論文 参考訳(メタデータ) (2023-03-12T05:03:37Z) - Modular Deep Learning [120.36599591042908]
トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。
負の干渉を伴わずに複数のタスクを専門とするモデルを開発する方法はまだ不明である。
これらの課題に対する有望な解決策として、モジュール型ディープラーニングが登場した。
論文 参考訳(メタデータ) (2023-02-22T18:11:25Z) - Truth-Conditional Captioning of Time Series Data [34.65925116012727]
本稿では,時系列における有能なパターンの自然言語記述を自動的に生成する作業について検討する。
このタスクのモデルは、ピークやディップのような高レベルなパターンを抽出できるはずである。
本稿では,まず入力時系列上で学習プログラムを実行する真理条件付き計算モデルを提案する。
提案モデルでは,モジュール型の小型かつ簡易な空間を考慮した場合であっても,高精度なキャプションを生成可能であることがわかった。
論文 参考訳(メタデータ) (2021-10-05T06:28:37Z) - Prompt-Learning for Fine-Grained Entity Typing [40.983849729537795]
完全教師付き,少数ショット,ゼロショットシナリオにおける微粒化エンティティタイピングに対するプロンプトラーニングの適用について検討する。
本稿では,エンティティタイプの情報を自動的に要約するために,プロンプトラーニングにおける分布レベルの最適化を行う自己教師型戦略を提案する。
論文 参考訳(メタデータ) (2021-08-24T09:39:35Z) - Modularizing Deep Learning via Pairwise Learning With Kernels [12.051746916737343]
特徴空間における積み重ね線形モデルとして、有限幅で完全に訓練可能なディープ・コンピューティング・ニューラルネットの代替的視点を示す。
次に,モジュール間のバックプロパゲーションを必要としない分類のための,証明可能な最適モジュール学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-05-12T04:19:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。