論文の概要: Accelerating Thematic Investment with Prompt Tuned Pretrained Language Models

• arxiv url: http://arxiv.org/abs/2309.12075v1
• Date: Thu, 21 Sep 2023 13:45:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-22 15:10:25.459344
• Title: Accelerating Thematic Investment with Prompt Tuned Pretrained Language Models
• Title（参考訳）: Prompt Tuned Pretrained Language Modelによるテーマ投資の高速化
• Authors: Valentin Leonhard Buchner, Lele Cao, Jan-Christoph Kalo
• Abstract要約: 本研究では,マルチラベルテキスト分類タスクにおけるPrompt Tuningとベースライン手法の性能と計算効率をベンチマークする。 結果は、ドメイン固有のタスクに最先端のメソッドを適用する必要があることを示唆している。
• 参考スコア（独自算出の注目度）: 2.1942015613811416
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prompt Tuning is emerging as a scalable and cost-effective method to fine-tune Pretrained Language Models (PLMs). This study benchmarks the performance and computational efficiency of Prompt Tuning and baseline methods on a multi-label text classification task. This is applied to the use case of classifying companies into an investment firm's proprietary industry taxonomy, supporting their thematic investment strategy. Text-to-text classification with PLMs is frequently reported to outperform classification with a classification head, but has several limitations when applied to a multi-label classification problem where each label consists of multiple tokens: (a) Generated labels may not match any label in the industry taxonomy; (b) During fine-tuning, multiple labels must be provided in an arbitrary order; (c) The model provides a binary decision for each label, rather than an appropriate confidence score. Limitation (a) is addressed by applying constrained decoding using Trie Search, which slightly improves classification performance. All limitations (a), (b), and (c) are addressed by replacing the PLM's language head with a classification head. This improves performance significantly, while also reducing computational costs during inference. The results indicate the continuing need to adapt state-of-the-art methods to domain-specific tasks, even in the era of PLMs with strong generalization abilities.
• Abstract（参考訳）: Prompt Tuningは、PLM(Pretrained Language Models)を微調整するためのスケーラブルで費用効率のよい方法として登場した。 本研究では,マルチラベルテキスト分類タスクにおけるPrompt Tuningとベースライン手法の性能と計算効率をベンチマークする。 これは、企業を投資会社の独自産業分類に分類し、そのテーマ的投資戦略を支持するユースケースに適用する。 plmを用いたテキスト間分類は、分類ヘッドで分類を上回るようにしばしば報告されるが、各ラベルが複数のトークンからなるマルチラベル分類問題に適用すると、いくつかの制限がある。 a) 生成ラベルは,産業分類学においていかなるラベルとも一致しない。 b) 微調整中は,複数のラベルを任意の順序で提供しなければならない。 (c) モデルは適切な信頼スコアではなく、各ラベルに対して二項決定を提供する。 制限 (a) 分類性能をわずかに向上させるTrie Searchを用いた制約付きデコーディングを適用することで対処する。 すべての制限 (a) (b)及び c)は、PLMの言語ヘッドを分類ヘッドに置き換えることによって対処される。 これにより性能が大幅に向上し、推論時の計算コストも低減される。 その結果,PLMが一般化能力の強い時代にも,最先端の手法をドメイン固有のタスクに適用する必要性が続いていることが示唆された。

関連論文リスト

• RulePrompt: Weakly Supervised Text Classification with Prompting PLMs and Self-Iterative Logical Rules [30.239044569301534]
  弱教師付きテキスト分類(WSTC)は、大量のテキストを分類できるため、注目を集めている。 本稿では,ルールマイニングモジュールとルール強化擬似ラベル生成モジュールからなるWSTCタスクに対して,ルールプロンプトというPLMベースのアプローチを提案する。 提案手法は解釈可能なカテゴリー規則を導出し,難解なカテゴリを曖昧にすることの利点を証明した。
  論文  参考訳（メタデータ） (2024-03-05T12:50:36Z)
• SemiReward: A General Reward Model for Semi-supervised Learning [58.47299780978101]
  半教師付き学習(SSL)は、擬似ラベリングによる自己学習フレームワークの様々な改善により、大きな進歩をみせた。 主な課題は、高品質な擬似ラベルを確認バイアスと区別する方法である。 本稿では、報酬スコアを予測して高品質な擬似ラベルを評価・フィルタリングするセミ教師付きリワードフレームワーク(SemiReward)を提案する。
  論文  参考訳（メタデータ） (2023-10-04T17:56:41Z)
• ProTeCt: Prompt Tuning for Taxonomic Open Set Classification [59.59442518849203]
  分類学的オープンセット(TOS)設定では、ほとんどショット適応法はうまくいきません。 本稿では,モデル予測の階層的一貫性を校正する即時チューニング手法を提案する。 次に,階層整合性のための新しいPrompt Tuning(ProTeCt)手法を提案し,ラベル集合の粒度を分類する。
  論文  参考訳（メタデータ） (2023-06-04T02:55:25Z)
• M-Tuning: Prompt Tuning with Mitigated Label Bias in Open-Set Scenarios [103.6153593636399]
  緩和ラベルバイアス(M-Tuning)を用いた視覚言語プロンプトチューニング手法を提案する。 これはWordNetからのオープンワードを導入し、クローズドセットラベルワードのみからもっと多くのプロンプトテキストを形成する単語の範囲を広げ、シミュレートされたオープンセットシナリオでプロンプトをチューニングする。 提案手法は,様々なスケールのデータセット上で最高の性能を達成し,広範囲にわたるアブレーション研究もその有効性を検証した。
  論文  参考訳（メタデータ） (2023-03-09T09:05:47Z)
• AutoWS: Automated Weak Supervision Framework for Text Classification [1.748907524043535]
  本稿では、ドメインエキスパートへの依存を減らしつつ、弱い監督プロセスの効率を高めるための新しい枠組みを提案する。 本手法では,ラベルクラス毎にラベル付きサンプルの小さなセットが必要であり,多数のラベル付きデータにノイズ付きラベルを割り当てるラベル付き関数のセットを自動生成する。
  論文  参考訳（メタデータ） (2023-02-07T07:12:05Z)
• CCPrefix: Counterfactual Contrastive Prefix-Tuning for Many-Class Classification [57.62886091828512]
  多クラス分類のための新しいプレフィックスチューニング手法であるCCPrefixを提案する。 基本的に、ラベル空間における実数対から派生したインスタンス依存の軟式接頭辞は、多クラス分類における言語動詞化を補完するために利用される。
  論文  参考訳（メタデータ） (2022-11-11T03:45:59Z)
• Improved Adaptive Algorithm for Scalable Active Learning with Weak Labeler [89.27610526884496]
  Weak Labeler Active Cover (WL-AC)は、要求される精度を維持しながら、クエリの複雑さを低減するために、低品質の弱いラベルを堅牢に活用することができる。 受動学習と同一の精度を維持しつつラベル数を著しく削減し, 劣化したMNISTデータセット上での有効性を示す。
  論文  参考訳（メタデータ） (2022-11-04T02:52:54Z)
• Rank over Class: The Untapped Potential of Ranking in Natural Language Processing [8.637110868126546]
  我々は、現在分類を用いて対処されている多くのタスクが、実際には分類モールドに切り替わっていると論じる。 本稿では,一対のテキストシーケンスの表現を生成するトランスフォーマーネットワークからなる新しいエンドツーエンドランキング手法を提案する。 重く歪んだ感情分析データセットの実験では、ランキング結果を分類ラベルに変換すると、最先端のテキスト分類よりも約22%改善する。
  論文  参考訳（メタデータ） (2020-09-10T22:18:57Z)
• Unsupervised Person Re-identification via Multi-label Classification [55.65870468861157]
  本稿では,教師なしのReIDを多ラベル分類タスクとして定式化し,段階的に真のラベルを求める。 提案手法は,まず,各人物画像に単一クラスラベルを割り当てることから始まり,ラベル予測のために更新されたReIDモデルを活用することで,多ラベル分類へと進化する。 マルチラベル分類におけるReIDモデルのトレーニング効率を高めるために,メモリベースマルチラベル分類損失(MMCL)を提案する。
  論文  参考訳（メタデータ） (2020-04-20T12:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。