論文の概要: Efficient Cross-Task Prompt Tuning for Few-Shot Conversational Emotion Recognition

• arxiv url: http://arxiv.org/abs/2310.14614v1
• Date: Mon, 23 Oct 2023 06:46:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 22:10:18.140769
• Title: Efficient Cross-Task Prompt Tuning for Few-Shot Conversational Emotion Recognition
• Title（参考訳）: Few-Shot Conversational Emotion Recognitionのためのクロスタスク・プロンプト・チューニング
• Authors: Yige Xu, Zhiwei Zeng, Zhiqi Shen
• Abstract要約: Emotion Recognition in Conversation (ERC) は感情認識型共感機械の開発において重要であるため、広く研究されている。 対話型感情認識のためのCTPT(Cross-Task Prompt Tuning)と呼ばれる微分自由度最適化手法を提案する。
• 参考スコア（独自算出の注目度）: 6.988000604392974
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Emotion Recognition in Conversation (ERC) has been widely studied due to its importance in developing emotion-aware empathetic machines. The rise of pre-trained language models (PLMs) has further pushed the limit of ERC performance. However, most recent works on ERC using PLMs are heavily data-driven, and requires fine-tuning the entire PLMs. To improve both sample and computational efficiency, we propose a derivative-free optimization method called Cross-Task Prompt Tuning (CTPT) for few-shot conversational emotion recognition. Unlike existing methods that learn independent knowledge from individual tasks, CTPT leverages sharable cross-task knowledge by exploiting external knowledge from other source tasks to improve learning performance under the few-shot setting. Moreover, CTPT only needs to optimize a vector under the low intrinsic dimensionality without gradient, which is highly parameter-efficient compared with existing approaches. Experiments on five different contextual conversation datasets demonstrate that our CTPT method has superior results on both few-shot scenarios and zero-shot transfers.
• Abstract（参考訳）: Emotion Recognition in Conversation (ERC) は感情認識型共感機械の開発において重要であるため、広く研究されている。 プレトレーニング言語モデル(PLM)の台頭により、ERC性能の限界がさらに強まった。 しかし、最近のPRMを用いたERCの研究はデータ駆動であり、PLM全体を微調整する必要がある。 サンプルと計算効率の両面を改善するために,クロスタスク・プロンプト・チューニング (CTPT) と呼ばれる微分自由度最適化手法を提案する。 個々のタスクから独立した知識を学習する既存の方法とは異なり、ctptは、他のソースタスクから外部の知識を活用し、少数の設定で学習性能を向上させることで、シェール可能なクロスタスクの知識を活用する。 さらに、CTPTは勾配のない低内在次元のベクトルを最適化することしか必要とせず、既存の手法と比較してパラメータ効率が高い。 5つの異なるコンテキスト会話データセットに関する実験により、ctpt法は、少ないシナリオとゼロショット転送の両方において優れた結果を示す。

関連論文リスト

• Active Learning with Task Adaptation Pre-training for Speech Emotion Recognition [17.59356583727259]
  音声感情認識(SER)はその幅広い応用により注目を集めている。 我々は,textscAfterと呼ばれる,SERのためのアクティブラーニング(AL)に基づく微調整フレームワークを提案する。 提案手法は精度を8.45%向上し,時間消費を79%削減する。
  論文  参考訳（メタデータ） (2024-05-01T04:05:29Z)
• OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
  複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。 本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T10:08:04Z)
• How Does In-Context Learning Help Prompt Tuning? [55.78535874154915]
  微調整された大きな言語モデルは、急速に拡大するスケールのために、ますます実用的ではないものになりつつある。 これはプロンプトチューニング(PT)のようなパラメータ効率のよい適応手法の使用を動機付け、凍ったモデルに少数のチューナブルな埋め込みを追加する。 近年,Singhalら (2022) はPTとICLを組み合わせた命令プロンプトチューニング (IPT) を提案している。
  論文  参考訳（メタデータ） (2023-02-22T17:45:12Z)
• Contextual Information and Commonsense Based Prompt for Emotion Recognition in Conversation [14.651642872901496]
  会話における感情認識(Emotion Recognition in conversation,ERC)は、ある会話における発話ごとの感情を検出することを目的としている。 近年のERCモデルは、事前学習と微調整のパラダイムを取り入れた事前学習言語モデル(PLM)を活用して、優れた性能を実現している。 本稿では,命令モデルと言語モデル(LM)チューニングの新しいパラダイムを取り入れた新しいERCモデルCISPERを提案する。
  論文  参考訳（メタデータ） (2022-07-27T02:34:05Z)
• Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
  インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。 IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2022-06-04T10:08:50Z)
• Making Pre-trained Language Models End-to-end Few-shot Learners with Contrastive Prompt Tuning [41.15017636192417]
  CP-Tuning(CP-Tuning)は、言語モデルのための最初のエンドツーエンドのPrompt Tuningフレームワークである。 完全にトレーニング可能なプロンプトパラメータを持つタスク不変の連続プロンプトエンコーディング技術と統合されている。 IRシステムや異なるPLMで使用される様々な言語理解タスクの実験は、CP-Tuningが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-04-01T02:24:24Z)
• Improved Speech Emotion Recognition using Transfer Learning and Spectrogram Augmentation [56.264157127549446]
  音声感情認識(SER)は、人間とコンピュータの相互作用において重要な役割を果たす課題である。 SERの主な課題の1つは、データの不足である。 本稿では,スペクトログラム拡張と併用した移動学習戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-05T10:39:39Z)
• Learning to Ask Conversational Questions by Optimizing Levenshtein Distance [83.53855889592734]
  明示的な編集動作によって最小レベンシュテイン距離(MLD)を最適化する強化反復シーケンス編集(RISE)フレームワークを導入する。 RISEは会話の特徴に関連するトークンに注意を払うことができる。 2つのベンチマークデータセットの実験結果から、RISEは最先端の手法を大幅に上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-30T08:44:19Z)
• Weighted Training for Cross-Task Learning [71.94908559469475]
  クロスタスク学習のための重み付きトレーニングアルゴリズムであるTarget-Aware Weighted Training (TAWT)を紹介する。 TAWTは実装が容易で、計算効率が高く、ハイパーパラメータチューニングがほとんど必要とせず、漸近的でない学習理論の保証を享受できることを示す。 副産物として、提案された表現に基づくタスク距離は、クロスタスク学習のいくつかの重要な側面について理論的に原則化された方法で推論することができる。
  論文  参考訳（メタデータ） (2021-05-28T20:27:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。