論文の概要: BERT-ERC: Fine-tuning BERT is Enough for Emotion Recognition in Conversation

• arxiv url: http://arxiv.org/abs/2301.06745v1
• Date: Tue, 17 Jan 2023 08:03:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-18 14:36:32.018847
• Title: BERT-ERC: Fine-tuning BERT is Enough for Emotion Recognition in Conversation
• Title（参考訳）: BERT-ERC:会話における感情認識に十分な微調整BERT
• Authors: Xiangyu Qin, Zhiyu Wu, Jinshi Cui, Tingting Zhang, Yanran Li, Jian Luan, Bin Wang, Li Wang
• Abstract要約: 会話における感情認識(ERC)に関するこれまでの研究は、2段階のパラダイムを踏襲している。 本研究では,文脈情報と対話構造情報を微調整段階において探索する新しいパラダイムを提案する。 本稿では,提案パラダイムに従って,ERC モデル BERT-ERC を開発し,ERC の性能を3つの面で向上させる。
• 参考スコア（独自算出の注目度）: 19.663265448700002
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Previous works on emotion recognition in conversation (ERC) follow a two-step paradigm, which can be summarized as first producing context-independent features via fine-tuning pretrained language models (PLMs) and then analyzing contextual information and dialogue structure information among the extracted features. However, we discover that this paradigm has several limitations. Accordingly, we propose a novel paradigm, i.e., exploring contextual information and dialogue structure information in the fine-tuning step, and adapting the PLM to the ERC task in terms of input text, classification structure, and training strategy. Furthermore, we develop our model BERT-ERC according to the proposed paradigm, which improves ERC performance in three aspects, namely suggestive text, fine-grained classification module, and two-stage training. Compared to existing methods, BERT-ERC achieves substantial improvement on four datasets, indicating its effectiveness and generalization capability. Besides, we also set up the limited resources scenario and the online prediction scenario to approximate real-world scenarios. Extensive experiments demonstrate that the proposed paradigm significantly outperforms the previous one and can be adapted to various scenes.
• Abstract（参考訳）: 会話における感情認識(ERC)に関するこれまでの研究は、2段階のパラダイムに従っており、まず、微調整事前学習言語モデル(PLM)を用いて文脈に依存しない特徴を生成し、抽出した特徴のうちの文脈情報と対話構造情報を解析することができる。 しかし、このパラダイムにはいくつかの制限がある。 そこで,本稿では,文脈情報と対話構造情報を微調整段階に探索し,入力テキスト,分類構造,学習戦略の観点から,PRMをERCタスクに適用する新しいパラダイムを提案する。 さらに,提案するパラダイムに従ってモデルbert-ercを開発し,提案文,細粒度分類モジュール,二段階学習という3つの側面からercの性能を向上させる。 既存の手法と比較して、BERT-ERCは4つのデータセットを大幅に改善し、その有効性と一般化能力を示している。 また,実世界のシナリオを近似するために,限られたリソースシナリオとオンライン予測シナリオを設定した。 広範な実験により、提案するパラダイムが以前のパラダイムを大きく上回り、様々な場面に適応できることが示されている。

関連論文リスト

• Pointer-Guided Pre-Training: Infusing Large Language Models with Paragraph-Level Contextual Awareness [3.2925222641796554]
  ポインター誘導セグメントオーダリング(SO)は,段落レベルのテキスト表現の文脈的理解を高めることを目的とした,新しい事前学習手法である。 実験の結果,ポインタ誘導型事前学習は複雑な文書構造を理解する能力を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-06-06T15:17:51Z)
• CELA: Cost-Efficient Language Model Alignment for CTR Prediction [71.85120354973073]
  CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最重要位置を占める。 最近の取り組みは、プレトレーニング言語モデル(PLM)を統合することでこれらの課題を緩和しようとしている。 CTR予測のためのtextbfCost-textbfEfficient textbfLanguage Model textbfAlignment (textbfCELA)を提案する。
  論文  参考訳（メタデータ） (2024-05-17T07:43:25Z)
• Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
  我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。 提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。 多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
  論文  参考訳（メタデータ） (2024-01-28T08:56:49Z)
• InstructERC: Reforming Emotion Recognition in Conversation with Multi-task Retrieval-Augmented Large Language Models [9.611864685207056]
  本稿では,識別的枠組みから大規模言語モデル(LLM)に基づく生成的枠組みへ,感情認識タスクを再構築するための新しいアプローチであるインストラクタCを提案する。 InstructERCは、3つの重要な貢献をしている:(1)モデルがマルチグラニュラリティ対話監視情報を明示的に統合するのに役立つ単純で効果的なテンプレートモジュール、(2)話者識別と感情予測タスクという2つの追加の感情アライメントタスクを導入し、会話における対話の役割の関係と将来の感情傾向を暗黙的にモデル化する。
  論文  参考訳（メタデータ） (2023-09-21T09:22:07Z)
• BERT4CTR: An Efficient Framework to Combine Pre-trained Language Model with Non-textual Features for CTR Prediction [12.850529317775198]
  本稿では,非テキスト特徴とテキスト特徴の相互作用の恩恵を受けることができるUni-Attention機構を備えた新しいフレームワークBERT4CTRを提案する。 BERT4CTRは、マルチモーダル入力を処理する最先端フレームワークを大幅に上回り、Click-Through-Rate (CTR)予測に適用できる。
  論文  参考訳（メタデータ） (2023-08-17T08:25:54Z)
• SSP: Self-Supervised Post-training for Conversational Search [63.28684982954115]
  本稿では,対話型検索モデルを効率的に初期化するための3つの自己教師型タスクを備えた学習後パラダイムであるフルモデル(モデル)を提案する。 提案手法の有効性を検証するために,CAsT-19 と CAsT-20 の2つのベンチマークデータセットを用いて,会話検索タスクにモデルにより訓練後の会話エンコーダを適用した。
  論文  参考訳（メタデータ） (2023-07-02T13:36:36Z)
• In-Context Learning for Few-Shot Dialogue State Tracking [55.91832381893181]
  In-context (IC) Learning framework for few-shot dialogue state tracking (DST)を提案する。 大規模な事前訓練言語モデル(LM)は、テストインスタンスといくつかの注釈付き例を入力として取り、パラメータの更新なしに直接対話状態をデコードする。 これにより、LMは、新しいドメインやシナリオに適応する際の、以前の数ショットのDST作業と比べて、より柔軟でスケーラブルになります。
  論文  参考訳（メタデータ） (2022-03-16T11:58:24Z)
• Pre-training Language Model Incorporating Domain-specific Heterogeneous Knowledge into A Unified Representation [49.89831914386982]
  本研究では, 構造化されていないテキスト, 半構造化されたテキスト, 十分に構造化されたテキストを含む, あらゆる形式のテキストに対して, 統一された事前学習言語モデル (PLM) を提案する。 提案手法は,データの1/4のみを用いて,プレーンテキストの事前学習に優れる。
  論文  参考訳（メタデータ） (2021-09-02T16:05:24Z)
• Example-Driven Intent Prediction with Observers [15.615065041164629]
  本稿では,対話システムに宛てた発話に対して,ユーザの意図を識別することを目的とした意図分類問題に焦点をあてる。 本稿では,(1)観察者および(2)サンプル駆動学習という,発話分類モデルの一般化性向上のための2つのアプローチを提案する。
  論文  参考訳（メタデータ） (2020-10-17T01:03:06Z)
• A Tailored Pre-Training Model for Task-Oriented Dialog Generation [60.05269529832447]
  タスク指向対話システムのための事前訓練された役割交替言語モデル(PRAL)を提案する。 13個の既存のデータセットをクリーニングすることでタスク指向の対話事前学習データセットを導入する。 その結果,PRALは最先端の手法と同等以上の性能を示した。
  論文  参考訳（メタデータ） (2020-04-24T09:25:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。