論文の概要: Relational Prompt-based Pre-trained Language Models for Social Event Detection
- arxiv url: http://arxiv.org/abs/2404.08263v1
- Date: Fri, 12 Apr 2024 06:23:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-15 15:45:46.117709
- Title: Relational Prompt-based Pre-trained Language Models for Social Event Detection
- Title(参考訳): リレーショナル・プロンプトに基づく社会的事象検出のための事前学習言語モデル
- Authors: Pu Li, Xiaoyan Yu, Hao Peng, Yantuan Xian, Linqin Wang, Li Sun, Jingyun Zhang, Philip S. Yu,
- Abstract要約: ソーシャルイベント検出(SED)は、社会的ストリームから重要なイベントを識別することを目的としており、世論分析からリスク管理まで幅広い応用がある。
GNNベースのメソッドは、しばしばノイズやメッセージ間のエッジの欠如に悩まされ、学習されたメッセージの埋め込みの品質に影響する。
本稿では,メッセージペアにソーシャルメッセージを構築するための新しいペアワイズメッセージモデリング手法と,マルチリレーショナルなプロンプトベースのメッセージ学習機構を提案する。
RPLM_SEDモデルがオフライン,オンライン,低リソース,長テールで最先端のパフォーマンスを実現することを示す。
- 参考スコア(独自算出の注目度): 45.574891451459955
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Social Event Detection (SED) aims to identify significant events from social streams, and has a wide application ranging from public opinion analysis to risk management. In recent years, Graph Neural Network (GNN) based solutions have achieved state-of-the-art performance. However, GNN-based methods often struggle with noisy and missing edges between messages, affecting the quality of learned message embedding. Moreover, these methods statically initialize node embedding before training, which, in turn, limits the ability to learn from message texts and relations simultaneously. In this paper, we approach social event detection from a new perspective based on Pre-trained Language Models (PLMs), and present RPLM_SED (Relational prompt-based Pre-trained Language Models for Social Event Detection). We first propose a new pairwise message modeling strategy to construct social messages into message pairs with multi-relational sequences. Secondly, a new multi-relational prompt-based pairwise message learning mechanism is proposed to learn more comprehensive message representation from message pairs with multi-relational prompts using PLMs. Thirdly, we design a new clustering constraint to optimize the encoding process by enhancing intra-cluster compactness and inter-cluster dispersion, making the message representation more distinguishable. We evaluate the RPLM_SED on three real-world datasets, demonstrating that the RPLM_SED model achieves state-of-the-art performance in offline, online, low-resource, and long-tail distribution scenarios for social event detection tasks.
- Abstract(参考訳): ソーシャルイベント検出(SED)は、社会的ストリームから重要なイベントを識別することを目的としており、世論分析からリスク管理まで幅広い応用がある。
近年、グラフニューラルネットワーク(GNN)ベースのソリューションは最先端のパフォーマンスを実現している。
しかし、GNNベースの手法は、しばしばメッセージ間のノイズやエッジの欠如に悩まされ、学習されたメッセージの埋め込みの品質に影響を及ぼす。
さらに、これらの手法は訓練前にノード埋め込みを静的に初期化し、メッセージテキストと関係から同時に学習する能力を制限する。
本稿では,事前学習言語モデル(PLM)に基づく新たな視点から,社会的事象検出とRPLM_SED(Relational prompt-based Pre-trained Language Models for Social Event Detection)を提案する。
まず,マルチリレーショナル・シーケンスを持つメッセージ・ペアにソーシャル・メッセージを構築するためのペアワイズ・メッセージ・モデリング手法を提案する。
第2に,PLMを用いたマルチリレーショナルプロンプトを用いたメッセージペアから,より包括的なメッセージ表現を学習するための,新しいマルチリレーショナルプロンプトベースのペアワイドメッセージ学習機構を提案する。
第3に、クラスタ内コンパクト性とクラスタ間分散性を高め、メッセージ表現をより区別しやすくすることで、符号化プロセスを最適化する新しいクラスタリング制約を設計する。
実世界の3つのデータセット上でRPLM_SEDを評価し、RPLM_SEDモデルが、ソーシャルイベント検出タスクにおけるオフライン、オンライン、低リソース、ロングテールの分散シナリオにおける最先端のパフォーマンスを達成することを実証した。
関連論文リスト
- Hierarchical and Incremental Structural Entropy Minimization for
Unsupervised Social Event Detection [61.87480191351659]
グラフニューラルネットワーク(GNN)ベースの手法は、自然言語の意味論と複雑なソーシャルネットワーク構造情報の融合を可能にする。
本稿では,グラフ構造エントロピー(SE)最小化による社会事象の検出について述べる。
GNNベースの手法の利点を維持しながら、提案するフレームワークであるHISEventは、より有益なメッセージグラフを構築している。
論文 参考訳(メタデータ) (2023-12-19T06:28:32Z) - RGMComm: Return Gap Minimization via Discrete Communications in
Multi-Agent Reinforcement Learning [33.86277578441437]
マルコフ決定過程における協調的マルチエージェント強化学習課題の解決には,コミュニケーションが不可欠である。
本稿では、離散メッセージ生成関数の驚くほど単純な設計であるReturn-Gap-Minimization Communication (RGMComm)アルゴリズムを提案する。
評価の結果、RGMCommは最先端のマルチエージェント通信ベースラインを大きく上回っている。
論文 参考訳(メタデータ) (2023-08-07T07:26:55Z) - SDCUP: Schema Dependency-Enhanced Curriculum Pre-Training for Table
Semantic Parsing [19.779493883522072]
本稿では,テーブル事前学習のための学習表現に所望の帰納バイアスを課すために,2つの新しい事前学習目標を設計する。
本稿では,雑音の影響を緩和し,事前学習データから容易にハードな方法で効果的に学習する,スキーマ対応のカリキュラム学習手法を提案する。
論文 参考訳(メタデータ) (2021-11-18T02:51:04Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳(メタデータ) (2020-10-24T11:55:28Z) - ST-BERT: Cross-modal Language Model Pre-training For End-to-end Spoken
Language Understanding [23.367329217151084]
エンドツーエンドの音声言語理解タスクに対処するために,Speech-Text BERT (ST-BERT) と呼ばれる,モーダルな事前学習言語モデルを導入する。
ST-BERTは、音素の後方テキストとサブワードレベルのテキストを入力として、文脈化されたクロスモーダルアライメントを学習する。
提案手法は,ドメイン固有音声テキストペアデータを用いたドメイン適応型事前学習により,さらなるSLU性能向上を示す。
論文 参考訳(メタデータ) (2020-10-23T10:28:20Z) - Pre-training Text Representations as Meta Learning [113.3361289756749]
本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。
マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
論文 参考訳(メタデータ) (2020-04-12T09:05:47Z) - Multimodal Categorization of Crisis Events in Social Media [81.07061295887172]
本稿では,画像とテキストの両方を入力として利用するマルチモーダル融合法を提案する。
特に、弱モダリティから非形式的および誤解を招くコンポーネントをフィルタリングできるクロスアテンションモジュールを導入する。
本手法は,3つの危機関連タスクにおいて,一様アプローチと強いマルチモーダルベースラインを大きなマージンで上回ることを示す。
論文 参考訳(メタデータ) (2020-04-10T06:31:30Z) - Temporarily-Aware Context Modelling using Generative Adversarial
Networks for Speech Activity Detection [43.662221486962274]
音声活動検出(SAD)のための新しい共同学習フレームワークを提案する。
我々は、生成した敵対的ネットワークを利用して、次の音声セグメントと共にフレームワイド音声/非音声分類の共用予測のための損失関数を自動学習する。
NIST OpenSAT' 17 や AMI Meeting,HAVIC など,複数の公開ベンチマーク上で提案するフレームワークの評価を行った。
論文 参考訳(メタデータ) (2020-04-02T02:33:13Z) - Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。
そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
論文 参考訳(メタデータ) (2020-01-28T22:09:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。