論文の概要: Relational Prompt-based Pre-trained Language Models for Social Event Detection

• arxiv url: http://arxiv.org/abs/2404.08263v2
• Date: Tue, 10 Sep 2024 09:14:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-11 23:13:57.716380
• Title: Relational Prompt-based Pre-trained Language Models for Social Event Detection
• Title（参考訳）: リレーショナル・プロンプトに基づく社会的事象検出のための事前学習言語モデル
• Authors: Pu Li, Xiaoyan Yu, Hao Peng, Yantuan Xian, Linqin Wang, Li Sun, Jingyun Zhang, Philip S. Yu,
• Abstract要約: ソーシャルイベント検出(SED)は、社会的ストリームから重要なイベントを識別することを目的としており、世論分析からリスク管理まで幅広い応用がある。 GNNベースのメソッドは、しばしばメッセージ間の欠落とノイズの多いエッジに悩まされ、学習されたメッセージの埋め込みの品質に影響する。 本稿では,メッセージペアにソーシャルメッセージを構築するための新しいペアワイズメッセージモデリング手法と,マルチリレーショナルなプロンプトベースのメッセージ学習機構を提案する。 RPLM_SEDモデルがオフライン,オンライン,低リソース,長テールで最先端のパフォーマンスを実現することを示す。
• 参考スコア（独自算出の注目度）: 45.574891451459955
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Social Event Detection (SED) aims to identify significant events from social streams, and has a wide application ranging from public opinion analysis to risk management. In recent years, Graph Neural Network (GNN) based solutions have achieved state-of-the-art performance. However, GNN-based methods often struggle with missing and noisy edges between messages, affecting the quality of learned message embedding. Moreover, these methods statically initialize node embedding before training, which, in turn, limits the ability to learn from message texts and relations simultaneously. In this paper, we approach social event detection from a new perspective based on Pre-trained Language Models (PLMs), and present RPLM_SED (Relational prompt-based Pre-trained Language Models for Social Event Detection). We first propose a new pairwise message modeling strategy to construct social messages into message pairs with multi-relational sequences. Secondly, a new multi-relational prompt-based pairwise message learning mechanism is proposed to learn more comprehensive message representation from message pairs with multi-relational prompts using PLMs. Thirdly, we design a new clustering constraint to optimize the encoding process by enhancing intra-cluster compactness and inter-cluster dispersion, making the message representation more distinguishable. We evaluate the RPLM_SED on three real-world datasets, demonstrating that the RPLM_SED model achieves state-of-the-art performance in offline, online, low-resource, and long-tail distribution scenarios for social event detection tasks.
• Abstract（参考訳）: ソーシャルイベント検出(SED)は、社会的ストリームから重要なイベントを識別することを目的としており、世論分析からリスク管理まで幅広い応用がある。 近年、グラフニューラルネットワーク(GNN)ベースのソリューションは最先端のパフォーマンスを実現している。 しかし、GNNベースの手法は、しばしばメッセージ間の欠落とノイズの多いエッジに悩まされ、学習されたメッセージの埋め込みの品質に影響を及ぼす。 さらに、これらの手法は訓練前にノード埋め込みを静的に初期化し、メッセージテキストと関係から同時に学習する能力を制限する。 本稿では,事前学習言語モデル(PLM)に基づく新たな視点から,社会的事象検出とRPLM_SED(Relational prompt-based Pre-trained Language Models for Social Event Detection)を提案する。 まず,マルチリレーショナル・シーケンスを持つメッセージ・ペアにソーシャル・メッセージを構築するためのペアワイズ・メッセージ・モデリング手法を提案する。 第2に,PLMを用いたマルチリレーショナルプロンプトを用いたメッセージペアから,より包括的なメッセージ表現を学習するための,新しいマルチリレーショナルプロンプトベースのペアワイドメッセージ学習機構を提案する。 第3に、クラスタ内コンパクト性とクラスタ間分散性を高め、メッセージ表現をより区別しやすくすることで、符号化プロセスを最適化する新しいクラスタリング制約を設計する。 実世界の3つのデータセット上でRPLM_SEDを評価し、RPLM_SEDモデルが、ソーシャルイベント検出タスクにおけるオフライン、オンライン、低リソース、ロングテールの分散シナリオにおける最先端のパフォーマンスを達成することを実証した。

関連論文リスト

• Unified Generative and Discriminative Training for Multi-modal Large Language Models [88.84491005030316]
  生成的トレーニングにより、視覚言語モデル(VLM)は様々な複雑なタスクに取り組むことができる。 CLIPのようなモデルで実証された差別的トレーニングは、ゼロショットイメージテキストの分類と検索に優れています。 本稿では,両パラダイムの強みを統合する統一的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-01T01:51:31Z)
• Unsupervised Pre-training with Language-Vision Prompts for Low-Data Instance Segmentation [105.23631749213729]
  低データ体制における教師なし事前学習のための新しい手法を提案する。 最近成功したプロンプト技術に触発されて,言語ビジョンプロンプトを用いた教師なし事前学習法を導入した。 提案手法は,低データ方式のCNNモデルよりも高速に収束し,性能がよいことを示す。
  論文  参考訳（メタデータ） (2024-05-22T06:48:43Z)
• Hierarchical and Incremental Structural Entropy Minimization for Unsupervised Social Event Detection [61.87480191351659]
  グラフニューラルネットワーク(GNN)ベースの手法は、自然言語の意味論と複雑なソーシャルネットワーク構造情報の融合を可能にする。 本稿では,グラフ構造エントロピー(SE)最小化による社会事象の検出について述べる。 GNNベースの手法の利点を維持しながら、提案するフレームワークであるHISEventは、より有益なメッセージグラフを構築している。
  論文  参考訳（メタデータ） (2023-12-19T06:28:32Z)
• FLIP: Fine-grained Alignment between ID-based Models and Pretrained Language Models for CTR Prediction [49.510163437116645]
  クリックスルーレート(CTR)予測は、パーソナライズされたオンラインサービスにおいてコア機能モジュールとして機能する。 CTR予測のための従来のIDベースのモデルは、表形式の1ホットエンコードされたID特徴を入力として取る。 事前訓練された言語モデル(PLM)は、テキストのモダリティの文を入力として取る別のパラダイムを生み出した。 本稿では,CTR予測のためのIDベースモデルと事前学習言語モデル(FLIP)間の細粒度特徴レベルのアライメントを提案する。
  論文  参考訳（メタデータ） (2023-10-30T11:25:03Z)
• RGMComm: Return Gap Minimization via Discrete Communications in Multi-Agent Reinforcement Learning [33.86277578441437]
  マルコフ決定過程における協調的マルチエージェント強化学習課題の解決には,コミュニケーションが不可欠である。 本稿では、離散メッセージ生成関数の驚くほど単純な設計であるReturn-Gap-Minimization Communication (RGMComm)アルゴリズムを提案する。 評価の結果、RGMCommは最先端のマルチエージェント通信ベースラインを大きく上回っている。
  論文  参考訳（メタデータ） (2023-08-07T07:26:55Z)
• SDCUP: Schema Dependency-Enhanced Curriculum Pre-Training for Table Semantic Parsing [19.779493883522072]
  本稿では,テーブル事前学習のための学習表現に所望の帰納バイアスを課すために,2つの新しい事前学習目標を設計する。 本稿では,雑音の影響を緩和し,事前学習データから容易にハードな方法で効果的に学習する,スキーマ対応のカリキュラム学習手法を提案する。
  論文  参考訳（メタデータ） (2021-11-18T02:51:04Z)
• ST-BERT: Cross-modal Language Model Pre-training For End-to-end Spoken Language Understanding [23.367329217151084]
  エンドツーエンドの音声言語理解タスクに対処するために,Speech-Text BERT (ST-BERT) と呼ばれる,モーダルな事前学習言語モデルを導入する。 ST-BERTは、音素の後方テキストとサブワードレベルのテキストを入力として、文脈化されたクロスモーダルアライメントを学習する。 提案手法は,ドメイン固有音声テキストペアデータを用いたドメイン適応型事前学習により,さらなるSLU性能向上を示す。
  論文  参考訳（メタデータ） (2020-10-23T10:28:20Z)
• Temporarily-Aware Context Modelling using Generative Adversarial Networks for Speech Activity Detection [43.662221486962274]
  音声活動検出(SAD)のための新しい共同学習フレームワークを提案する。 我々は、生成した敵対的ネットワークを利用して、次の音声セグメントと共にフレームワイド音声/非音声分類の共用予測のための損失関数を自動学習する。 NIST OpenSAT' 17 や AMI Meeting,HAVIC など,複数の公開ベンチマーク上で提案するフレームワークの評価を行った。
  論文  参考訳（メタデータ） (2020-04-02T02:33:13Z)
• Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
  言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。 そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
  論文  参考訳（メタデータ） (2020-01-28T22:09:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。