論文の概要: PromptCL: Improving Event Representation via Prompt Template and Contrastive Learning

• arxiv url: http://arxiv.org/abs/2404.17877v1
• Date: Sat, 27 Apr 2024 12:22:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-30 18:51:42.795074
• Title: PromptCL: Improving Event Representation via Prompt Template and Contrastive Learning
• Title（参考訳）: PromptCL: Promptテンプレートとコントラスト学習によるイベント表現の改善
• Authors: Yubo Feng, Lishuang Li, Yi Xiang, Xueyang Qin,
• Abstract要約: 本稿では,イベント表現学習のための新しいフレームワークであるPromptCLを紹介する。 PromptCLは、短いイベントテキストのセマンティクスを包括的にキャプチャするPLMの機能を提供する。 実験の結果,PromptCLはイベント関連タスクにおける最先端のベースラインよりも優れていた。
• 参考スコア（独自算出の注目度）: 3.481567499804089
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The representation of events in text plays a significant role in various NLP tasks. Recent research demonstrates that contrastive learning has the ability to improve event comprehension capabilities of Pre-trained Language Models (PLMs) and enhance the performance of event representation learning. However, the efficacy of event representation learning based on contrastive learning and PLMs is limited by the short length of event texts. The length of event texts differs significantly from the text length used in the pre-training of PLMs. As a result, there is inconsistency in the distribution of text length between pre-training and event representation learning, which may undermine the learning process of event representation based on PLMs. In this study, we present PromptCL, a novel framework for event representation learning that effectively elicits the capabilities of PLMs to comprehensively capture the semantics of short event texts. PromptCL utilizes a Prompt template borrowed from prompt learning to expand the input text during Contrastive Learning. This helps in enhancing the event representation learning by providing a structured outline of the event components. Moreover, we propose Subject-Predicate-Object (SPO) word order and Event-oriented Masked Language Modeling (EventMLM) to train PLMs to understand the relationships between event components. Our experimental results demonstrate that PromptCL outperforms state-of-the-art baselines on event related tasks. Additionally, we conduct a thorough analysis and demonstrate that using a prompt results in improved generalization capabilities for event representations. Our code will be available at https://github.com/YuboFeng2023/PromptCL.
• Abstract（参考訳）: テキスト中のイベントの表現は、様々なNLPタスクにおいて重要な役割を果たす。 近年の研究では、コントラスト学習は、事前学習言語モデル(PLM)の事象理解能力を改善し、事象表現学習の性能を向上させる能力を持っていることが示されている。 しかし、コントラスト学習とPLMに基づくイベント表現学習の有効性は、イベントテキストの短い長さによって制限される。 イベントテキストの長さは、PLMの事前トレーニングで使用されるテキストの長さと大きく異なる。 その結果、事前学習とイベント表現学習のテキスト長分布には矛盾があり、PLMに基づくイベント表現の学習過程を損なう可能性がある。 本研究では,イベント表現学習のための新しいフレームワークであるPromptCLを提案する。 PromptCLは、プロンプトラーニングから借りたPromptテンプレートを使用して、コントラストラーニング中に入力テキストを拡張する。 これにより、イベントコンポーネントの構造化されたアウトラインを提供することで、イベント表現学習の強化に役立つ。 さらに、イベントコンポーネント間の関係を理解するために、PLMをトレーニングするために、SPO(Subject-Predicate-Object)語順とEvent-oriented Masked Language Modeling(EventMLM)を提案する。 実験の結果,PromptCLはイベント関連タスクにおける最先端のベースラインよりも優れていた。 さらに、我々は徹底的な分析を行い、イベント表現の一般化能力を向上する素早い結果が得られたことを実証する。 私たちのコードはhttps://github.com/YuboFeng2023/PromptCLで利用可能です。

関連論文リスト

• Grounding Partially-Defined Events in Multimodal Data [61.0063273919745]
  部分定義イベントに対するマルチモーダル定式化を導入し、これらのイベントの抽出を3段階スパン検索タスクとしてキャストする。 このタスクのベンチマークであるMultiVENT-Gを提案し,22.8Kのラベル付きイベント中心エンティティを含む,14.5時間の高密度アノテーション付き現在のイベントビデオと1,168のテキストドキュメントからなる。 結果は、イベント理解の抽象的な課題を示し、イベント中心のビデオ言語システムにおける約束を実証する。
  論文  参考訳（メタデータ） (2024-10-07T17:59:48Z)
• EVIT: Event-Oriented Instruction Tuning for Event Reasoning [18.012724531672813]
  イベント推論は、特定の関係に従ってイベントを推論し、将来のイベントを予測することを目的としている。 大規模言語モデル(LLM)は、その豊富な知識と推論能力のために、イベント推論において大きな進歩を遂げている。 しかし、現在使われている命令調整モデルでは、これらのタスクを管理するのに例外的な習熟度が一貫して示されていない。
  論文  参考訳（メタデータ） (2024-04-18T08:14:53Z)
• GenEARL: A Training-Free Generative Framework for Multimodal Event Argument Role Labeling [89.07386210297373]
  GenEARLは、イベントタスク記述を理解するために近代的な生成モデルの力を利用する、トレーニング不要な生成フレームワークである。 GenEARLは、M2E2データセットとSwiGデータセット上のゼロショットEARLに対して、CLIPベースラインを9.4%、精度14.2%で上回っている。
  論文  参考訳（メタデータ） (2024-04-07T00:28:13Z)
• Towards Event Extraction from Speech with Contextual Clues [61.164413398231254]
  本稿では,音声イベント抽出(SpeechEE)タスクを導入し,3つの合成トレーニングセットと1つの人為的テストセットを構築した。 テキストからのイベント抽出と比較して、SpeechEEは、主に連続的で単語境界を持たない複雑な音声信号のために、より大きな課題を提起する。 我々の手法はすべてのデータセットに大幅な改善をもたらし、最大10.7%のF1ゲインを達成する。
  論文  参考訳（メタデータ） (2024-01-27T11:07:19Z)
• Vision-Language Pre-Training for Boosting Scene Text Detectors [57.08046351495244]
  シーンテキスト検出に視覚言語を用いた共同学習を特に応用する。 本稿では,視覚言語による事前学習を通して,文脈化された共同表現を学習することを提案する。 事前訓練されたモデルは、よりリッチなセマンティクスでより情報的な表現を生成することができる。
  論文  参考訳（メタデータ） (2022-04-29T03:53:54Z)
• CLIP-Event: Connecting Text and Images with Event Structures [123.31452120399827]
  視覚言語事前学習モデルを適用したコントラスト学習フレームワークを提案する。 我々は、イベント構造知識を得るために、テキスト情報抽出技術を利用する。 実験により、ゼロショットCLIP-Eventは引数抽出において最先端の教師付きモデルよりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-01-13T17:03:57Z)
• Integrating Deep Event-Level and Script-Level Information for Script Event Prediction [60.67635412135681]
  本稿では,MCPredictorと呼ばれるTransformerベースのモデルを提案する。 The experimental results on the wide-useed New York Times corpus showed the effectiveness and superiority of the proposed model。
  論文  参考訳（メタデータ） (2021-09-24T07:37:32Z)
• Text2Event: Controllable Sequence-to-Structure Generation for End-to-end Event Extraction [35.39643772926177]
  イベントの抽出は、イベントレコードの複雑な構造と、テキストとイベント間のセマンティックなギャップのために難しい。 従来の方法では、複雑な構造予測タスクを複数のサブタスクに分解することでイベントレコードを抽出する。 エンドツーエンドでテキストからイベントを直接抽出できるシーケンス・ツー・構造生成パラダイムであるText2Eventを提案する。
  論文  参考訳（メタデータ） (2021-06-17T04:00:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。