論文の概要: PromptCL: Improving Event Representation via Prompt Template and Contrastive Learning
- arxiv url: http://arxiv.org/abs/2404.17877v1
- Date: Sat, 27 Apr 2024 12:22:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-30 18:51:42.795074
- Title: PromptCL: Improving Event Representation via Prompt Template and Contrastive Learning
- Title（参考訳）: PromptCL: Promptテンプレートとコントラスト学習によるイベント表現の改善
- Authors: Yubo Feng, Lishuang Li, Yi Xiang, Xueyang Qin,
- Abstract要約: 本稿では,イベント表現学習のための新しいフレームワークであるPromptCLを紹介する。
PromptCLは、短いイベントテキストのセマンティクスを包括的にキャプチャするPLMの機能を提供する。
実験の結果,PromptCLはイベント関連タスクにおける最先端のベースラインよりも優れていた。
- 参考スコア（独自算出の注目度）: 3.481567499804089
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The representation of events in text plays a significant role in various NLP tasks. Recent research demonstrates that contrastive learning has the ability to improve event comprehension capabilities of Pre-trained Language Models (PLMs) and enhance the performance of event representation learning. However, the efficacy of event representation learning based on contrastive learning and PLMs is limited by the short length of event texts. The length of event texts differs significantly from the text length used in the pre-training of PLMs. As a result, there is inconsistency in the distribution of text length between pre-training and event representation learning, which may undermine the learning process of event representation based on PLMs. In this study, we present PromptCL, a novel framework for event representation learning that effectively elicits the capabilities of PLMs to comprehensively capture the semantics of short event texts. PromptCL utilizes a Prompt template borrowed from prompt learning to expand the input text during Contrastive Learning. This helps in enhancing the event representation learning by providing a structured outline of the event components. Moreover, we propose Subject-Predicate-Object (SPO) word order and Event-oriented Masked Language Modeling (EventMLM) to train PLMs to understand the relationships between event components. Our experimental results demonstrate that PromptCL outperforms state-of-the-art baselines on event related tasks. Additionally, we conduct a thorough analysis and demonstrate that using a prompt results in improved generalization capabilities for event representations. Our code will be available at https://github.com/YuboFeng2023/PromptCL.
- Abstract（参考訳）: テキスト中のイベントの表現は、様々なNLPタスクにおいて重要な役割を果たす。
近年の研究では、コントラスト学習は、事前学習言語モデル(PLM)の事象理解能力を改善し、事象表現学習の性能を向上させる能力を持っていることが示されている。
しかし、コントラスト学習とPLMに基づくイベント表現学習の有効性は、イベントテキストの短い長さによって制限される。
イベントテキストの長さは、PLMの事前トレーニングで使用されるテキストの長さと大きく異なる。
その結果、事前学習とイベント表現学習のテキスト長分布には矛盾があり、PLMに基づくイベント表現の学習過程を損なう可能性がある。
本研究では,イベント表現学習のための新しいフレームワークであるPromptCLを提案する。
PromptCLは、プロンプトラーニングから借りたPromptテンプレートを使用して、コントラストラーニング中に入力テキストを拡張する。
これにより、イベントコンポーネントの構造化されたアウトラインを提供することで、イベント表現学習の強化に役立つ。
さらに、イベントコンポーネント間の関係を理解するために、PLMをトレーニングするために、SPO(Subject-Predicate-Object)語順とEvent-oriented Masked Language Modeling(EventMLM)を提案する。
実験の結果,PromptCLはイベント関連タスクにおける最先端のベースラインよりも優れていた。
さらに、我々は徹底的な分析を行い、イベント表現の一般化能力を向上する素早い結果が得られたことを実証する。
私たちのコードはhttps://github.com/YuboFeng2023/PromptCLで利用可能です。
関連論文リスト
- EventVL: Understand Event Streams via Multimodal Large Language Model [18.57504605615107]
明示的意味理解のためのイベントベースMLLMフレームワークであるEventVLを提案する。
具体的には、異なるモダリティセマンティクスを接続するためにデータギャップをブリッジするために、まず大きなイベントイメージ/ビデオテキストデータセットに注釈を付ける。
よりコンパクトなセマンティック空間を促進するために、イベントのスパースなセマンティック空間を改善するために動的セマンティックアライメントが導入される。
論文 参考訳（メタデータ） (2025-01-23T14:37:21Z) - SE-GCL: An Event-Based Simple and Effective Graph Contrastive Learning for Text Representation [23.60337935010744]
テキスト表現のためのイベントベース,シンプル,効果的なグラフコントラスト学習(SE-GCL)を提案する。
正確には、テキストからイベントブロックを抽出し、意味的相互接続を表す内部関係グラフを構築する。
特に、コア表現セマンティクスのためのイベントスケルトンの概念を導入し、典型的には複雑なデータ拡張テクニックを単純化する。
論文 参考訳（メタデータ） (2024-12-16T10:53:24Z) - EventGPT: Event Stream Understanding with Multimodal Large Language Models [59.65010502000344]
イベントカメラは、視覚情報を非同期なピクセル変更ストリームとして記録し、不満足な照明や高ダイナミックな条件下でのシーン認識に優れる。
既存のマルチモーダル大言語モデル(MLLM)は、自然のRGBイメージに集中しており、イベントデータがより適合するシナリオでは失敗する。
イベントストリーム理解のための最初のMLLMであるEventGPTを紹介する。
論文 参考訳（メタデータ） (2024-12-01T14:38:40Z) - Grounding Partially-Defined Events in Multimodal Data [61.0063273919745]
部分定義イベントに対するマルチモーダル定式化を導入し、これらのイベントの抽出を3段階スパン検索タスクとしてキャストする。
このタスクのベンチマークであるMultiVENT-Gを提案し,22.8Kのラベル付きイベント中心エンティティを含む,14.5時間の高密度アノテーション付き現在のイベントビデオと1,168のテキストドキュメントからなる。
結果は、イベント理解の抽象的な課題を示し、イベント中心のビデオ言語システムにおける約束を実証する。
論文 参考訳（メタデータ） (2024-10-07T17:59:48Z) - Towards Event Extraction from Speech with Contextual Clues [61.164413398231254]
本稿では,音声イベント抽出(SpeechEE)タスクを導入し,3つの合成トレーニングセットと1つの人為的テストセットを構築した。
テキストからのイベント抽出と比較して、SpeechEEは、主に連続的で単語境界を持たない複雑な音声信号のために、より大きな課題を提起する。
我々の手法はすべてのデータセットに大幅な改善をもたらし、最大10.7%のF1ゲインを達成する。
論文 参考訳（メタデータ） (2024-01-27T11:07:19Z) - Vision-Language Pre-Training for Boosting Scene Text Detectors [57.08046351495244]
シーンテキスト検出に視覚言語を用いた共同学習を特に応用する。
本稿では,視覚言語による事前学習を通して,文脈化された共同表現を学習することを提案する。
事前訓練されたモデルは、よりリッチなセマンティクスでより情報的な表現を生成することができる。
論文 参考訳（メタデータ） (2022-04-29T03:53:54Z) - CLIP-Event: Connecting Text and Images with Event Structures [123.31452120399827]
視覚言語事前学習モデルを適用したコントラスト学習フレームワークを提案する。
我々は、イベント構造知識を得るために、テキスト情報抽出技術を利用する。
実験により、ゼロショットCLIP-Eventは引数抽出において最先端の教師付きモデルよりも優れていることが示された。
論文 参考訳（メタデータ） (2022-01-13T17:03:57Z) - Integrating Deep Event-Level and Script-Level Information for Script
Event Prediction [60.67635412135681]
本稿では,MCPredictorと呼ばれるTransformerベースのモデルを提案する。
The experimental results on the wide-useed New York Times corpus showed the effectiveness and superiority of the proposed model。
論文 参考訳（メタデータ） (2021-09-24T07:37:32Z) - Text2Event: Controllable Sequence-to-Structure Generation for End-to-end
Event Extraction [35.39643772926177]
イベントの抽出は、イベントレコードの複雑な構造と、テキストとイベント間のセマンティックなギャップのために難しい。
従来の方法では、複雑な構造予測タスクを複数のサブタスクに分解することでイベントレコードを抽出する。
エンドツーエンドでテキストからイベントを直接抽出できるシーケンス・ツー・構造生成パラダイムであるText2Eventを提案する。
論文 参考訳（メタデータ） (2021-06-17T04:00:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。