Fugu-MT 論文翻訳(概要): Combining Pre-trained Word Embeddings and Linguistic Features for Sequential Metaphor Identification

論文の概要: Combining Pre-trained Word Embeddings and Linguistic Features for Sequential Metaphor Identification

arxiv url: http://arxiv.org/abs/2104.03285v1
Date: Wed, 7 Apr 2021 17:43:05 GMT
ステータス: 処理完了
システム内更新日: 2021-04-08 12:55:15.967942
Title: Combining Pre-trained Word Embeddings and Linguistic Features for Sequential Metaphor Identification
Title（参考訳）: 逐次メタファー同定のための事前学習された単語埋め込みと言語特徴の組み合わせ
Authors: Rui Mao, Chenghua Lin, Frank Guerin
Abstract要約: テキスト中のメタファを識別し,シーケンスタグ付けタスクとして扱う問題に取り組む。事前学習した単語埋め込みであるGloVe, ELMo, BERTは, 逐次メタファー識別に優れた性能を示した。 GloVe, ELMo, 特徴量に基づくBERTの活用は, 一つの単語の埋め込み法と2つの埋め込みの組み合わせで著しく優れることを示す。
参考スコア（独自算出の注目度）: 12.750941606061877
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We tackle the problem of identifying metaphors in text, treated as a sequence tagging task. The pre-trained word embeddings GloVe, ELMo and BERT have individually shown good performance on sequential metaphor identification. These embeddings are generated by different models, training targets and corpora, thus encoding different semantic and syntactic information. We show that leveraging GloVe, ELMo and feature-based BERT based on a multi-channel CNN and a Bidirectional LSTM model can significantly outperform any single word embedding method and the combination of the two embeddings. Incorporating linguistic features into our model can further improve model performance, yielding state-of-the-art performance on three public metaphor datasets. We also provide in-depth analysis on the effectiveness of leveraging multiple word embeddings, including analysing the spatial distribution of different embedding methods for metaphors and literals, and showing how well the embeddings complement each other in different genres and parts of speech.
Abstract（参考訳）: テキスト中のメタファを識別し,シーケンスタグ付けタスクとして扱う問題に取り組む。事前学習した単語埋め込みであるGloVe, ELMo, BERTは, 逐次メタファー識別に優れた性能を示した。これらの埋め込みは、異なるモデル、トレーニングターゲット、コーパスによって生成され、異なるセマンティックおよび構文情報を符号化する。複数チャネルCNNと双方向LSTMモデルに基づくGloVe, ELMo, 機能ベースBERTを利用することで, 一つの単語の埋め込み法と2つの埋め込みの組み合わせを大きく上回ることを示す。我々のモデルに言語的特徴を組み込むことで、モデルの性能をさらに向上させることができる。また、メタファやリテラルの異なる埋め込み方法の空間分布の分析や、音声の異なるジャンルや部分における組込みの相互補完性を示すことを含む、複数の単語組込みの有効性について、詳細な分析を行う。

関連論文リスト

FUSE-ing Language Models: Zero-Shot Adapter Discovery for Prompt Optimization Across Tokenizers [55.2480439325792]
FUSEは、あるモデルのテキスト埋め込み空間から別のモデルへのマッピングを行うアダプタ層を、異なるトークン化器にまたがっても近似するアプローチである。画像キャプションと感情に基づく画像キャプションのための視覚言語モデルと因果言語モデルに対する多目的最適化によるアプローチの有効性を示す。
論文参考訳（メタデータ） (2024-08-09T02:16:37Z)
Analyzing Persuasive Strategies in Meme Texts: A Fusion of Language Models with Paraphrase Enrichment [0.23020018305241333]
本稿では,ミームテキストにおける説得手法の階層的マルチラベル検出へのアプローチについて述べる。本研究の範囲は、革新的なトレーニング技術とデータ強化戦略を通じて、モデルパフォーマンスの向上を含む。
論文参考訳（メタデータ） (2024-07-01T20:25:20Z)
Breaking Down Word Semantics from Pre-trained Language Models through Layer-wise Dimension Selection [0.0]
本稿では,レイヤ間の中間出力にバイナリマスクを適用することにより,BERTから意味感覚を分離することを目的とする。 2つの異なる文の目的語が同じ意味を持つかどうかを判定するために、二分分類により、アンタングル埋め込みを評価する。
論文参考訳（メタデータ） (2023-10-08T11:07:19Z)
Fuzzy Fingerprinting Transformer Language-Models for Emotion Recognition in Conversations [0.7874708385247353]
会話における感情認識(ERC)を実現するための2つのアプローチを組み合わせることを提案する。我々は,事前に訓練したRoBERTaに発話と以前の会話のターンを供給し,文脈的埋め込み発話表現を得る。広く使われているDailyDialog ERCベンチマークデータセットに対するアプローチを検証する。
論文参考訳（メタデータ） (2023-09-08T12:26:01Z)
UniDiff: Advancing Vision-Language Models with Generative and Discriminative Learning [86.91893533388628]
本稿では、画像テキストコントラスト学習(ITC)、テキスト条件付き画像合成学習(IS)、相互意味整合性モデリング(RSC)を統合した統合マルチモーダルモデルUniDiffを提案する。 UniDiffはマルチモーダル理解と生成タスクの両方において汎用性を示す。
論文参考訳（メタデータ） (2023-06-01T15:39:38Z)
Revisiting Multimodal Representation in Contrastive Learning: From Patch and Token Embeddings to Finite Discrete Tokens [76.40196364163663]
本稿では,CLIPのような学習型視覚言語事前学習手法を提案する。提案手法は,より包括的な表現を学習し,意味のある相互対応を捉えることができることを示す。
論文参考訳（メタデータ） (2023-03-27T00:58:39Z)
Generating More Pertinent Captions by Leveraging Semantics and Style on Multi-Source Datasets [56.018551958004814]
本稿では,データソースの非一様結合をトレーニングすることで,流動的な記述を生成するタスクに対処する。ノイズの多い画像とテキストのペアを持つ大規模データセットは、サブ最適の監視源を提供する。本稿では,検索コンポーネントから抽出したスタイルトークンとキーワードを組み込むことにより,セマンティクスと記述スタイルを活用・分離することを提案する。
論文参考訳（メタデータ） (2021-11-24T19:00:05Z)
Multistage linguistic conditioning of convolutional layers for speech emotion recognition [7.482371204083917]
分類的・次元音声感情認識(SER)におけるテキストと音声の深層融合の有効性について検討する。深層ニューラルネットワーク(DNN)の複数の層に2つの情報ストリームを統合する新しい多段階融合法を提案する。広く使われているIEMOCAPとMSP-Podcastデータベースの実験により、この2つの融合法は浅い(後期)核融合ベースラインよりも明らかに優れていることが示された。
論文参考訳（メタデータ） (2021-10-13T11:28:04Z)
A Robust Deep Ensemble Classifier for Figurative Language Detection [1.3124513975412255]
自然言語処理(NLP)の幅広い分野における感性分析のオープンな問題である言語認識(FL) 本論文では,高度なDeep Learning (DL) 技術に対処する,皮肉,皮肉,メタファの3つの相互関連FL認識タスクについて述べる。 Deep Soft Ensemble (DESC) モデルは、FL認識の挑戦的な分野において、関連する方法論や最先端技術と比較すると、非常に優れたパフォーマンスを達成する。
論文参考訳（メタデータ） (2021-07-09T11:26:37Z)
SPLAT: Speech-Language Joint Pre-Training for Spoken Language Understanding [61.02342238771685]
音声理解には、入力音響信号を解析してその言語内容を理解し、予測するモデルが必要である。大規模無注釈音声やテキストからリッチな表現を学習するために,様々な事前学習手法が提案されている。音声と言語モジュールを協調的に事前学習するための,新しい半教師付き学習フレームワークであるSPLATを提案する。
論文参考訳（メタデータ） (2020-10-05T19:29:49Z)
BURT: BERT-inspired Universal Representation from Twin Structure [89.82415322763475]
BURT (BERT inspired Universal Representation from Twin Structure) は任意の粒度の入力シーケンスに対して普遍的で固定サイズの表現を生成することができる。提案するBURTは,Siameseネットワークを採用し,自然言語推論データセットから文レベル表現を学習し,パラフレーズ化データセットから単語/フレーズレベル表現を学習する。我々は,STSタスク,SemEval2013 Task 5(a) など,テキスト類似性タスクの粒度によってBURTを評価する。
論文参考訳（メタデータ） (2020-04-29T04:01:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。