Fugu-MT 論文翻訳(概要): Sentiment Analysis with Contextual Embeddings and Self-Attention

論文の概要: Sentiment Analysis with Contextual Embeddings and Self-Attention

arxiv url: http://arxiv.org/abs/2003.05574v2
Date: Mon, 5 Oct 2020 23:02:42 GMT
ステータス: 処理完了
システム内更新日: 2022-12-24 06:36:32.785886
Title: Sentiment Analysis with Contextual Embeddings and Self-Attention
Title（参考訳）: コンテキスト埋め込みとセルフアテンションを用いた感情分析
Authors: Katarzyna Biesialska, Magdalena Biesialska and Henryk Rybinski
Abstract要約: 自然言語では、単語や句の意図された意味はしばしば暗黙的であり、文脈に依存する。本稿では,文脈埋め込みと自己認識機構を用いた感情分析の簡易かつ効果的な手法を提案する。形態学的にリッチなポーランド語とドイツ語を含む3つの言語の実験結果から、我々のモデルは最先端のモデルに匹敵するか、さらに優れています。
参考スコア（独自算出の注目度）: 3.0079490585515343
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In natural language the intended meaning of a word or phrase is often implicit and depends on the context. In this work, we propose a simple yet effective method for sentiment analysis using contextual embeddings and a self-attention mechanism. The experimental results for three languages, including morphologically rich Polish and German, show that our model is comparable to or even outperforms state-of-the-art models. In all cases the superiority of models leveraging contextual embeddings is demonstrated. Finally, this work is intended as a step towards introducing a universal, multilingual sentiment classifier.
Abstract（参考訳）: 自然言語では、単語や句の意味は暗黙的であり、文脈に依存することが多い。本研究では,文脈埋め込みと自己着脱機構を用いた感情分析の簡易かつ効果的な手法を提案する。形態学的にリッチなポーランド語とドイツ語を含む3つの言語の実験結果から、我々のモデルは最先端のモデルに匹敵するか、さらに優れています。いずれの場合も、文脈埋め込みを利用したモデルの優位性を示す。最後に、本研究は、普遍的多言語感情分類器の導入に向けてのステップである。

関連論文リスト

Evaluating Contextualized Representations of (Spanish) Ambiguous Words: A New Lexical Resource and Empirical Analysis [2.2530496464901106]
スペイン語の単言語モデルと多言語BERTモデルを用いて、文脈におけるスペイン語のあいまいな名詞の意味表現を評価する。様々な BERT ベースの LM の文脈的意味表現は、人間の判断に多少の違いがあるが、ヒトのベンチマークには及ばない。
論文参考訳（メタデータ） (2024-06-20T18:58:11Z)
Natural Language Decompositions of Implicit Content Enable Better Text Representations [56.85319224208865]
本稿では,暗黙的に伝達されたコンテンツを明示的に考慮したテキスト分析手法を提案する。我々は大きな言語モデルを用いて、観察されたテキストと推論的に関係する命題の集合を生成する。本研究は,NLPにおいて,文字のみではなく,観察された言語の背景にある意味をモデル化することが重要であることを示唆する。
論文参考訳（メタデータ） (2023-05-23T23:45:20Z)
Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
論文参考訳（メタデータ） (2022-10-14T02:35:19Z)
Testing the Ability of Language Models to Interpret Figurative Language [69.59943454934799]
比喩的・比喩的な言語は言論において一般的である。現代の言語モデルが非リテラルなフレーズをどの程度解釈できるかについては、未解決の疑問が残る。ウィノグラードスタイルの非文字言語理解タスクであるFig-QAを紹介する。
論文参考訳（メタデータ） (2022-04-26T23:42:22Z)
A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
固有プローブ構築のための新しい潜在変数定式化を提案する。我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
論文参考訳（メタデータ） (2022-01-20T15:01:12Z)
Exploring the Representation of Word Meanings in Context: A Case Study on Homonymy and Synonymy [0.0]
我々は,静的モデルと文脈モデルの両方が,語彙-意味関係を適切に表現できる能力を評価する。実験はガリシア語、ポルトガル語、英語、スペイン語で行われている。
論文参考訳（メタデータ） (2021-06-25T10:54:23Z)
The Rediscovery Hypothesis: Language Models Need to Meet Linguistics [8.293055016429863]
現代言語モデルの性能向上に言語知識が必須条件であるかどうかを検討する。その結果, 言語構造を探索した場合, かなり圧縮されるが, 事前学習目的によく適合する言語モデルは, 良好なスコアを保っていることがわかった。この結果は再発見仮説を支持し,本論文の第2の貢献である言語モデル目標と言語情報との関連性に関する情報論的枠組みを導出する。
論文参考訳（メタデータ） (2021-03-02T15:57:39Z)
Multi-sense embeddings through a word sense disambiguation process [2.2344764434954256]
最も適した感覚。 (MSSA)は、その文脈の意味的効果を考慮して、それぞれの単語をその特定の感覚で曖昧にし、注釈する。我々は,単語類似性タスクの6つの異なるベンチマークでアプローチを検証し,そのアプローチが最先端の結果をもたらすことを示す。
論文参考訳（メタデータ） (2021-01-21T16:22:34Z)
Probing Contextual Language Models for Common Ground with Visual Representations [76.05769268286038]
我々は、マッチングと非マッチングの視覚表現を区別する上で、テキストのみの表現がいかに効果的かを評価するための探索モデルを設計する。以上の結果から,言語表現だけでは,適切な対象カテゴリから画像パッチを検索する強力な信号が得られることがわかった。視覚的に接地された言語モデルは、例えば検索においてテキストのみの言語モデルよりわずかに優れているが、人間よりもはるかに低い。
論文参考訳（メタデータ） (2020-05-01T21:28:28Z)
How Far are We from Effective Context Modeling? An Exploratory Study on Semantic Parsing in Context [59.13515950353125]
文法に基づく意味解析を行い,その上に典型的な文脈モデリング手法を適用する。我々は,2つの大きなクロスドメインデータセットに対して,13のコンテキストモデリング手法を評価した。
論文参考訳（メタデータ） (2020-02-03T11:28:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。