論文の概要: Sense representations for Portuguese: experiments with sense embeddings
and deep neural language models
- arxiv url: http://arxiv.org/abs/2109.00025v1
- Date: Tue, 31 Aug 2021 18:07:01 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-02 14:31:30.565852
- Title: Sense representations for Portuguese: experiments with sense embeddings
and deep neural language models
- Title（参考訳）: ポルトガル語のセンス表現:感覚埋め込みとディープニューラル言語モデルを用いた実験
- Authors: Jessica Rodrigues da Silva, Helena de Medeiros Caseli
- Abstract要約: 教師なしの感覚表現は、その文脈意味をテキストで分析することによって、単語の異なる感覚を誘導することができる。
ポルトガル語への感性埋め込みを創出するための最初の実験について述べる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sense representations have gone beyond word representations like Word2Vec,
GloVe and FastText and achieved innovative performance on a wide range of
natural language processing tasks. Although very useful in many applications,
the traditional approaches for generating word embeddings have a strict
drawback: they produce a single vector representation for a given word ignoring
the fact that ambiguous words can assume different meanings. In this paper, we
explore unsupervised sense representations which, different from traditional
word embeddings, are able to induce different senses of a word by analyzing its
contextual semantics in a text. The unsupervised sense representations
investigated in this paper are: sense embeddings and deep neural language
models. We present the first experiments carried out for generating sense
embeddings for Portuguese. Our experiments show that the sense embedding model
(Sense2vec) outperformed traditional word embeddings in syntactic and semantic
analogies task, proving that the language resource generated here can improve
the performance of NLP tasks in Portuguese. We also evaluated the performance
of pre-trained deep neural language models (ELMo and BERT) in two transfer
learning approaches: feature based and fine-tuning, in the semantic textual
similarity task. Our experiments indicate that the fine tuned Multilingual and
Portuguese BERT language models were able to achieve better accuracy than the
ELMo model and baselines.
- Abstract（参考訳）: センス表現はWord2Vec、GloVe、FastTextのようなワード表現を超えて、幅広い自然言語処理タスクにおいて革新的なパフォーマンスを達成した。
多くの応用において非常に有用であるが、単語埋め込みを生成する従来のアプローチには厳しい欠点があり、曖昧な単語が異なる意味を仮定できるという事実を無視して、与えられた単語に対して単一のベクトル表現を生成する。
本稿では,従来の単語埋め込みと異なり,テキスト中の意味論的意味を解析することにより,単語の異なる意味を誘発できる教師なし感覚表現について検討する。
本論文で研究されている教師なしのセンス表現は:センス埋め込みと深層ニューラルネットワークモデルである。
ポルトガル語に感性埋め込みを生成するための最初の実験を行った。
この実験により, 構文的, 意味的類似タスクにおいて, 感覚埋め込みモデル (Sense2vec) が従来の単語埋め込みよりも優れており, ポルトガル語におけるNLPタスクの性能を向上させることが証明された。
また,2つの伝達学習手法(特徴ベースと微調整,意味的テキスト類似性タスク)において,事前学習した深層言語モデル(ELMoとBERT)の性能評価を行った。
実験の結果,細調整された多言語およびポルトガル語のBERT言語モデルはELMoモデルやベースラインよりも精度が高いことがわかった。
関連論文リスト
- What do Language Models know about word senses? Zero-Shot WSD with
Language Models and Domain Inventories [23.623074512572593]
我々は,言語モデルが推論時間における感覚間の識別能力の程度を調査することを目的としている。
我々は、単語感覚とドメインの関係を利用して、単語センスの曖昧さ(WSD)をテキスト・エンターテイメント問題として位置づける。
以上の結果から,本手法は実効性があり,教師付きシステムに近いことが示唆された。
論文 参考訳（メタデータ） (2023-02-07T09:55:07Z) - ABINet++: Autonomous, Bidirectional and Iterative Language Modeling for
Scene Text Spotting [121.11880210592497]
言語モデルの限られた能力は,1)暗黙的な言語モデリング,2)一方向の特徴表現,3)雑音入力を伴う言語モデルから生じる。
シーンテキストスポッティングのための自律的で双方向かつ反復的なABINet++を提案する。
論文 参考訳（メタデータ） (2022-11-19T03:50:33Z) - Learning an Artificial Language for Knowledge-Sharing in Multilingual
Translation [15.32063273544696]
コードブック内のエントリにエンコーダ状態を割り当てることで,多言語モデルの潜伏空間を識別する。
我々は,現実的なデータ量と領域を用いた大規模実験へのアプローチを検証する。
また、学習した人工言語を用いてモデル行動を分析し、類似のブリッジ言語を使用することで、残りの言語間での知識共有が向上することを発見した。
論文 参考訳（メタデータ） (2022-11-02T17:14:42Z) - Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。
自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
論文 参考訳（メタデータ） (2022-10-14T02:35:19Z) - Multilingual Word Sense Disambiguation with Unified Sense Representation [55.3061179361177]
本稿では,知識と教師付き多言語単語センス曖昧化(MWSD)システムを提案する。
我々は複数の言語に統一されたセンス表現を構築し、リッチソース言語から貧しい言語へアノテーションを転送することでMWSDのアノテーション不足問題に対処する。
SemEval-13およびSemEval-15データセットの評価により,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2022-10-14T01:24:03Z) - A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
固有プローブ構築のための新しい潜在変数定式化を提案する。
我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
論文 参考訳（メタデータ） (2022-01-20T15:01:12Z) - LMMS Reloaded: Transformer-based Sense Embeddings for Disambiguation and
Beyond [2.9005223064604078]
近年のトランスフォーマーに基づく言語モデルでは, 感覚特有の情報を確実に伝達する文脈表現が可能であることが証明されている。
14のNLM変種に関する探索解析により,NLMのすべての層からの情報を活用するための,より原理的なアプローチを導入する。
また、タスク固有のモデルとは対照的に、これらの感覚埋め込みの汎用性を強調し、WSD以外のいくつかの感覚関連タスクに適用する。
論文 参考訳（メタデータ） (2021-05-26T10:14:22Z) - AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages
with Adversarial Examples [51.048234591165155]
本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。
言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。
その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
論文 参考訳（メタデータ） (2021-04-17T20:23:45Z) - Infusing Finetuning with Semantic Dependencies [62.37697048781823]
シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。
次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
論文 参考訳（メタデータ） (2020-12-10T01:27:24Z) - On the Effects of Using word2vec Representations in Neural Networks for
Dialogue Act Recognition [0.6767885381740952]
文中の単語列をキャプチャする再帰モデルを探索するディープニューラルネットワークを提案する。
このモデルを英語、フランス語、チェコ語という3つの言語で検証する。
論文 参考訳（メタデータ） (2020-10-22T07:21:17Z) - Generating Sense Embeddings for Syntactic and Semantic Analogy for
Portuguese [0.0]
我々は、感覚埋め込みを生成する技術を使用し、ポルトガルで実施された最初の実験を提示する。
本実験は,意味的類似タスクにおいて,感覚ベクトルが従来の単語ベクトルより優れていることを示す。
論文 参考訳（メタデータ） (2020-01-21T14:39:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。