論文の概要: A Survey On Neural Word Embeddings
- arxiv url: http://arxiv.org/abs/2110.01804v1
- Date: Tue, 5 Oct 2021 03:37:57 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-06 14:29:00.822176
- Title: A Survey On Neural Word Embeddings
- Title（参考訳）: 神経語埋め込みに関する調査研究
- Authors: Erhan Sezerer and Selma Tekir
- Abstract要約: 自然言語処理における意味の研究は、分布仮説に依存する。
概念の分散表現という革命的な考えは、人間の心の働きに近い。
ニューラルワード埋め込みは、すべてのNLPタスクを大幅に改善することで、NLPの分野全体を変革した。
- 参考スコア（独自算出の注目度）: 0.4822598110892847
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Understanding human language has been a sub-challenge on the way of
intelligent machines. The study of meaning in natural language processing (NLP)
relies on the distributional hypothesis where language elements get meaning
from the words that co-occur within contexts. The revolutionary idea of
distributed representation for a concept is close to the working of a human
mind in that the meaning of a word is spread across several neurons, and a loss
of activation will only slightly affect the memory retrieval process.
Neural word embeddings transformed the whole field of NLP by introducing
substantial improvements in all NLP tasks. In this survey, we provide a
comprehensive literature review on neural word embeddings. We give theoretical
foundations and describe existing work by an interplay between word embeddings
and language modelling. We provide broad coverage on neural word embeddings,
including early word embeddings, embeddings targeting specific semantic
relations, sense embeddings, morpheme embeddings, and finally, contextual
representations. Finally, we describe benchmark datasets in word embeddings'
performance evaluation and downstream tasks along with the performance results
of/due to word embeddings.
- Abstract（参考訳）: 人間の言語を理解することは、知的な機械の道のサブカレンジだ。
自然言語処理(NLP)における意味の研究は、言語要素が文脈内で共起する単語から意味を得る分布仮説に依存している。
概念の分散表現という革命的な考え方は、単語の意味が複数のニューロンに分散し、活性化の喪失がメモリ検索プロセスにわずかに影響を及ぼすという人間の心の働きに近い。
ニューラルワード埋め込みは全てのNLPタスクを大幅に改善することでNLPの分野全体を変革した。
本稿では,神経語埋め込みに関する包括的な文献レビューを行う。
理論的基礎を与え,単語埋め込みと言語モデリングの相互作用による既存の作業を記述する。
我々は、早期単語埋め込み、特定の意味関係をターゲットとした埋め込み、感覚埋め込み、形態素埋め込み、そして最後に文脈表現を含む、ニューラルネットワークの埋め込みを広範囲にカバーする。
最後に,ワード埋め込みの性能評価とダウンストリームタスクにおけるベンチマークデータセットと,ワード埋め込みに対するパフォーマンス結果について述べる。
関連論文リスト
- An Inclusive Notion of Text [69.36678873492373]
テキストの概念の明確さは再現可能で一般化可能なNLPにとって不可欠である,と我々は主張する。
言語的および非言語的要素の2層分類を導入し,NLPモデリングに使用することができる。
論文 参考訳（メタデータ） (2022-11-10T14:26:43Z) - Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。
本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。
本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。
セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
論文 参考訳（メタデータ） (2021-10-04T03:59:15Z) - An Empirical Study on Leveraging Position Embeddings for Target-oriented
Opinion Words Extraction [13.765146062545048]
ToWE(Target-oriented opinion words extract)は、ターゲット指向の感情分析の新しいサブタスクである。
本稿では,BiLSTMに基づくモデルを用いて,位置情報を単語表現に効果的にエンコードできることを示す。
また,構文情報を組み込んだグラフ畳み込みネットワーク(GCN)を用いて,単語表現の強化を行う。
論文 参考訳（メタデータ） (2021-09-02T22:49:45Z) - Semantic Representation and Inference for NLP [2.969705152497174]
この論文は、新しい意味表現と推論のための深層学習の利用について考察する。
我々は,自動クレーム検証を目的とした,現実の事実クレームの公開データセットとして最大である。
語句表現を外部単語埋め込みと知識グラフで豊かにすることにより,句の構成性を文脈的に操作する。
論文 参考訳（メタデータ） (2021-06-15T13:22:48Z) - Low-Dimensional Structure in the Space of Language Representations is
Reflected in Brain Responses [62.197912623223964]
言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。
この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。
これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
論文 参考訳（メタデータ） (2021-06-09T22:59:12Z) - Can a Fruit Fly Learn Word Embeddings? [16.280120177501733]
フルーツフライ脳は、神経科学で最も研究されたシステムの1つです。
ネットワークモチーフは単語の意味表現を学習し,静的および文脈依存の単語埋め込みを生成できることを示す。
また,fruit fly networkのモチーフはnlpの既存の手法に匹敵する性能を実現するだけでなく,計算資源のほんの一部しか使用できないことを示した。
論文 参考訳（メタデータ） (2021-01-18T05:41:50Z) - Infusing Finetuning with Semantic Dependencies [62.37697048781823]
シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。
次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
論文 参考訳（メタデータ） (2020-12-10T01:27:24Z) - Blind signal decomposition of various word embeddings based on join and
individual variance explained [11.542392473831672]
そこで本稿では,JIVEとJIVEを併用して,各種単語の組込みを結合成分と個別成分に分解する,新しい結合信号分離手法を提案する。
我々は,2vec,FastText,GLoVEの異なるコーパスと異なる次元で訓練を行った。
その結果,異なる単語の埋め込みを結合成分にマッピングすることにより,従来の単語埋め込みよりも低性能で感情性能が大幅に向上できることが判明した。
論文 参考訳（メタデータ） (2020-11-30T01:36:29Z) - CogniFNN: A Fuzzy Neural Network Framework for Cognitive Word Embedding
Evaluation [18.23390072160049]
我々は、ファジィニューラルネットワークを用いて、英語単語埋め込みの評価のための非線形および非定常特性を抽出する最初の試みであるCogniFNNフレームワークを提案した。
脳波、fMRI、視線追跡の3つのモードで15の認知データセットを使用した。
近年の先駆的フレームワークと比較して,提案したCogniFNNでは,文脈非依存(GloVe)と文脈依存(BERT)の単語埋め込みの予測誤差が小さくなった。
論文 参考訳（メタデータ） (2020-09-24T04:39:38Z) - Compositional Explanations of Neurons [52.71742655312625]
本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。
本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
論文 参考訳（メタデータ） (2020-06-24T20:37:05Z) - A Survey on Contextual Embeddings [48.04732268018772]
文脈埋め込みは、各単語を文脈に基づく表現として割り当て、様々な文脈にまたがる単語の使用を捉え、言語間で伝達される知識を符号化する。
本稿では,既存の文脈埋め込みモデル,言語間多言語事前学習,下流タスクへの文脈埋め込みの適用,モデル圧縮,モデル解析についてレビューする。
論文 参考訳（メタデータ） (2020-03-16T15:22:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。