Fugu-MT 論文翻訳(概要): Encoding word order in complex embeddings

論文の概要: Encoding word order in complex embeddings

arxiv url: http://arxiv.org/abs/1912.12333v2
Date: Sun, 28 Jun 2020 04:37:07 GMT
ステータス: 処理完了
システム内更新日: 2023-06-09 22:56:06.094002
Title: Encoding word order in complex embeddings
Title（参考訳）: 複合埋め込みにおける単語順の符号化
Authors: Benyou Wang, Donghao Zhao, Christina Lioma, Qiuchi Li, Peng Zhang, Jakob Grue Simonsen
Abstract要約: 本稿では,単語の絶対位置と順序関係の両方をモデル化するための,新奇で原理的な解を提案する。我々の解は、以前独立ベクトルとして定義されていた単語埋め込みを変数(配置)上の連続語関数に一般化する。テキスト分類、機械翻訳、言語モデリングの実験は、古典的な単語の埋め込みと位置豊かな単語の埋め込みの両方よりも優れていることを示している。
参考スコア（独自算出の注目度）: 27.711927388591864
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Sequential word order is important when processing text. Currently, neural networks (NNs) address this by modeling word position using position embeddings. The problem is that position embeddings capture the position of individual words, but not the ordered relationship (e.g., adjacency or precedence) between individual word positions. We present a novel and principled solution for modeling both the global absolute positions of words and their order relationships. Our solution generalizes word embeddings, previously defined as independent vectors, to continuous word functions over a variable (position). The benefit of continuous functions over variable positions is that word representations shift smoothly with increasing positions. Hence, word representations in different positions can correlate with each other in a continuous function. The general solution of these functions is extended to complex-valued domain due to richer representations. We extend CNN, RNN and Transformer NNs to complex-valued versions to incorporate our complex embedding (we make all code available). Experiments on text classification, machine translation and language modeling show gains over both classical word embeddings and position-enriched word embeddings. To our knowledge, this is the first work in NLP to link imaginary numbers in complex-valued representations to concrete meanings (i.e., word order).
Abstract（参考訳）: テキスト処理には逐次語順が重要である。現在、ニューラルネットワーク(NN)は、位置埋め込みを用いて単語の位置をモデル化することでこの問題に対処している。問題は、位置埋め込みが個々の単語の位置をキャプチャするが、個々の単語の位置間の順序づけられた関係(例えば、隣接性や優先性)ではないことである。本稿では,単語の大域的絶対位置とその順序関係をモデル化するための新しい原理的解法を提案する。従来独立ベクトルとして定義されていた単語埋め込みを変数(配置)上の連続語関数に一般化する。可変位置上の連続関数の利点は、単語表現が増加する位置でスムーズに移動することである。したがって、異なる位置の単語表現は連続関数で相互に相関することができる。これらの関数の一般解はよりリッチな表現のために複素値領域に拡張される。私たちは、CNN、RNN、Transformer NNを、複雑な組み込みを組み込むために、複雑な価値のあるバージョンに拡張します。テキスト分類、機械翻訳、言語モデリングの実験では、古典的な単語埋め込みと位置エンリッチな単語埋め込みの両方において、利益が示された。我々の知る限り、これはNLPにおいて、複素数値表現における虚数と具体的な意味(すなわち語順)を結びつける最初の研究である。

関連論文リスト

PosFormer: Recognizing Complex Handwritten Mathematical Expression with Position Forest Transformer [51.260384040953326]
手書き数学的表現認識(HMER)は、人間と機械の相互作用シナリオに広く応用されている。本稿では,HMERのための位置フォレスト変換器(PosFormer)を提案する。 PosFormerは、最先端のメソッドである2.03%/1.22%/2、1.83%、および4.62%を一貫して上回っている。
論文参考訳（メタデータ） (2024-07-10T15:42:58Z)
Contextual Position Encoding: Learning to Count What's Important [42.038277620194]
我々は,新しい位置符号化手法であるコンテキスト位置フロップ(CoPE)を提案する。 CoPEは、モデルによって決定された特定のトークンに位置を増すことによって、状況に応じて位置を条件付けることができる。一般的な位置埋め込みが失敗するFlip-Flopタスクにおいて,CoPEが選択的コピー,カウント,Flip-Flopタスクを解くことができることを示す。
論文参考訳（メタデータ） (2024-05-29T02:57:15Z)
Tsetlin Machine Embedding: Representing Words Using Logical Expressions [10.825099126920028]
本稿では,論理節を自己教師する自動エンコーダについて紹介する。節は、"black"、"cup"、"hot"のような文脈的な単語からなり、"coffee"のような他の単語を定義する。我々は,GLoVeを6つの分類タスクで上回り,いくつかの内在的および外在的ベンチマークに対する埋め込み手法の評価を行った。
論文参考訳（メタデータ） (2023-01-02T15:02:45Z)
Latent Topology Induction for Understanding Contextualized Representations [84.7918739062235]
本研究では,文脈的埋め込みの表現空間について検討し,大規模言語モデルの隠れトポロジについて考察する。文脈化表現の言語特性を要約した潜在状態のネットワークが存在することを示す。
論文参考訳（メタデータ） (2022-06-03T11:22:48Z)
Semeval-2022 Task 1: CODWOE -- Comparing Dictionaries and Word Embeddings [1.5293427903448025]
我々は不透明な単語ベクトルと人間可読な定義との関係に焦点をあてる。この問題は自然に2つのサブタスクに分けられる: 定義を埋め込みに変換し、埋め込みを定義に変換する。このタスクは、同質に訓練された埋め込みの同等のセットを使用して、多言語設定で実行された。
論文参考訳（メタデータ） (2022-05-27T09:40:33Z)
Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
論文参考訳（メタデータ） (2021-10-04T03:59:15Z)
Out of Order: How important is the sequential order of words in a sentence in Natural Language Understanding tasks? [34.18339528128342]
最先端の自然言語理解モデルは、予測を行うときに単語の順序を気にしません。 BERTベースのモデルは、ランダムな順序でトークンが配置された場合、表面的な手がかりを利用して正しい決定を行う。我々の研究は、多くのGLUEタスクが文の意味を理解するのに難題ではないことを示唆している。
論文参考訳（メタデータ） (2020-12-30T14:56:12Z)
Accurate Word Representations with Universal Visual Guidance [55.71425503859685]
本稿では,視覚指導から従来の単語埋め込みを視覚的に強調する視覚的表現法を提案する。各単語が多様な関連画像に対応するマルチモーダルシードデータセットから,小型の単語画像辞書を構築する。 12の自然言語理解および機械翻訳タスクの実験により,提案手法の有効性と一般化能力がさらに検証された。
論文参考訳（メタデータ） (2020-12-30T09:11:50Z)
Rethinking Positional Encoding in Language Pre-training [111.2320727291926]
絶対的な位置符号化では、位置埋め込みと単語埋め込みに適用される付加操作が混合相関をもたらすことを示す。我々はtextbfUntied textPositional textbfEncoding (T) を用いた textbfTransformer という新しい位置符号化手法を提案する。
論文参考訳（メタデータ） (2020-06-28T13:11:02Z)
Supervised Understanding of Word Embeddings [1.160208922584163]
単語埋め込みにおける線形キーワードレベル分類器の形で教師付きプロジェクションを得た。我々は,本手法が元の埋め込み次元の解釈可能な投影を生成することを示した。
論文参考訳（メタデータ） (2020-06-23T20:13:42Z)
BURT: BERT-inspired Universal Representation from Twin Structure [89.82415322763475]
BURT (BERT inspired Universal Representation from Twin Structure) は任意の粒度の入力シーケンスに対して普遍的で固定サイズの表現を生成することができる。提案するBURTは,Siameseネットワークを採用し,自然言語推論データセットから文レベル表現を学習し,パラフレーズ化データセットから単語/フレーズレベル表現を学習する。我々は,STSタスク,SemEval2013 Task 5(a) など,テキスト類似性タスクの粒度によってBURTを評価する。
論文参考訳（メタデータ） (2020-04-29T04:01:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。