Fugu-MT 論文翻訳(概要): An Iterative Contextualization Algorithm with Second-Order Attention

論文の概要: An Iterative Contextualization Algorithm with Second-Order Attention

arxiv url: http://arxiv.org/abs/2103.02190v1
Date: Wed, 3 Mar 2021 05:34:50 GMT
ステータス: 処理完了
システム内更新日: 2021-03-06 13:12:15.659724
Title: An Iterative Contextualization Algorithm with Second-Order Attention
Title（参考訳）: 2次注意を伴う反復的文脈化アルゴリズム
Authors: Diego Maupom\'e and Marie-Jean Meurs
Abstract要約: 文を構成する単語の表現をまとまりのある全体にまとめる方法について説明します。私たちのアルゴリズムは、おそらくコンテキストの誤った値から始まり、手元のトークンに関してこの値を調整します。私たちのモデルは、よく知られたテキスト分類タスクで強い結果を報告します。
参考スコア（独自算出の注目度）: 0.40611352512781856
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Combining the representations of the words that make up a sentence into a cohesive whole is difficult, since it needs to account for the order of words, and to establish how the words present relate to each other. The solution we propose consists in iteratively adjusting the context. Our algorithm starts with a presumably erroneous value of the context, and adjusts this value with respect to the tokens at hand. In order to achieve this, representations of words are built combining their symbolic embedding with a positional encoding into single vectors. The algorithm then iteratively weighs and aggregates these vectors using our novel second-order attention mechanism. Our models report strong results in several well-known text classification tasks.
Abstract（参考訳）: 単語の順序を考慮に入れ、現在の単語が互いにどのように関連しているかを確立する必要があるため、文を構成する単語の表現を結合全体にまとめることは困難です。提案するソリューションは、コンテキストを反復的に調整することにあります。私たちのアルゴリズムは、おそらくコンテキストの誤った値から始まり、手元のトークンに関してこの値を調整します。これを実現するために、単語の表現はシンボルの埋め込みと位置エンコーディングを1つのベクトルに組み合わせて構築される。このアルゴリズムは、新しい2次注意機構を用いて、これらのベクトルを反復的に重み付け、集約する。私たちのモデルは、よく知られたテキスト分類タスクで強い結果を報告します。

関連論文リスト

Span-Aggregatable, Contextualized Word Embeddings for Effective Phrase Mining [0.22499166814992438]
目的語句が雑音の多い文脈内に存在する場合, 単語の完全文を1つの高次ベクトルで表すだけでは, 効果的な句検索には不十分であることを示す。本稿では,この手法がフレーズマイニングに有用であるが,有用なスパン表現を得るためには,かなりの計算が必要であることを示す。
論文参考訳（メタデータ） (2024-05-12T12:08:05Z)
Sub-Sentence Encoder: Contrastive Learning of Propositional Semantic Representations [102.05351905494277]
サブ文エンコーダ(Sub-sentence encoder)は、テキストの微細な意味表現のためのコンテクスト埋め込みモデルである。文エンコーダと比較して,サブ文エンコーダは推論コストと空間複雑さのレベルが同じであることを示す。
論文参考訳（メタデータ） (2023-11-07T20:38:30Z)
Linear-Time Modeling of Linguistic Structure: An Order-Theoretic Perspective [97.57162770792182]
文字列内のトークンのペア間の関係をモデル化するタスクは、自然言語を理解する上で不可欠な部分である。これらの徹底的な比較は避けられ、さらに、トークン間の関係を文字列上の部分順序としてキャストすることで、複雑さを線形に減らすことができる。提案手法は,文字列中の各トークンの実際の数を並列に予測し,それに従ってトークンをソートすることで,文字列内のトークンの総順序を決定する。
論文参考訳（メタデータ） (2023-05-24T11:47:35Z)
What Are You Token About? Dense Retrieval as Distributions Over the Vocabulary [68.77983831618685]
本稿では,2つのエンコーダが生成するベクトル表現を,モデルの語彙空間に投影することで解釈する。得られたプロジェクションは、リッチな意味情報を含み、それらの間の接続を描画し、スパース検索を行う。
論文参考訳（メタデータ） (2022-12-20T16:03:25Z)
Evaluating Various Tokenizers for Arabic Text Classification [4.110108749051656]
アラビア語に対する3つの新しいトークン化アルゴリズムを導入し、教師なし評価を用いて他の3つのベースラインと比較する。実験の結果,このようなトークン化アルゴリズムの性能は,データセットのサイズ,タスクの種類,データセットに存在する形態素量に依存することがわかった。
論文参考訳（メタデータ） (2021-06-14T16:05:58Z)
WOVe: Incorporating Word Order in GloVe Word Embeddings [0.0]
単語をベクトルとして定義することで、機械学習アルゴリズムがテキストを理解し、そこから情報を抽出しやすくなります。ワードベクトル表現は、単語同義語、単語類似、構文解析など、多くのアプリケーションで使われている。
論文参考訳（メタデータ） (2021-05-18T15:28:20Z)
Match-Ignition: Plugging PageRank into Transformer for Long-form Text Matching [66.71886789848472]
実効性と効率性に対処する新しい階層型ノイズフィルタリングモデルであるMatch-Ignitionを提案する。基本的なアイデアは、よく知られたPageRankアルゴリズムをTransformerに接続し、文と単語レベルの騒々しい情報を識別およびフィルタリングすることです。文が長文の基本単位であるため、ノイズの多い文はたいてい簡単に検出できるので、PageRankを直接使用してそのような情報をフィルタリングする。
論文参考訳（メタデータ） (2021-01-16T10:34:03Z)
Text Information Aggregation with Centrality Attention [86.91922440508576]
本稿では, 固有中央集権自己注意という, 集権重み付けの新たな方法を提案する。文中のすべての単語に対する完全連結グラフを構築し,各単語の注意点として固有中央性を計算する。
論文参考訳（メタデータ） (2020-11-16T13:08:48Z)
Research on Annotation Rules and Recognition Algorithm Based on Phrase Window [4.334276223622026]
フレーズウィンドウに基づくラベリングルールを提案し,それに対応するフレーズ認識アルゴリズムを設計する。ラベル付けルールでは、フレーズを最小単位とし、文を7種類のネスト可能なフレーズタイプに分割し、フレーズ間の文法的依存関係を示す。対応するアルゴリズムは、画像中の対象領域を識別するアイデアに基づいて、文中の様々なフレーズの開始位置と終了位置を見つけることができる。
論文参考訳（メタデータ） (2020-07-07T00:19:47Z)
Word Rotator's Distance [50.67809662270474]
テキスト類似性を評価する上での鍵となる原則は、単語のアライメントを考慮した2つのテキスト間の意味的重複度を測定することである。単語ベクトルのノルムは単語の重要度によいプロキシであり、その角度は単語類似度によいプロキシであることを示す。本稿では,まず単語ベクトルをノルムと方向に分解し,アライメントに基づく類似性を計算する手法を提案する。
論文参考訳（メタデータ） (2020-04-30T17:48:42Z)
CompLex: A New Corpus for Lexical Complexity Prediction from Likert Scale Data [13.224233182417636]
本稿では,連続語彙複雑性予測のための最初の英語データセットを提案する。我々は5点のLikertスケールスキームを用いて、聖書、Europarl、バイオメディカルテキストの3つのソース/ドメインから、複雑な単語をテキストに注釈付けする。
論文参考訳（メタデータ） (2020-03-16T03:54:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。