論文の概要: Combining Word and Character Vector Representation on Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2009.05935v1
• Date: Sun, 13 Sep 2020 06:53:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-19 02:59:32.708076
• Title: Combining Word and Character Vector Representation on Neural Machine Translation
• Title（参考訳）: ニューラルマシン翻訳における単語と文字ベクトル表現の組み合わせ
• Authors: K. M. Shahih, Ayu Purwarianti
• Abstract要約: 本稿では,英語・インドネシア語ニューラルマシン翻訳(NMT)における単語ベクトル表現と文字ベクトル表現の組み合わせについて述べる。 実験の結果,単語と文字表現を結合したNMTモデルは,ベースラインモデルよりもBLEUスコアが高いことがわかった。
• 参考スコア（独自算出の注目度）: 0.7944595835312952
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper describes combinations of word vector representation and character vector representation in English-Indonesian neural machine translation (NMT). Six configurations of NMT models were built with different input vector representations: word-based, combination of word and character representation using bidirectional LSTM(bi-LSTM), combination of word and character representation using CNN, combination of word and character representation by combining bi-LSTM and CNN by three different vector operations: addition, pointwise multiplication, and averaging. The experiment results showed that NMT models with concatenation of word and character representation obtained BLEU score higher than baseline model, ranging from 9.14 points to 11.65 points, for all models that combining both word and character representation, except the model that combining word and character representation using both bi-LSTM and CNN by addition operation. The highest BLEU score achieved was 42.48 compared to the 30.83 of the baseline model.
• Abstract（参考訳）: 本稿では,英印語ニューラルマシン翻訳(nmt)における単語ベクトル表現と文字ベクトル表現の組み合わせについて述べる。 NMTモデルの6つの構成は、単語ベース、双方向LSTM(bi-LSTM)を用いた単語と文字の表現の組み合わせ、CNNを用いた単語と文字の表現の組み合わせ、Bi-LSTMとCNNを3つの異なるベクトル演算(加算、点乗算、平均化)で組み合わせた。 その結果、単語表現と文字表現を結合したnmtモデルは、bi-lstmとcnnの両方を加算演算で組み合わせたモデルを除いて、単語表現と文字表現を結合した全てのモデルにおいて、9.14ポイントから11.65ポイントの範囲のbleuスコアを得た。 BLEUの最高スコアは、ベースラインモデルの30.83と比較して42.48であった。

関連論文リスト

• In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
  我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。 我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
  論文  参考訳（メタデータ） (2024-01-23T18:59:21Z)
• TextConvoNet:A Convolutional Neural Network based Architecture for Text Classification [0.34410212782758043]
  CNNベースのアーキテクチャTextConvoNetは、文内n-gram特徴を抽出するだけでなく、入力されたテキストデータ中の文間n-gram特徴をキャプチャする。 実験の結果,提案したTextConvoNetは,テキスト分類のための最先端の機械学習モデルやディープラーニングモデルよりも優れていた。
  論文  参考訳（メタデータ） (2022-03-10T06:09:56Z)
• Recurrent neural network transducer for Japanese and Chinese offline handwritten text recognition [5.704448607986111]
  日本語と中国語のオフラインテキスト行画像を認識するためのRNN-Transducerモデルを提案する。 提案モデルでは,入力画像からの視覚情報と言語情報の両方を利用する。 実験結果から,提案モデルが全データセットの最先端性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-06-28T08:16:44Z)
• Word2Box: Learning Word Representation Using Box Embeddings [28.080105878687185]
  単語のベクトル表現を学習することは、NLPにおける最も基本的なトピックの1つである。 我々のモデルであるWord2Boxは、単語表現の問題に対する領域ベースアプローチを採用し、単語を$n$次元長方形として表現する。 様々な単語類似性タスク、特にあまり一般的でない単語の性能向上を実証した。
  論文  参考訳（メタデータ） (2021-06-28T01:17:11Z)
• Charformer: Fast Character Transformers via Gradient-based Subword Tokenization [50.16128796194463]
  モデルの一部としてサブワードトークン化をエンドツーエンドに学習する新しいモデル帰納バイアスを提案する。 文字から潜在単語表現を自動的に学習する,ソフトグラデーションベースのサブワードトークンモジュール(GBST)を導入する。 また、GBSTを統合し、バイトレベルで動作する深層トランスフォーマーモデルであるCharformerを紹介する。
  論文  参考訳（メタデータ） (2021-06-23T22:24:14Z)
• Accurate Word Representations with Universal Visual Guidance [55.71425503859685]
  本稿では,視覚指導から従来の単語埋め込みを視覚的に強調する視覚的表現法を提案する。 各単語が多様な関連画像に対応するマルチモーダルシードデータセットから,小型の単語画像辞書を構築する。 12の自然言語理解および機械翻訳タスクの実験により,提案手法の有効性と一般化能力がさらに検証された。
  論文  参考訳（メタデータ） (2020-12-30T09:11:50Z)
• An Intelligent CNN-VAE Text Representation Technology Based on Text Semantics for Comprehensive Big Data [15.680918844684454]
  畳み込みニューラルネットワーク(CNN)と可変オートエンコーダ(VAE)に基づくテキスト特徴表現モデルを提案する。 提案手法は,k-nearest neighbor (KNN), random forest (RF) および Support vector machine (SVM) 分類アルゴリズムにおいて優れる。
  論文  参考訳（メタデータ） (2020-08-28T07:39:45Z)
• A Novel Graph-based Multi-modal Fusion Encoder for Neural Machine Translation [131.33610549540043]
  NMTのための新しいグラフベースのマルチモーダル核融合エンコーダを提案する。 まず、統合マルチモーダルグラフを用いて、入力文と画像を表す。 次に、複数のグラフベースのマルチモーダル融合層を積み重ねて、ノード表現を学習するためのセマンティックな相互作用を反復的に実行する。
  論文  参考訳（メタデータ） (2020-07-17T04:06:09Z)
• BURT: BERT-inspired Universal Representation from Twin Structure [89.82415322763475]
  BURT (BERT inspired Universal Representation from Twin Structure) は任意の粒度の入力シーケンスに対して普遍的で固定サイズの表現を生成することができる。 提案するBURTは,Siameseネットワークを採用し,自然言語推論データセットから文レベル表現を学習し,パラフレーズ化データセットから単語/フレーズレベル表現を学習する。 我々は,STSタスク,SemEval2013 Task 5(a) など,テキスト類似性タスクの粒度によってBURTを評価する。
  論文  参考訳（メタデータ） (2020-04-29T04:01:52Z)
• Depth-Adaptive Graph Recurrent Network for Text Classification [71.20237659479703]
  S-LSTM(Sentence-State LSTM)は、高効率なグラフリカレントネットワークである。 そこで本研究では,S-LSTMの深度適応機構を提案する。
  論文  参考訳（メタデータ） (2020-02-29T03:09:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。