論文の概要、ライセンス

# (参考訳) seq2seq学習を用いたテキスト対ハッシュ生成 [全文訳有]

Text-to-hashtag Generation using Seq2seq Learning ( http://arxiv.org/abs/2102.00904v1 )

ライセンス: CC BY 4.0
Augusto Camargo, Wesley Carvalho, Felipe Peressim(参考訳) 本論文では、BiLSTMとBERTに基づくモデルがブラジルのポルトガル語でハッシュタグを生成し、Eコマースのウェブサイトで使用できるかどうかを検討した。 我々はEコマースレビューのコーパスと商品のタイトルを入力として処理し、ハッシュタグを出力として生成した。 NIST,BLEU,METEOR,クラウドソーシングスコアの4つの定量値を用いて評価を行った。 Word Cloudは定性メトリックとして使用された。 すべてのコンピュータ測定値(NIST、BLEU、METEOR)が悪い結果を示したのに加えて、クラウドソースは素晴らしいスコアを示した。 我々は、ニューラルネットワークによって生成されたテキストが、Eコマースのウェブサイトで製品のハッシュタグとして使われることを非常に約束していると結論付けた。 この作業のコードはhttps://github.com/a ugustocamargo/text-t o-hashtagで入手できる。

In this paper, we studied if models based on BiLSTM and BERT can generate hashtags in Brazilian portuguese that can be used in Ecommerce websites. We processed a corpus of Ecommerce reviews and titles of products as inputs and we generated hashtags as outputs. We evaluate the results using four quantitatives metrics: NIST, BLEU, METEOR and a crowdsourced score. Word Cloud was used as a qualitative metric. Besides all computer metered metrics (NIST, BLEU and METEOR) showed bad results, the crowdsourced showed amazing scores. We concluded that the texts generated by the neural networks are very promising to be used as hashtags of products in Ecommerce websites [1]. The code for this work is available on https://github.com/a ugustocamargo/text-t o-hashtag
公開日: Mon, 1 Feb 2021 15:28:27 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
Text-to-hashtag Generation using Seq2seq Learning seq2seq学習を用いたテキスト対ハッシュ生成 0.47
Augusto Camargo - augustoc@usp.br Augusto Camargo - augustoc@usp.br 0.92
Wesley Carvalho - wesley.seidel@gmail. com Felipe Peressim - felipe.peressim@ime. usp.br Wesley Carvalho - Wesley.seidel@gmail. com Felipe Peressim - felipe.peressim@ime. usp.br 0.66
Department of Computer Science, Institute of Mathematics and Statistics 数学・統計学研究所コンピュータ科学科 0.67
University of Sao Paulo, Brazil ブラジル・サンパウロ大学 0.51
In this paper, we studied if models based on BiLSTM and BERT can generate hashtags in Brazilian portuguese that can be used in Ecommerce websites. 本論文では、BiLSTMとBERTに基づくモデルがブラジルのポルトガル語でハッシュタグを生成し、Eコマースのウェブサイトで使用できるかどうかを検討した。 0.62
We processed a corpus of Ecommerce reviews and titles of products as inputs and we generated hashtags as outputs. 我々はEコマースレビューのコーパスと商品のタイトルを入力として処理し、ハッシュタグを出力として生成した。 0.57
We evaluate the results using four quantitatives metrics: NIST, BLEU, METEOR and a crowdsourced score. NIST,BLEU,METEOR,クラウドソーシングスコアの4つの定量値を用いて評価を行った。 0.58
Word Cloud was used as a qualitative metric. Word Cloudは定性メトリックとして使用された。 0.73
Besides all computer metered metrics (NIST, BLEU and METEOR) showed bad results, the crowdsourced showed amazing scores. すべてのコンピュータ測定値(NIST、BLEU、METEOR)が悪い結果を示したのに加えて、クラウドソースは素晴らしいスコアを示した。
訳抜け防止モード: すべてのコンピュータ計測値(NIST,BLEU,METEOR )は悪い結果を示した。 クラウドソーシングは すごいスコアだった。
0.60
We concluded that the texts generated by the neural networks are very promising to be used as hashtags of products in Ecommerce websites ​[1]​. 我々は、ニューラルネットワークによって生成されたテキストが、Eコマースのウェブサイトで製品のハッシュタグとして使われることを非常に約束していると結論付けた。 0.61
The code for this work is available on https://github.com/a ugustocamargo/text-t o-hashtag この作業のコードはhttps://github.com/a ugustocamargo/text-t o-hashtagで入手できる。 0.49
Abstract 1. Introduction Hashtags were created by Cri Messina in 2007 ​[2]​. 概要 1. 導入ハッシュタグは2007年にcri messinaによって作成された。 0.63
They are pervasive and very important on the Internet today ​[3]​. それらは現在インターネット上で広く普及しており、非常に重要である[3]。 0.71
Almost every service on the Internet lets you tag something with hashtags. インターネット上のほぼすべてのサービスは、ハッシュタグで何かをタグ付けできます。 0.61
Our main motivation was to generate hashtags automatically to tag products in Ecommerce websites. 私たちの主な動機は、Eコマースのウェブサイトで商品にタグを付けるハッシュタグを自動生成することでした。 0.53
Those hashtags will be read by humans and indexed by Search Engines. ハッシュタグは人間が読み、検索エンジンがインデックス化する。 0.64
The last ones are our main audience. 最後のものは私たちの主な聴衆です。 0.69
Search engines are a big source of traffic for Ecommerce websites and because of this they are so important. 検索エンジンはEコマースサイトにとって大きなトラフィック源であり、そのために非常に重要である。 0.84
There is a whole field of study called Search Engine Optimization (SEO) ​[4]​. 検索エンジン最適化(SEO)[4]と呼ばれる研究の全分野があります。 0.73
Later we go deeper in this subject in the topic 1.2. その後、トピック1.2でこのテーマをさらに深く掘り下げます。 0.61
LSTM and BERT ​[5]​[6] are used in a wide variety of tasks in Natural Language Processing (NLP) today. LSTM と BERT [5] [6] は現在,自然言語処理(NLP) において多種多様なタスクで使われている。 0.82
We decided to use LSTM and BERT because they achieve success in many NLP tasks. LSTM と BERT は、多くの NLP タスクで成功するために使用することにしました。 0.70
1.2 Search Engine Optimization (SEO) All Ecommerce websites depend on new visitors everyday . 1.2 検索エンジン最適化(SEO) すべてのEコマースウェブサイトは毎日新しい訪問者に依存します。 0.69
A big source of traffic for Ecommerce is the Search Engine Result Pages (SERPs) ​[8]​. Eコマースの大きなトラフィック源は、検索エンジン結果ページ (SERPs) [8] である。 0.68
The non paid traffic originated from the links on those pages are known as Organic Traffic (OT). これらのページのリンクから生まれた非有料トラフィックは、Organic Traffic (OT)として知られている。 0.69
OT has zero cost and is an important source of new visitors. OTにゼロ費用があり、新しい訪問者の重要な源です。 0.77
The task of optimizing all that is the main goal of SEO. SEOの主な目的は、すべてを最適化することです。 0.76
Ecommerce owners fight to be on the top links in the results page of a user searching for a product. Eコマースのオーナーは、製品を検索しているユーザーの検索結果ページのトップリンクになるために戦います。 0.64
To have better OT results they need a lot of links listed in the results page and not only few links in the top. より優れたot結果を得るためには、結果ページにリストされた多くのリンクが必要です。
訳抜け防止モード: より優れたOT結果を得るには 検索結果ページに沢山のリンクが載っていて トップにあるリンクは ほんのわずかです
0.80
It is important to notice that Google imposed a dictatorship of non duplicated content. Googleが非複製コンテンツの独裁権を課したことに気づくことが重要です。 0.70
Any attempt to recycle the same content is penalised by their search algorithm. 同じコンテンツを再利用しようとする試みは、検索アルゴリズムによって罰せられる。 0.70
So it is vital for Ecommerce to generate more and more new unpublished content. ですから、Eコマースが新たな未公開コンテンツを生み出すことは不可欠です。 0.67
The new unpublished content generates more links in the results page of Google and so more OT. 新しい未公開コンテンツは、Googleの検索結果ページにさらに多くのリンクを生成する。 0.72
That is our motivation: generate new and more hashtags for the products. それが私たちのモチベーションです:製品の新しいハッシュタグを生成します。 0.63
1.3 Metrics We evaluate quantitatively the results using four metrics: NIST, BLEU (Bilingual Evaluation Understudy) , METEOR (Metric for Evaluation of Translation with Explicit ORdering) ​[9]​ and a crowdsourced one. 1.3 メトリクス NIST, BLEU (Bilingual Evaluation Understudy) , METEOR (Metric for Evaluation of Translation with Explicit ORdering) [9] とクラウドソーシングの4つの指標を用いて定量的に結果を評価する。 0.84
The crowdsourced​[10]​ score was named metricF and the question for the anotator was: “Can this sentence be used as a hashtag in an Ecommerce website?”. クラウドソーシングされた[10]スコアはmetricFと命名され、アノテータの質問は「この文はEコマースWebサイトのハッシュタグとして使用できるか? 0.67
The scale goes from 0 to 1: スケールは 0 から 1 に変わります。 0.65
● ● 0: meaningless or totally grammatically incorrect; 0.5: good context and average comprehensible. ● ● 0:無意味または完全に文法的に不正確;0.5:良い文脈と平均理解可能。 0.75
We used 6% of the text sets to be checked by the human annotator for both models (BiLSTM and BERT). 私達は両方のモデル(BiLSTMおよびBERT)のための人間のアノテーションーによって点検されるテキスト セットの6%を使用しました。 0.66
1 1 0.85
英語(論文から抽出)日本語訳スコア
● 1.0: perfect context and completely comprehensible. ● 1.0: 完璧なコンテキストと完全に理解できる。 0.75
Word cloud was used as a qualitative metric to have an overview of the major words used in the texts and with it we can display text data in graphical form ​[11]​. ワードクラウドは、テキストで使われる主要な単語の概要を示す定性的指標として用いられ、それによってテキストデータをグラフィカルな形式で表示することができます [11]。 0.80
2. Related work In the last 3 years we saw growth in research on hashtags recommendation ​[12]​ ​[13], [14]​ ​[15]​. 2. 関連作業 この3年間で、ハッシュタグの推奨[12] [13]、[14] [15]の研究が成長しました。
訳抜け防止モード: 2. 関連作業 過去3年間で、ハッシュタグの推奨[12] [13]の研究が成長しました。 [ 14]​ ​[15]​.
0.75
Our approach differs from other works mainly because we use a corpus of Ecommerce reviews and not content coming from social media. われわれのアプローチは、主に、ソーシャルメディアからのコンテンツではなく、Eコマースレビューのコーパスを使用するため、他の作品と異なる。 0.59
There are a lot of examples in the internet of content about how to implement neural networks for text translation and summarization similar to what we are doing here [16][17][18]. テキスト翻訳や要約のためにニューラルネットワークを実装する方法については、コンテンツのインターネットには多くの例があります [16][17][18]ここでやっていることと同様です。 0.80
3. Methodology We used a dataset of Ecommerce reviews provided by B2W Digital. 3. 方法論 B2W Digitalが提供するEコマースレビューのデータセットを使用しました。 0.71
Our main tool for coding was JupyterLab ​[16]​. コーディングのための私たちの主なツールはJupyterLab [16]でした。 0.77
The dataset was pre-processed before being used. データセットは使用前に前処理された。 0.71
The input of the LSTM and BERT were prepared specifically for each model. LSTMとBERTの入力は各モデルごとに特別に準備された。 0.75
We describe both models details below. 両モデルの詳細は以下の通り。 0.71
3.1 Dataset We want to thank B2W Digital for providing the dataset of this work. 3.1 データ この作業のデータセットを提供したB2W Digitalに感謝します。 0.66
Thanks to their kindness this work could be done. 彼らの親切のおかげで、この仕事はできる。 0.65
The language of the content in this dataset is Brazilian portuguese. このデータセットのコンテンツの言語はブラジル語のportugueseです。 0.85
We use an open corpus of product reviews ​[17]​. 製品レビューのオープンなコーパス [17] を使っています。 0.66
It contains more than 132.373 Ecommerce customer reviews, 112.993 different users regarding 48.001 unique products. eコマースの顧客レビューは132.373件以上あり、112.993人の異なるユーザーが48.001個ある。 0.56
The data was collected from the Americanas.com website between January and May, 2018. データは2018年1月から5月にかけてAmericanas.comのウェブサイトから収集された。 0.59
The use two fields of the total of fourteen present in the file: ファイルに含まれる14の合計の2つのフィールドを使用する。 0.76
● ● review_title​, text format, introduces or summarizes the review content; review_text​, text format, it is the main text content of the review. ● ● review_title , text format, introduction or summarys the review content; review_text , text format, it is the main text content of the review. (英語) 0.86
3.2 Pre-processing All digits and special characters were removed. 3.2 前処理全桁と特殊文字が削除された。 0.64
We also padded punctuation with white spaces between punctuation and words. また,句読点と句読点の間に白い空間を設けた。 0.56
3.2.1 BiLSTM Two special tokens, ‘<start>’ and ‘<end>’, were added to review_title in order to help the decoder know from which point it should start decoding and where to end the decoding process. 3.2.1 BiLSTM 「<start>」と「<end>」の2つの特別なトークンがreview_titleに追加され、デコーダがデコードを開始するべきポイントとデコードプロセスの終了場所を知るのに役立ちます。 0.80
A sample from the processed corpus is: 処理されたコーパスからのサンプルは 0.66
1. 2. review_title: ​<start> produto muito bom <end> review_review:​ ​excelente qualidade , chegou dentro do prazo , recomendo . 1. 2. review_title: <start> produto muito bom <end> review_review: excelente qualidade , chegou dentro do prazo , recomendo 。 0.86
3.2.2 BERT We used an auto-regressive model for text generation using many iterations. 3.2.2 BERT 多くのイテレーションを使用してテキスト生成に自動回帰モデルを使用しました。 0.56
Each iteration generates an output word that is incorporated into the input of the next iteration. 各イテレーションは、次のイテレーションの入力に組み込まれた出力ワードを生成します。 0.71
We will generate the output sentence from left to the right, word by word. 出力文は左から右へ、単語ごとに生成します。 0.53
BERT is used in each iteration to generate the output word. BERTは、各イテレーションで出力語を生成するために使用される。 0.74
We will do a classification task to refine BERT in order to fine-tune it to generate words. 我々は、BERTを微調整して単語を生成するために分類タスクを行う。
訳抜け防止モード: 私たちは分類タスクを行います to refine BERT to fine― tune it to generate words.
0.86
It is good to emphasize that this model was adapted to generate words, as it is usually used for classification tasks. このモデルは、通常分類タスクに使用されるため、単語生成に適応されていることを強調するのがよい。 0.77
A sample of the processed corpus for BERT is: BERT の処理コーパスのサンプルは次のとおりである。 0.69
ótimo filme , o amor antigamente era tão profundo e sincero . 映画『O amor antigamente era tão profundo e sincero』に登場。 0.77
[SEP] [MASK] ótimo filme , o amor antigamente era tão profundo e sincero . [SEP] [MASK] ótimo filme, o amor antigamente era tão profundo e sincero ] 0.77
[SEP] melhor ótimo filme , um dos melhores filme feito até hoje , o amor antigamente era tão profundo e sincero . SEP] melhor ótimo filme , um dos melhores filme feito até hoje , o amor antigamente era tão profundo e sincero 。 0.78
[SEP] melhor[MASK] ótimo filme , um dos melhores filme feito até hoje , o amor antigamente era tão profundo e sincero . amor antigamente era tão profundo e sincero.[sep] melhor[mask] ótimo filme , um dos melhores filme feito até hoje , o amor antigamente era tão profundo e sincero. 0.86
[SEP] melhor filme melhor (複数形 melhors) 0.39
ótimo filme , o amor antigamente era tão profundo e sincero . 映画『O amor antigamente era tão profundo e sincero』に登場。 0.77
[SEP] melhor filme [MASK] [SEP]メルホルフィルム[MASK] 0.48
2 2 0.85
英語(論文から抽出)日本語訳スコア
ótimo filme , o amor antigamente era tão profundo e sincero . 映画『O amor antigamente era tão profundo e sincero』に登場。 0.77
[SEP] melhor filme . SEP] melhorのフィルム。 0.63
ótimo filme , o amor antigamente era tão profundo e sincero . 映画『O amor antigamente era tão profundo e sincero』に登場。 0.77
[SEP] melhor filme . SEP] melhorのフィルム。 0.63
[MASK] ótimo filme , o amor antigamente era tão profundo e sincero . [MASK]Otimo filme, o amor antigamente era tão profundo e sincero ] 0.76
[SEP] melhor filme . SEP] melhorのフィルム。 0.63
[SEP] 3.3 Proposed Models Several models were tested in preliminary experiments and we describe the two that led to the best results: one for LSTM and one fort BERT. [SEP] 3.3 提案モデル 予備実験でいくつかのモデルが試験され、LSTM と BERT の2つの最良の結果が得られた。 0.84
All the details about the models can be seen here: https://github.com/a ugustocamargo/text-t o-hashtag モデルの詳細はこちらで確認できる。 https://github.com/a ugustocamargo/text-t o-hashtag。 0.59
3.3.1 BiLSTM In Figure 1, we can see the details of the implemented BiLSTM model. 3.3.1 BiLSTM 図1では、実装された BiLSTM モデルの詳細を見ることができる。 0.77
Keras do not officially implement Attention so we used an outside implementation based on ​‘Bahdanau Attention’​ ​[19] [20]​. Kerasは公式にAttentionを実装していないので、私たちは'Bahdanau Attention' [19] [20]に基づいて外部実装を使用しました。 0.65
We follow the approach bellow to create the model: モデルを作るために bellow のアプローチに従います。 0.70
● We are using ‘Teacher Forcing’ technique for faster training of our model. モデルのトレーニングを高速化するために,‘Teacher Forcing’テクニックを使用しています。 0.65
In the teacher forcing method, we 教師の強制法で、私たちは 0.67
● We use an inference model to predict our output sequences, using the weights from a pre-trained model. 我々は,事前学習したモデルの重みを用いて,推定モデルを用いて出力シーケンスを予測する。 0.77
In other also pass the target data as the input to the decoder. その他 また、ターゲットデータをデコーダへの入力として渡す。 0.73
For example, if we are going to predict ‘hello’, then we will pass ‘hello’ itself as an input to the decoder. 例えば、もし'hello'を予測しようとするなら、'hello'自体をデコーダへの入力として渡します。 0.70
This accelerates the training process ​[19]​. これによりトレーニングプロセスが加速します [19]。 0.80
words, the model generalizes what it has learned during the training process to handle never-seen-before data [19]​. すなわち、モデルは、トレーニングプロセス中に学んだことを一般化し、これまでにないデータを処理します[19]。 0.64
Figure 1: BiLSTM - model graph and summary. 図1: BiLSTM - モデルグラフと要約。 0.78
3.3.2 BERT In Figure 2 we can see the summary of our BERT implementation. 3.3.2 BERT 図2では、BERT の実装の概要を見ることができる。 0.63
Figure 2: BERT - model graph and summary. 図2: BERT - モデルグラフと要約。 0.75
. 3 . 3 0.85
英語(論文から抽出)日本語訳スコア
​3.4 Experiments We run 17 experiments for the BiLSTM and 25 for the BERTfor and present here the best experiment for each model. 3.4 実験 BiLSTM の実験を17 回,BERTfor の 25 回実施し,各モデルに最適な実験を提示する。 0.86
All the details about the experiments below can be found in here: https://github.com/a ugustocamargo/text-t o-hashtag In Table 1, all parameters used to execute the experiments for BiLSTM and BERT are presented. https://github.com/a ugustocamargo/text-t o-hashtag テーブル1では、bilstmとbertの実験を実行するために使用されるすべてのパラメータが示されています。 0.66
Table 1: Setup of the experiments. 表1:実験のセットアップ。 0.67
Training set Validation set トレーニングセット 検証セット 0.74
Test set Epochs Batch テストセット 時代 バッチ 0.68
GPU Execution time BiLSTM GPU 実行時間 BiLSTM 0.83
BERT 81,746 BERT 81,746 0.72
17,517 17,517 17,517 17,517 0.59
16 of 20** 16 of 20** 0.85
128 81,746 (306,974)* 128 81,746 (306,974)* 0.78
17,517 (66,014)* 17,517 (66,014)* 0.71
17,517 (65,657)* 17,517 (65,657)* 0.71
5 of 5 128 NVIDIA Tesla K80 - 12 Gb RAM 5の5。 128 NVIDIA Tesla K80 - 12 Gb RAM 0.87
NVIDIA Tesla V100S - 32 Gb RAM NVIDIA Tesla V100S - 32 Gb RAM 0.94
60 min 225 min * Size of the set after the pre-processing of the corpus for the BERT model. 60分 225分 * bertモデルのためのコーパスの前処理後のセットのサイズ。 0.64
The experiments were run using TensorFlow-GPU 2.3.1 and Keras 2.4.3. 実験はTensorFlow-GPU 2.3.1とKeras 2.4.3を使って行われた。 0.49
4. Results and Discussion Text samples generated by the models are shown in Tables 7 and 8. 4. 結果とモデルが生成したテキストサンプルを表7と8に示す。 0.79
Generated ​texts and ​Predicted ​texts are interchangeable terms. 生成テキストと予測テキストは交換可能な用語である。 0.59
It happens the same to ​Original​ and ​Review_title​ fields in the corpus. これはコーパスの Original と Review_title フィールドと同じことが起こります。 0.62
In Figure 3 and 4 we can see both models performances while being trained. 図3と4では、トレーニング中に両方のモデルのパフォーマンスが見られます。 0.69
In Table 2 we see the optimization results. 表2では最適化結果を示します。 0.82
Figure 3: BiLSTM - training accuray. 図3: BiLSTM - トレーニング認定。 0.66
Figure 4: BERT - training accuracy. 図4:BERT - トレーニングの精度。 0.73
Table 2: Results for training and test sets. 表2: トレーニングとテストセットの結果。 0.70
BiLSTM BERT BiLSTM BERT 0.85
4 4 0.85
英語(論文から抽出)日本語訳スコア
Accuracy Validation Accuracy Test 正確性検証 精度試験 0.77
0.809 0.801 0.809 0.801 0.59
0.990 0.990 0.990 0.990 0.59
As seen in Figure 3 and 4 both experiments do not overfit. 図3および4に示すように、両方の実験はオーバーフィットしません。 0.67
Below in Table 3 It is clear that the BERT model is much more creative (1,491) than the BiLSTM one (135), since it generates 10x more different sentences than the second. 表3に示すように、BERT モデルは BiLSTM 1 (135) よりもはるかに創造的 (1,491) であることは明らかである。
訳抜け防止モード: 表3に示すように、BERTモデルはBiLSTMモデル(135 )よりもずっと創造的(1,491 )であることは明らかです。 第二の10倍の異なる文を 生成するからです
0.67
Table 3: Quantity of unique sentences of Original vs Predicted texts. 表3:オリジナルテキストと予測テキストのユニークな文の量。 0.71
Original sentences Predicted sentences BiLSTM - sentences 原文 予測文 BiLSTM - 文 0.53
(unique) 6,994 (独特) 6,994 0.66
135 BERT - sentences 135 BERT-文 0.75
(unique) In Table 4 we see that BERT is much more literate than BiLSTM since its vocabulary is almost 9x bigger than the second. (独特) 表4では、その語彙が第2よりもほぼ9倍大きいので、BERTはBiLSTMよりもはるかにリテラシーです。
訳抜け防止モード: (独特) 表4でそれを見てみましょう。 BERT は BiLSTM よりずっと読みやすく、語彙は第2の約9倍大きい。
0.79
Table 4: Size of dictionary of Original vs Predicted texts. 表4:オリジナルと予測したテキストの辞書のサイズ。 0.74
7,947 1,491 7,947 1,491 0.59
4,244 907 Original Dictionary 4,244 907 原典 0.61
Predicted Dictionary Difference BiLSTM - Words 予測辞書 違い BiLSTM - ワード 0.72
BERT - Words 3,100 BERT - 単語 3,100 0.67
102 -2,998 / - 2,939.2% 102 -2,998 / - 2,939.2% 0.70
- 3,337 / - 367,9% - 3,337 / - 367,9% 0.75
The BiLSTM model is more articulated than BERT because it generates sentences with 1-3 words while BERT only generates 1-2 words as seen in Table 5. BERTは表5に示すように1-2ワードしか生成しないが、1-3ワードの文を生成するため、BiLSTMモデルはBERTよりも明瞭である。 0.62
We can see that the BiLSTM model has a greater variance in the generated titles size (51.77%) than BERT (29.43%). BiLSTMモデルは、BERT (29.43%) よりも生成されたタイトルサイズ (51.77%) のばらつきが大きいことが分かる。 0.76
In Figure 5-7, we have the histogram of words/sentences. 図5-7では、単語/文のヒストグラムがあります。 0.61
One more insight from Table 5: BiLSTM is smarter than BERT, as more complex sentences were formed from fewer words. 表5からのもう一つの洞察: BiLSTMは、より少ない単語からより複雑な文が形成されるため、BERTよりもスマートです。 0.68
Table 5: Size of words/sentences of Original vs Predicted texts. 表5:オリジナルテキストと予測テキストの単語/文のサイズ。 0.72
Original text Predicted text BiLSTM - Average, SDev and %CV 原文 予測テキスト BiLSTM - 平均、SDev、%CV。 0.59
(words/sentence) BERT - Average Words - Average, SDev and %C (言葉・文) BERT - Average Words - Average, SDev, %C 0.71
(words/sentence) 2.632 ± 1.647 %CV: 62.57% (言葉・文) 2.632 ± 1.647 %CV: 62.57% 0.65
2.117 ± 1.096 %CV: 51.77 2.117 ± 1.096 %CV:51.77 0.65
2.964 ± 1.866 %CV: 62.96 2.964 ± 1.866 %CV:62.96 0.67
1.784 ± 0.525 %CV: 29.43 1.784 ± 0.525 %CV:29.43 0.64
In Table 6-8 we can see generated text samples and their respective scores. 表6-8では、生成されたテキストサンプルとそのスコアを見ることができる。 0.61
NIST, BLEU and METEOR statistically have had the same behavior: really bad results. NIST、BLEU、METEORは統計的に同じ行動をとっています。 0.56
But metricF, our crowdsourced score, showed very good results: 0.810 for BiLSTM and 0.797 for BERT. しかし、私たちのクラウドソーススコアであるmetricFは非常に良い結果を示しました。BiLSTMは0.810、BERTは0.797です。 0.46
It just demonstrates what we already know: those computed metrics can not capture semantics as well as crowdsource (humans) can. これらの計算されたメトリクスは、セマンティクスだけでなく、クラウドソース(人間)もキャプチャできないのです。 0.52
5 5 0.85
英語(論文から抽出)日本語訳スコア
Figure 5: Histogram of original 図5:原本のヒストグラム 0.75
sentences. Figure 6: BiLSTM - histogram of 文だ 図6: BiLSTM - ヒストグラム。 0.58
predicted sentences. Figure 7: BERT - histogram of predicted 予測文。 図7:BERT - 予測のヒストグラム。 0.68
sentences. We also asked for the annotator of the metricF to analyze human generated text (Original) and give them a score. 文だ また,人為的なテキスト(Original)を分析してスコアを与えるために,metricFのアノテータを依頼した。 0.54
BiLSTM corpus scores 0.810 ± 0.349 and BERT corpus 0.912 ± 0.273. BiLSTMコーパスは0.810±0.349、BERTコーパス0.912±0.273である。 0.48
Since computed metrics (NIST, BLEU and METEOR) are not in the same scale we applied the min-max normalization ​[21]​ on the results: 計算されたメトリクス(NIST、BLEU、METEOR)は同じスケールではないため、結果にmin-max正規化[21]を適用しました。 0.73
Table 6: Scores - Values. 表6:スコア - 値。 0.71
Average of the Score BiLSTM 0.066 ± 0.164 0.046 ± 0.121 0.107 ± 0.218 0.794 ± 0.349 スコアの平均値 BiLSTM 0.066 ± 0.164 0.046 ± 0.121 0.107 ± 0.218 0.794 ± 0.349 0.60
BERT 0.058 ± 0.140 0.058 ± 0.119 0.091 ± 0.188 0.706 ± 0.389 BERT 0.058 ± 0.140 0.058 ± 0.119 0.091 ± 0.188 0.706 ± 0.389 0.69
NIST BLEU METEOR metricF NIST BLEU Meteor metricF 0.70
Table 7: Scores - %CV. 表7:スコア - %CV。 0.72
%CV of the Score BiLSTM スコアの%CV。 BiLSTM 0.71
BERT 247.6% 263.9% 203.1% 43.8% BERT 247.6% 263.9% 203.1% 43.8% 0.74
243.1% 205.5% 209.5%. 243.1% 205.5% 209.5%. 0.67
55.1% NIST BLEU METEOR metricF 55.1% NIST BLEU Meteor metricF 0.70
Figure 8: BiLSTM - scores histogram. 図8: BiLSTM - ヒストグラムのスコア。 0.77
Figure 9: BERT - scores histogram. 図9:BERT - ヒストグラムをスコアする。 0.76
6 6 0.85
英語(論文から抽出)日本語訳スコア
Figure 10: BiLSTM - metricF histogram 図10: BiLSTM - メトリックFヒストグラム。 0.82
Figure 11: BERT - metricF histogram 図11:BERT - metricFヒストグラム 0.79
NIST BLEU METEOR metricF Review NIST BLEU METEOR metricFレビュー 0.83
Table 7: BiLSTM - sample of texts and metrics. 表7: BiLSTM - テキストとメトリクスのサンプル。 0.73
atendeu todas minhas expectativas qualidade ótima entrega ótimo antes do prazo nota para o produto e para americanas atendeu todas minhas expectativas qualidade ótima entrega ótimo antes do prazo nota para o produto e para americanas 0.85
Original Predicted americanas melhor loja オリジナル 予測 Americanas melhor Loja 0.65
excelente isso é um descaso com o cliente já tem um mês que comprei e nunca chegou já até quebrei meu cartão americanas nunca mais compro aqui 優秀 イソ・エ・デ・スカソ・コン(Iso é um descaso com o cliente já tem um mês que comprei e nunca chegou já até quebrei meu cartão Americanas nunca mais compro aqui) 0.75
nunca mais compro nessa loja nunca mais compro nessa loja 0.85
nao recebi o produto a parte da frente que tem o unicórnio veio faltando a peça simplesmente não estava dentro da embalagem como pode ser resolvido esse problema absurdo o presente de natal da minha filha と言いました。 a parte da frente que tem o unicórnio veio faltando a peça simplesmente não estava dentro da embalagem como pode ser resolvido esse problema stupido o presente de natal da minha filha 0.54
veio peça faltando veio peça faltando 0.85
não gostei do produto não gostei do produto 0.85
fui enganado não recebi o produto americanas não entregou reclamei mas não recebi paguei e não recebi アメリカン・エンガナド・ナン・レセビ著『アメリカン・エントレゴウ・レクラメイ・マ・ナン・レセビ・パゲイ・エ・ナン・レセビ』 0.08
não recebi o produto não recebi o produto 0.85
não recebi o produto não recebi o produto 0.85
0 0 0 0 0 0 0 0 0 0 0 0 0.85
0 0 0 1.0 1.0 0 0 0 1.0 1.0 0.75
0.5 2.000 1.000 0.5 2.000 1.000 0.59
0.992 0.5 0 0.992 0.5 0 0.68
0 0 0 0 0 0 0 0 0 0 0 0 0.85
0 0 0 0 0 0.5 0 0 0 0 0 0.5 0.81
finalizei a compra e ainda nao chegou finalizei a compra e ainda nao chegou(英語) 0.74
a entrega demora muito entrega demora muito (複数形 entrega demora muitos) 0.45
não é o que eu esperava と王様は言いました。 0.08
0 0 0 não funcionou no iphone no iphone plus nem no iphone x 0 0 0 não funcionou no iphone no iphone plus nem no iphone x 0.85
não funcionou não funcionou 0.85
gostei do produto Gostei do Produto 0.70
tem que ficar com o celular muito próximo ao adaptador se se um pouco mais de metro já começa a falhar assim é melhor usar um cabo p pra ouvir música 地下鉄の交通機関について : 地下鉄の交通機関と交通機関の相互利用について 0.11
falha muito bom custo benefício ファラ・ムイト bom custo benefício 氏 0.56
simplesmente descartável use uma vez e o tecido se separa do elástico sinceramente não recomendo シンプルなデカルタベルの使用 uma vez e o tecido separa do elástico sinceramente não recomendo。 0.83
material péssimo material + péssimo 0.69
gostei do produto Gostei do Produto 0.70
Table 8: BERT - sample of texts and metrics. 表 8: BERT - テキストとメトリクスのサンプル。 0.73
NIST BLEU METEOR metricF Review NIST BLEU METEOR metricFレビュー 0.83
Original Predicted 0.033 オリジナル 予測 0.033 0.66
0.033 0.106 0.033 0.106 0.59
1.0 comprei e não recebi o produto ! 1.0 プロデュート・コンプレイ・エ・ナン・レセビ・オ・プロデュート! 0.35
minha a avaliação vai para a americanas que não tem comprometimento com o cliente ! 英語) minha avaliação vai para a americanas que não tem comprometimento com o cliente! 0.83
decepcionada ! decepcionada! 0.83
o produto não foi entregue O produto não foi entregue 0.81
não recebi não recebi (複数形 não recebis) 0.31
7 7 0.85
英語(論文から抽出)日本語訳スコア
0 0 0 0 0 0 0 0 0 0 0 0 0.85
0 0 0 0 0 0 0 0 0 0 0 0 0.85
0 0 0 0 0 0 0 0 0 0 0 0 0.85
0 0 0 0 0 0 0 0 0 0 0 0 0.85
1.0 1.0 0.5 1.0 1.0 0.5 0.59
0.5 0.5 0 0 0.5 0.5 0 0 0.72
0 jogo excelente , com gráficos ótimos e jogabilidade muito boa . 0 jogo Excelente、com gráficos ótimos e jogabilidade muito boa。 0.79
recomendo a todos . recomendo a todos です。 0.82
ótimo excelente ótimo custo benefício este aparelho atendeu perfeitamente minhas necessidades オーティモ 優秀 アパレルホ・アテデウ・ペルファイタメンテ・ミンハス・ネセシダデス 0.28
aparelho bom ótimo custo Aparelho Bom ótimo custo 0.61
o disco de fatiar não é bom para batata , fica muito fina e ao fritar gruda na panela mesmo com óleo bem quente . 映画『Fica muito fina e ao fritar gruda na panela mesmo com óleo bem quente』に登場。 0.46
produto excelente ! プロデュト・エクステレンテ! 0.24
maravilhos cachos maravilhosos e duradouros , super recomendo ! マラビロス cachos maravilhosos e duradouros, Super recomendo! 0.46
produto excelente ! プロデュト・エクステレンテ! 0.24
maravilhos achei confortável , design grande , pelo numero ser não ficou apertado , ajustou perfeitamente aos meus pés . マラビロス achei confortável, design grande, pelo numero ser não ficou apertado, ajustou perfeitamente aos meus pés。 0.43
gostei goste do ゴステイ Goste do ♪ 0.26
expeliarmus wingardium leviosaaa expectro patrono to na conta da minha mãe Expeliarmus wingardium leviosaaa expectro patrono to na conta da minha m∂e 0.82
gostei do exemplo Gostei do exemplo 0.79
muito bom produto funciona como o original da gree , além de esteticamente também ser igual ao original . ムイト・ボム Produto funciona como o original da gree , além de esteticamente também ser igual ao original. 0.52
gostei ! produto de ゴッタイ! produto (複数形 produtos) 0.32
podia ter v . podia ter v。 0.73
forno muito simples , bonito , mas só v em um forno a gás e lamentável . Forno muito simples , bonito , mas só v em... forno a gás e lamentável. 0.89
forno bem simples forno bem simples ♪ 0.76
forno muito forno (複数形 fornos) 0.30
The word clouds in Figures 12-14 show us that words from generated sentences for both BiLSTM and BERT have very similar distributions. The word clouds in Figures 12-14 shows that generated sentences for both BiLSTM and BERT have very similar distributions。 0.74
Although, they are a little bit different from the Review words. しかし、それらはレビューの言葉と少し異なります。 0.60
It may suggest that the Attention model really works. 注意モデルが本当にうまくいくことを示唆するかもしれない。 0.60
Figure 12: Review_text - word cloud. 図12: review_text - word cloud。 0.90
Figure 13: BiLSTM - predicted word cloud. 図13: BiLSTM - 予測ワードクラウド。 0.71
Figure 14: BERT - Predicated word cloud. 図14: bert - predicated word cloud。 0.72
5. Conclusions The implementation of the BiLSTM model was completely straightforward, but the BERT model was very counterintuitive and demanded a lot of tests, debugging and back and forth coding. 5. 結論 BiLSTMモデルの実装は完全に簡単でしたが、BERTモデルは直感に反し、多くのテスト、デバッグ、および前後のコーディングを要求しました。 0.78
Our experimental results showed that LSTM and Transformers applied to text generation are useful to this type of task. テキスト生成に適用したLSTMとTransformerは,このようなタスクに有用であることを示す。 0.66
Our metricF (crowdsourced) showed that the generated texts could really be used as hashtags in the Ecommerce websites: 0.794 for BiLSTM and 0.706 for BERT. 当社のメトリックF(crowdsourced)は、生成されたテキストがEコマースのウェブサイトのハッシュタグとして実際に使用できることを示した: BiLSTMは0.794、BERTは0.706。 0.59
All computured metrics (NIST, BLEU and METEOR) showed bad results and did not address the needs of this task. 全ての計算メトリクス(NIST、BLEU、METEOR)は悪い結果を示し、このタスクのニーズに対処しなかった。 0.74
The models used here (BiLSTM and BERT) are tied in almost all metrics when considering the standard deviation. ここで使用されているモデル(BiLSTMとBERT)は、標準偏差を考慮するとほぼすべてのメトリクスに結び付けられます。 0.64
After so many experiments, we believe that the BiLSTM model is in the limit of its performance with this corpus. 多くの実験の後、我々はBiLSTMモデルは、このコーパスでの性能に限界があると考えている。 0.73
Sentences generated by the models when used as hashtags can be confused with human ones. ハッシュタグとして使用されるモデルによって生成される文は、人間と混同されることがある。 0.49
metricF scores for computer generated sentences and for human generated sentences are tied when considering standard deviation, Generating sentences with BERT is not usual but is possible. 標準偏差を考慮すると、コンピュータ生成文と人生成文のメートル法Fスコアが結び付けられ、BERTを用いた文の生成は普通ではないが可能である。
訳抜け防止モード: 標準偏差を考慮すると、コンピュータ生成文と人生成文のメトリックFスコアが結びついている。 BERTによる文生成 普通じゃないけど あり得る。
0.67
Considering the potential of this model, we believe that more effort on fine-tuning it can have a huge payback. このモデルの可能性を考慮すれば、微調整により多くの労力がかかると大きな成果が得られます。 0.60
8 8 0.85
英語(論文から抽出)日本語訳スコア
Future works include different approaches and new architectures for generating sentences with BERT. 今後の作業には、BERTで文を生成するための異なるアプローチと新しいアーキテクチャが含まれる。 0.53
References [1] A. Belz and E. Reiter, “Comparing Automatic and Human Evaluation of NLG Systems,” in ​11th Conference of the European 参考文献 [1] A. Belz and E. Reiter, "Comparing Automatic and Human Evaluation of NLG Systems" in the 11th Conference of the European 0.80
Chapter of the Association for Computational Linguistics​, 2006 [Online]. the association for computational linguistics, 2006 [online] の略。 0.67
Available: https://www.aclweb.o rg/anthology/E06-104 0 https://www.aclweb.o rg/anthology/e06-104 0 0.33
[2] “The hashtag at 10 years young.” [Online]. [2]「10歳児のハッシュタグ」[オンライン]。 0.52
Available: [3] S. Giannoulakis and N. Tsapatsoulis, “Evaluating the descriptive power of Instagram hashtags,” ​Journal of Innovation in [4] “What is SEO?” [Online]. 利用可能。 3] S. GiannoulakisとN. Tsapatsoulisは、「Instagramハッシュタグの記述力を評価する」、[4]のイノベーションジャーナル[SEOとは何ですか?
訳抜け防止モード: 利用可能。 3 ] S. GiannoulakisとN. Tsapatsoulis、「Instagramハッシュタグの記述力を評価する」。 Journal of Innovation in [4] “SEOとは何ですか? オンライン] 。
0.64
Available: ​https://moz.com/lear n/seo/what-is-seo​. 利用できる: https://moz.com/lear n/seo/what-is-seo 。 0.32
[Accessed: 13-Dec-2020] [5] [取得:13-Dec-2020][5] 0.71
https://blog.twitter .com/en_us/topics/pr oduct/2017/the-hasht ag-at-ten-years-youn g.html​. https://blog.twitter .com/en_us/topics/pr oduct/2017/the-hasht ag-at-years-young.ht ml 0.18
[Accessed: 20-Dec-2020] Digital Ecosystems​, vol. アクセス:20-dec-2020]デジタルエコシステム。 0.74
3, no. 2, pp. 3、いいえ。 2、p。 0.68
114–129, Nov. 2016. 114-129, 2016年11月。 0.57
J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova, “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding,” ​arXiv [cs.CL]​, 11-Oct-2018 [Online]. J. Devlin, M.-W. Chang, K. Lee, K. Toutanova, "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding", arXiv [cs.CL] , 11-Oct-2018 [Online] 0.89
Available: ​http://arxiv.org/abs /1810.04805 Available: ​http://arxiv.org/abs /1907.11692 http://arxiv.org/abs /1706.03762 http://arxiv.org/abs /1810.04805 利用可能: http://arxiv.org/abs /1907.11692 http://arxiv.org/abs /1706.03762 0.36
[6] Y. Liu ​et al.​, “RoBERTa: A Robustly Optimized BERT Pretraining Approach,” ​arXiv [cs.CL]​, 26-Jul-2019 [Online]. [6] Y. Liu et al., “RoBERTa: A Robustly Optimized BERT Pretraining Approach”, arXiv [cs.CL], 26-Jul-2019 [オンライン]. 0.94
[7] A. Vaswani ​et al.​, “Attention Is All You Need,” ​arXiv [cs.CL]​, 12-Jun-2017 [Online]. 7] A. Vaswani et al., “Attention Is All You Need” arXiv [cs.CL] , 12-Jun-2017 [Online]。 0.91
Available: [8] “Ecommerce SEO Guide - Drive More Organic Traffic To Online Store,” 08-Sep-2020. 利用可能: [8] “ECommerce SEO Guide - Drive More Organic Traffic to Online Store”, 08-Sep-2020。 0.91
[Online]. Available: [オンライン] 利用可能。 0.58
[9] K. Wołk and D. Koržinek, “Comparison and Adaptation of Automatic Evaluation Metrics for Quality Assessment of 9] k. wołk, d. koržinek, "品質評価のための自動評価指標の比較と適応" 0.84
https://newsdio.com/ ecommerce-seo-guide/ ​. https://newsdio.com/ ecommerce-seo-guide/ 。 0.33
[Accessed: 13-Dec-2020] Re-Speaking,” ​arXiv [cs.CL]​, 12-Jan-2016 [Online]. 引用:13-Dec-2020] re-Speaking, arXiv[cs.CL], 12-Jan-2016[オンライン]。 0.71
Available: ​http://arxiv.org/abs /1601.02789 [10] Wikipedia contributors, “Crowdsourcing,” ​Wikipedia, The Free Encyclopedia​, 27-Nov-2020. 利用可能: http://arxiv.org/abs /1601.02789 [10] Wikipediaコントリビュータ、“クラウドソーシング”Wikipedia、The Free Encyclopedia、27-Nov-2020。 0.62
[Online]. Available: https://en.wikipedia .org/w/index.php?tit le=Crowdsourcing&oldid=990983866​. [オンライン] https://en.wikipedia .org/w/index.php?tit le=Crowdsourcing&oldid=990983866 0.53
[Accessed: 21-Dec-2020] [11] C. A. DePaolo and K. Wilkinson, “Get Your Head into the Clouds: Using Word Clouds for Analyzing Qualitative Assessment Data,” ​TechTrends​, vol. 出典: 21-Dec-2020] [11] C. A. DePaolo, K. Wilkinson, “Get Your Head into the Clouds: Using Word Clouds for Analyzing Qualitative Assessment Data, TechTrends, vol. 0.94
58, no. 3, pp. 38–44, May 2014. 58だ 3、p。 2014年5月38-44日。 0.51
[12] D. Yang, R. Zhu, and Y. Li, “Self-Attentive Neural Network for Hashtag Recommendation,” ​Journal of Engineering Science and Technology Review​, vol. 12] D. Yang, R. Zhu, and Y. Li, "Self-Attentive Neural Network for Hashtag Recommendation", Journal of Engineering Science and Technology Review, vol。 0.86
12, no. 2), pp. 12、いいえ。 2)、p。 0.69
104–110, Apr. 2019. 104-110頁。 2019. 0.81
[13] Y. Li, T. Liu, J. Hu, and J. Jiang, “Topical Co-Attention Networks for hashtag recommendation on microblogs,” Neurocomputing​, vol. 13] Y. Li, T. Liu, J. Hu, J. Jiang, "Topical Co-Attention Networks for hashtag recommend on microblogs", NeuroCompputing, vol。 0.81
331, pp. 356–365, Feb. 2019. 331, pp。 356-365, 2019年2月。 0.72
[14] Y. Li, T. Liu, J. Jiang, and L. Zhang, “Hashtag Recommendation with Topical Attention-Based LSTM,” in ​Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers​, 2016, pp. 14] y. li, t. liu, j. jiang, l. zhang, “hashtag recommendation with topical attention-based lstm” in proceedings of coling 2016, the 26th international conference on computational linguistics: technical papers , 2016 pp. (英語) 0.77
3019–3029. 3019–3029. 0.71
[15] M. Kaviani and H. Rahmani, “EmHash: Hashtag Recommendation using Neural Network based on BERT Embedding,” in 2020 6th International Conference on Web Research (ICWR)​, 2020, pp. 15] M. KavianiとH. Rahmaniは、2020 6th International Conference on Web Research (ICWR) , 2020, pp.で、"EmHash: Hashtag Recommendation using Neural Network based based based BERT Embedding"と題しています。 0.86
113–118. [16] “Project Jupyter.” [Online]. 113–118. [16] "Project Jupyter." [オンライン] 0.73
Available: ​https://jupyter.org/ ​. 利用可能: https://jupyter.org/ 。 0.54
[Accessed: 21-Dec-2020] [17] b2w-reviews01​. アクセス: 21-dec-2020] [17] b2w-reviews01。 0.56
Github [Online]. Github [オンライン]。 0.72
Available: ​https://github.com/b 2wdigital/b2w-review s01​. https://github.com/b 2wdigital/b2w-review s01 0.35
[Accessed: 12-Dec-2020] [18] J. Wagner, R. S. Wilkens, M. Idiart, and A. Villavicencio, “The brWaC Corpus: A New Open Resource for Brazilian アクセス:12-Dec-2020] [18] J. Wagner, R.S. Wilkens, M. Idiart, A. Villavicencio, “The brWaC Corpus: A New Open Resource for Brazil” 0.90
Portuguese,” in ​Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018)​, 2018 [Online]. The Eleventh International Conference on Language Resources and Evaluation (LREC 2018) のProceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018) , 2018[オンライン]。 0.74
Available: https://www.research gate.net/publication /326303825_The_brWaC _Corpus_A_New_Open_R esource_for_Brazilia n_Portuguese . https://www.research gate.net/publication /326303825_The_brWaC _Corpus_A_New_Open_R esource_for_Brazilia n_Portuguese 0.21
[Accessed: 19-Dec-2020] [アクセス:19-dec-2020] 0.56
[19] H. Patel, “Neural Machine Translation (NMT) with Attention Mechanism,” ​Towards Data Science​, 05-Jun-2020. 19] H. Patel, “Neural Machine Translation (NMT) with Attention Mechanism”, Towards Data Science , 05-2020。 0.84
[Online]. Available: ​https://towardsdatas cience.com/neural-ma chine-translation-nm t-with-attention-mec hanism-5e59b57bd2ac​. [オンライン] https://towardsdatas cience.com/neural-ma chine-translation-nm t-with-attention-mec hanism-5e59b57bd2ac 0.45
[Accessed: 12-Dec-2020] 01-Sep-2014 [Online]. アクセス:12-Dec-2020]01-Sep-2014 [オンライン]。 0.58
Available: ​http://arxiv.org/abs /1409.0473 [Accessed: 13-Dec-2020] http://arxiv.org/abs /1409.0473 [Accessed: 13-Dec-2020] 0.51
[20] D. Bahdanau, K. Cho, and Y. Bengio, “Neural Machine Translation by Jointly Learning to Align and Translate,” ​arXiv [cs.CL]​, [21] “Max Normalization.” [Online]. 20] D. Bahdanau, K. Cho, Y. Bengio, "Neural Machine Translation by Jointly Learning to Align and Translate", arXiv [cs.CL] , [21] "Max Normalization." [Online] 0.81
Available: ​https://www.scienced irect.com/topics/com puter-science/max-no rmalization​. 利用できる: https://www.scienced irect.com/topics/ Computer-science/max -normalization 。 0.30
9 9 0.85
                   ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。