論文の概要、ライセンス

# (参考訳) 人間の正しさから学ぶ [全文訳有]

Learning From How Human Correct ( http://arxiv.org/abs/2102.00225v1 )

ライセンス: CC BY 4.0
Tong Guo(参考訳) 業界NLPアプリケーションでは、手作業によるラベル付きデータには、一定の数のノイズデータがあります。 ノイズのあるデータを見つけて手作業で再ラベルする簡単な方法を提示し、その間に補正情報を収集します。 そして,人間の補正情報を深層学習モデルに組み込む新しい手法を提案する。 人間は騒々しいデータを補正する方法を知っています。 そのため、深層学習モデルに補正情報を注入することができる。 業界アプリケーション用にデータセット内のノイズの多いデータをリラベルするため、手作業でラベル付けされた独自のテキスト分類データセットで実験を行います。 実験の結果, 分類精度は91.7%から92.5%に向上した。 91.7%のベースラインは、修正されたデータセットに関するBERTトレーニングに基づいている。

In industry NLP application, our manually labeled data has a certain number of noisy data. We present a simple method to find the noisy data and relabel them manually, meanwhile we collect the correction information. Then we present novel method to incorporate the human correction information into deep learning model. Human know how to correct noisy data. So the correction information can be inject into deep learning model. We do the experiment on our own text classification dataset, which is manually labeled, because we relabel the noisy data in our dataset for our industry application. The experiment result shows that our method improve the classification accuracy from 91.7% to 92.5%. The 91.7% baseline is based on BERT training on the corrected dataset, which is hard to surpass.
公開日: Sat, 30 Jan 2021 13:13:50 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
1 2 0 2 n a J 1 2 0 2 n a J 0.85
0 3 ] L C . 0 3 ] L C。 0.78
s c [ 1 v 5 2 2 0 0 sc [ 1 v 5 2 2 0 0 0.68
. 2 0 1 2 : v i X r a . 2 0 1 2 : v i X r a 0.85
Learning From How Human Correct 人間の正しさから学ぶ 0.72
Tong Guo トン・グオ(Tong Guo) 0.41
Never Stop Research 決して研究を止めない 0.65
Abstract. In industry NLP application, our manually labeled data has a certain number of noisy data. 抽象。 業界NLPアプリケーションでは、手作業によるラベル付きデータには、一定の数のノイズデータがあります。 0.67
We present a simple method to find the noisy data and relabel them manually, meanwhile we collect the correction information. ノイズのあるデータを見つけて手作業で再ラベルする簡単な方法を提示し、その間に補正情報を収集します。 0.62
Then we present novel method to incorporate the human correction information into deep learning model. そして,人間の補正情報を深層学習モデルに組み込む新しい手法を提案する。 0.81
Human know how to correct noisy data. 人間は騒々しいデータを補正する方法を知っています。 0.52
So the correction information can be inject into deep learning model. そのため、深層学習モデルに補正情報を注入することができる。 0.78
We do the experiment on our own text classification dataset, which is manually labeled, because we relabel the noisy data in our dataset for our industry application. 業界アプリケーション用にデータセット内のノイズの多いデータをリラベルするため、手作業でラベル付けされた独自のテキスト分類データセットで実験を行います。 0.74
The experiment result shows that our method improve the classification accuracy from 91.7% to 92.5%. 実験の結果, 分類精度は91.7%から92.5%に向上した。 0.80
The 91.7% baseline is based on BERT training on the corrected dataset, which is hard to surpass. 91.7%のベースラインは、修正されたデータセットに関するBERTトレーニングに基づいている。 0.73
Keywords: Deep Learning · Text Classification キーワード:deep learning · text classification 0.91
1 Introduction In recent years, deep learning [2] and BERT-based [1] model have shown significant improvement on almost all the NLP tasks. 1 はじめに 近年,深層学習 [2] と BERT をベースとした [1] モデルは,ほぼすべての NLP タスクにおいて顕著に改善されている。 0.72
However, past methods did not inject human correction information into the deep learning model. しかし,過去の手法では,人間の修正情報を深層学習モデルに注入しなかった。 0.75
Human interact with the environment and learn from the feedback from environment to correct the their own error or mistake. 人間は環境と対話し、環境からのフィードバックから学び、自分自身の誤りや間違いを修正する。 0.78
Our method try to solve the problem that let deep learning model imitate how human correct. 本手法は,深層学習モデルが人間の正しさを模倣する問題を解こうとする。 0.77
In order to solve the problem we present a learning framework. この問題を解決するために,学習フレームワークを提案する。 0.73
The framework mainly works for our industry application dataset, because the problem starts from our industry application. 問題は業界アプリケーションから始まるため、このフレームワークは業界アプリケーションデータセットのために主に機能します。 0.73
In order to solve the text classification problem in our industry application, we first label a dataset. 業界アプリケーションにおけるテキスト分類の問題を解決するために,まずデータセットをラベル付けする。 0.79
Then we can find the noisy data in the dataset and relabel them. そして、データセットの中にノイズのあるデータを見つけ、relabelします。 0.65
The relabeling step collects the human correction information. relabelingステップは、人間の修正情報を収集する。 0.68
To the best of our knowledge, this is the first study exploring the improvement of injecting human correction information into deep model for natural language understanding. 我々の知る限りでは、自然言語理解のための深層モデルに人間の補正情報を注入することの改善を探求する最初の研究である。 0.80
Our key contribution are 4 folds: 重要な貢献は4つの折りたたみ式です 0.53
1. Based on our dataset, we first present the simple step to find the noisy 1. データセットに基づいて、まずノイズを見つけるための簡単なステップを紹介します。 0.75
data and relabel the noisy data. データと ノイズの多いデータを取り除きます 0.70
2. We present the method to inject the human correct information into BERT 2. BERTにヒトの正解情報を注入する手法を提案する。 0.82
for text classification. テキスト分類のためのものです 0.61
3. The experiment result shows our framework gets gain of 0.8% accuracy 3. その結果,フレームワークの精度は0.8%向上した。 0.77
against the strong baseline. 強力なベースラインに対して。 0.59
英語(論文から抽出)日本語訳スコア
4. Our learning framework can apply to a broad set of deep learning industry 4. 私たちの学習フレームワークは、幅広いディープラーニング産業に適用できる 0.81
applications whose dataset is manually labeled first. データセットを最初に手動でラベル付けするアプリケーション。 0.63
Fig. 1. Our learning framework フィギュア。 1. 学習の枠組みは 0.65
2 Relate work BERT [1] is constructed by the multi-layer transformer encoder [10], which produces contextual token representations that have been pre-trained from unlabeled text and fine-tuned for the supervised downstream tasks. 2関連作品 BERT [1] は多層トランスフォーマーエンコーダ [10] で構築され、未ラベルテキストから事前訓練されたコンテキストトークン表現を生成し、教師付き下流タスクのために微調整する。 0.66
BERT achieved state-of-the-art results on many sentence-level tasks from the GLUE benchmark [3]. BERTは、GLUEベンチマークから多くの文レベルのタスクで最新の結果を達成しました[3]。 0.52
There are two steps in BERT’s framework: pre-training and fine-tuning. BERTのフレームワークには、事前トレーニングと微調整の2つのステップがある。 0.63
During pre-training, the model is trained on unlabeled data by using masked language model task and next sentence prediction task. 事前学習中に、マスク付き言語モデルタスクと次の文予測タスクを用いて、ラベルなしデータに基づいてモデルを訓練する。
訳抜け防止モード: 事前トレーニング中、モデルはラベルのないデータでトレーニングされる。 マスキング言語モデルタスクと次の文予測タスクの使用。
0.70
Apart from output layers, the same architectures are used in both pre-training and fine-tuning. 出力層とは別に、同じアーキテクチャは事前トレーニングと微調整の両方で使用されます。 0.61
The same pre-trained model parameters are used to initialize models for different down-stream tasks. 同じ事前学習されたモデルパラメータが、さまざまなダウンストリームタスクのモデルの初期化に使用される。 0.60
Our method is different to semi-supervised learning. 我々の手法は半教師あり学習とは異なる。 0.61
Semi-supervised learning solve the problem that making best use of a large amount of unlabeled data. 半教師付き学習は、大量のラベルのないデータを最大限に活用する問題を解決する。 0.65
These works include UDA [6], Mixmatch [7], Fixmatch [8], Remixmatch [9]. これらの作品には、UDA [6]、Mixmatch [7]、Fixmatch [8]、Remixmatch [9]が含まれます。 0.76
These works do not have the human correction information. これらの作品は人間の修正情報を持っていない。 0.60
Our work has a clear goal that is to learn how human correct their mistake. 私たちの仕事には、人間の間違いの修正方法を学ぶという明確な目標があります。 0.64
3 Our method In this section, we describe our method in detail. 3 方法 このセクションでは、メソッドを詳細に説明します。 0.63
Our learning framework is shown in Fig 1. 学習フレームワークを図1に示します。 0.66
The framework includes 5 steps: フレームワークには5つのステップがある。 0.48
英語(論文から抽出)日本語訳スコア
Step 1, in order to solve the industry text classification problem. 産業用テキスト分類の問題を解決するためのステップ1。 0.76
We label 2,040,000 data and split them into 2,000,000 training data and 40,000 test data. 私たちは2,040,000のデータをラベル付けし、2000,000のトレーニングデータと4万のテストデータに分割します。 0.52
The 2,040,000 data are sampled from our application database whose data size is 500 million. 2,040,000データは、データサイズが5億のアプリケーションデータベースからサンプリングされます。 0.71
Step 2, we train / fine-tune the BERT model on the 2,000,000 training data. ステップ2では、2,000,000のトレーニングデータでBERTモデルをトレーニング/微調整します。 0.57
We named the result model of this step Model-A. このステップの結果モデルをModel-Aと命名した。 0.71
Step 3, we use Model-A to predict for all the 2,040,000 data. ステップ3では、Model-Aを使用して2,040,000のデータを予測します。 0.55
Then we find 300,000 data whose predicted label and human label are not equal. そして、予測されたラベルと人間のラベルが等しくない30万のデータを見つける。 0.63
We consider it is the noisy data. ノイズの多いデータだと考えています。 0.53
In detail, there are 294,120 noisy data in the training dataset and 5,880 noisy data in the test dataset. 詳しくは、トレーニングデータセットには294,120のノイズデータ、テストデータセットには5,880のノイズデータがある。 0.64
Step 4, we manually relabel 300,000 data and merge back to the 2,040,000 data. ステップ4 手動で300,000のデータをrelabelし、2,040,000のデータにマージします。 0.58
Then we get the merged 2,040,000 data. そして、2,040,000のデータをマージする。 0.59
During the relabeling, the last label by human and the model-A’s predicted label are listed as the references for people. relabelingでは、人間による最後のラベルとmodel-aの予測ラベルが人々の参照としてリストされている。 0.72
But labeling people also make their own decision. しかし、ラベル付けもまた独自の決定を下す。 0.64
Step 5, we add the Model-A’s predicted one-hot label as the addition input for training / fine-tuning a new model. ステップ5では、新しいモデルをトレーニング/微調整するための追加入力として、Model-Aの予測1ホットラベルを追加します。 0.68
The detail encoding method for the predicted label is described in the next section. 予測ラベルの詳細エンコーディング方法は、次のセクションで説明します。 0.55
We named the result model of this step Model-C. このステップの結果モデルをModel-Cと命名した。 0.72
The Model-A’s predicted one-hot labels represent the before-corrected information. Model-Aの予測された1ホットラベルは、修正前の情報を表します。 0.49
The training ground truth for Model-C contains the 294,120 corrected human label, which represent the corrected information. Model-Cのトレーニング基盤真理は、修正された情報を表す294,120人のラベルを含む。 0.69
So Model-C is learning how to correct and learning the text classification task in the same time. そこでmodel-cは、テキスト分類タスクの修正と学習を同時に行う方法を学びます。 0.76
Fig. 2. The encoding detail for Model-A, which is corresponding to Fig 1. フィギュア。 2. 図 1 に対応する Model-A のエンコーディングの詳細。 0.67
Fig. 3. The encoding detail for Model-C, which is corresponding to Fig 1. フィギュア。 3. 図 1 に対応する Model-C のエンコーディングの詳細。 0.67
英語(論文から抽出)日本語訳スコア
4 The Model We use BERT as our model. 4 モデル。 BERTをモデルにしています。 0.72
The training steps in our method belongs to the fine-tuning step in BERT. 私達の方法の訓練のステップはBERTの微調整のステップに属します。 0.62
We follow the BERT convention to encode the input text. BERT規則に従い、入力テキストをエンコードします。 0.62
The encoding detail for Model-A is shown in Fig 2. Model-Aのエンコーディングの詳細は図2に示します。 0.78
The encoding detail for Model-C is shown in Fig 3. Model-C のエンコーディングの詳細を図 3 に示します。 0.82
5 Experiments In this section we describe detail of experiment parameters and show the experiment result. 5 実験 本稿では,実験パラメータの詳細を説明し,実験結果を示す。 0.84
The detail result is shown in Table 2. 詳細結果は表2に示します。 0.74
The data size in our experiment is shown in Table 1. 実験のデータサイズは、表1に示します。 0.74
In fine-tuning, we use Adam [4] with learning rate of 1e-5 and use a dropout [5] probability of 0.1 on all layers. 微調整では、adam [4] を学習率1e-5で使用し、ドロップアウト [5] 確率を全層で0.1とする。 0.73
We use BERT-Base (12 layer, 768 hidden size) as our pre-trained model. トレーニング済みモデルとしてBERT-Base(12層、768隠蔽サイズ)を使用します。 0.61
Table 1. The data size in our experiment. 表1。 私たちの実験のデータサイズ。 0.79
Data Size Description 500 million All the data in our application database. データ サイズ 記述 500百万 私達の適用データベースのすべてのデータ。 0.86
2,040,000 The data we label in step 1 of Fig 1. 2,040,000 図1のステップ1でラベル付けしたデータ。 0.71
300,000 294,120 40,000 5,880 300,000 294,120 40,000 5,880 0.45
All the noisy data we select from the 2,040,000 data to relabel. relabelの2,040,000件のデータから選択したノイズデータすべて。 0.69
The noisy data in the training dataset. トレーニングデータセットのノイズの多いデータ。 0.73
The test data we split from the 2,040,000 data as test dataset. テストデータセットとして2,040,000のデータから分離したテストデータ。 0.68
The noisy data in the testing dataset. テストデータセット内のノイズの多いデータ。 0.75
Table 2. The experiment result. The test dataset is the 40,000 data. 表2。 実験結果。 テストデータセットは40,000データです。 0.73
The accuracy reported by human is 5000 data that sampled from the 500 million data. 人間の報告した正確さは5億データから5000データである。 0.74
Model-A, Model-B and Model-C are corresponding to Fig 1. モデルA、モデルB、モデルCは図1に対応する。 0.74
Model In Fig 1 Test Dataset Accuracy Human Evaluate Accuracy Model-A Model-B Model-C 第1図 テストデータセット精度人間評価精度モデル-Aモデル-Bモデル-C 0.76
83.3% 91.7% 92.5% 83.3% 91.7% 92.5% 0.63
88.0% 97.2% 97.7% 88.0% 97.2% 97.7% 0.63
6 Analysis In step 4 of Fig 1, the manually relabeling can correct the noisy 300,000 data. 6 分析 図1のステップ4では、手作業で30万のノイズを補正できる。 0.67
Because the selected 300,000 data is unfitting to the Model-A, the relabeling’s ’worst’ result is the origin last human’s label. 選択された300,000データはModel-Aに合わないため、ラベルの「最悪」の結果は最後の人間のラベルの起源です。 0.76
英語(論文から抽出)日本語訳スコア
The step 5 in Fig 1 is the core contribution of our work. 図1のステップ5は、私たちの仕事の核となる貢献です。 0.75
In step 5, the predicted label of Model-A contains the before-human-correct ed information. ステップ5では、モデルAの予測ラベルは、前人間補正情報を含む。 0.65
The ground truth for Model-C contains the after-human-correcte d information. model-c の基底真理は、人間の修正後の情報を含んでいる。 0.47
So the model is learning the human correction. モデルは人間の修正を学習することです 0.75
We could use the before-corrected human label (i.e., the ground truth in step 1 of Fig 1) as the input for Model-C. 事前に修正された人間のラベル(すなわち、図1のステップ1の真理)をモデルCの入力として使用することができる。 0.76
But this way can not apply to real industry inference. しかし、この方法は実際の産業推論には適用できない。 0.69
Because we can not get the before-corrected human label as the input of Model-C in real industry application. 実業界のアプリケーションでModel-Cの入力として、事前修正されたヒューマンラベルを得ることができないためです。 0.55
In real industry application, we use the Model-A to predict one-hot label as input for Model-C. 実業界アプリケーションでは、Model-Aを用いてModel-Cの入力として1ホットラベルを予測します。 0.55
Human evaluation accuracy is higher than the test dataset accuracy, because we randomly sampled 5000 data from the 500 million data. 5億データから5000データをランダムにサンプリングしたので、人間の評価精度はテストデータセットの精度よりも高い。 0.75
The sampled 5000 data represents the great majority of the 500 million data. 5000件のデータは5億データの大半を占めている。 0.70
7 Conclusion Human interact with environment and learn from the feedback from environment to correct human’s own error. 7 結論 人間は環境と対話し、環境からのフィードバックから学習し、人間自身のエラーを修正します。 0.73
Base on the human’s correction idea, we design a learning framework to inject the information of human’s correction into the deep model. 人間の修正のアイデアに基づいて、人間の修正に関する情報を深層モデルに注入する学習フレームワークを設計します。 0.70
The experiment result shows our idea works. 実験結果は私たちのアイデアがうまくいくことを示している。 0.50
Our idea can apply to a broad set of deep learning industry applications. 私たちのアイデアは、ディープラーニング産業の幅広いアプリケーションに適用できます。 0.71
References 1. Devlin J, Chang M W, Lee K, et al. 参考文献 1. devlin j, chang m w, lee k, et al。 0.72
Bert: Pre-training of deep bidirectional trans- Bert: 深部双方向トランスの事前学習- 0.75
formers for language understanding[J]. 言語理解のための前者[J]。 0.81
arXiv preprint arXiv:1810.04805, 2018. arXiv preprint arXiv:1810.04805, 2018 0.79
2. Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convolutional neural networks[J]. 2. Krizhevsky A, Sutskever I, Hinton G E. 深い畳み込みニューラルネットワークを用いたイメージネット分類[J] 0.86
Advances in neural information processing systems, 2012, 25: 1097-1105. 神経情報処理システムの進歩、2012年25:1097-1105。 0.75
3. Wang A, Singh A, Michael J, et al. 3. Wang A, Singh A, Michael J, et al。 0.84
GLUE: A multi-task benchmark and analysis platform for natural language understanding[J]. GLUE: 自然言語理解のためのマルチタスクベンチマークと分析プラットフォーム[J]。 0.73
arXiv preprint arXiv:1804.07461, 2018. arXiv preprint arXiv:1804.07461, 2018 0.80
4. Kingma D P, Ba J. Adam: A method for stochastic optimization[J]. 4. Kingma D P, Ba J. Adam: 確率最適化の方法[J]。 0.78
arXiv preprint arXiv プレプリント 0.83
arXiv:1412.6980, 2014. arXiv:1412.6980, 2014 0.70
5. Srivastava N, Hinton G, Krizhevsky A, et al. 5. Srivastava N, Hinton G, Krizhevsky A, et al。 0.83
Dropout: a simple way to prevent neural networks from overfitting[J]. ドロップアウト: ニューラルネットワークがオーバーフィットしないようにするための簡単な方法[J]。 0.71
The journal of machine learning research, 2014, 15(1): 1929-1958. journal of machine learning research, 2014年15(1): 1929-1958年。 0.83
6. Xie Q, Dai Z, Hovy E, et al. 6. Xie Q, Dai Z, Hovy E, et al。 0.83
Unsupervised data augmentation for consistency train- 一貫性トレインに対する教師なしデータ拡張- 0.49
ing[J]. ing[j] です。 0.66
arXiv preprint arXiv:1904.12848, 2019. arXiv preprint arXiv:1904.12848, 2019 0.81
7. Berthelot D, Carlini N, Goodfellow I, et al. 7. 原題はBerthelot D, Carlini N, Goodfellow I, et al。 0.84
Mixmatch: A holistic approach to semi- mixmatch: semiに対する総合的なアプローチ 0.85
supervised learning[J]. 教師付き学習[J]。 0.56
arXiv preprint arXiv:1905.02249, 2019. arXiv preprint arXiv:1905.02249, 2019 0.81
8. Sohn K, Berthelot D, Li C L, et al. 8. sohn k, berthelot d, li c l, et al。 0.76
Fixmatch: Simplifying semi-supervised learning Fixmatch: 半教師付き学習の簡略化 0.62
with consistency and confidence[J]. 一貫性と信頼[J]で。 0.75
arXiv preprint arXiv:2001.07685, 2020. arXiv preprint arXiv:2001.07685, 2020 0.81
9. Berthelot D, Carlini N, Cubuk E D, et al. 9. Berthelot D, Carlini N, Cubuk E D, et al。 0.84
Remixmatch: Semi-supervised learning with distribution alignment and augmentation anchoring[J]. Remixmatch: 分布アライメントと拡張アンカーを備えた半教師付き学習[J]。 0.80
arXiv preprint arXiv:1911.09785, 2019. arXiv preprint arXiv:1911.09785, 2019 0.81
10. Vaswani A, Shazeer N, Parmar N, et al. 10. Vaswani A, Shazeer N, Parmar N, et al。 0.82
Attention is all you need[C]//Advances in 注意はあなたが必要とするすべてです[C]//利点。 0.73
neural information processing systems. 神経情報処理システム。 0.73
2017: 5998-6008. 2017: 5998-6008. 0.84
           ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。