論文の概要、ライセンス

# (参考訳) AppTekのIWSLT 2022への提出 [全文訳有]

AppTek's Submission to the IWSLT 2022 Isometric Spoken Language Translation Task ( http://arxiv.org/abs/2205.05807v1 )

ライセンス: CC BY-SA 4.0
Patrick Wilken, Evgeny Matusov(参考訳) IWSLT 2022の評価において、Isometric Spoken Language Translation Taskに参加するために、AppTekは、ソース側とターゲット側擬似トークンから、位置符号化を置き換える文字の残りの長さの符号化まで、様々な長さ制御機構を備えた英語からドイツ語へのニューラルトランスフォーマーベースのシステムを開発した。 さらに、異なるシステム変種からの長さ対応仮説を文レベルで選択し、N-best候補を単一システムから再構成することで、翻訳長のコンプライアンスを向上する。 また,MST-Cトレーニングコーパスから派生した他の並列データ変種も良好な品質/所望長トレードオフのために重要であった。 実験結果から,BERTおよびBLEUスコアで測定したMT品質の損失を最小限に抑えつつ,90%以上の長さコンプライアンスレベルに達することが示唆された。

To participate in the Isometric Spoken Language Translation Task of the IWSLT 2022 evaluation, constrained condition, AppTek developed neural Transformer-based systems for English-to-German with various mechanisms of length control, ranging from source-side and target-side pseudo-tokens to encoding of remaining length in characters that replaces positional encoding. We further increased translation length compliance by sentence-level selection of length-compliant hypotheses from different system variants, as well as rescoring of N-best candidates from a single system. Length-compliant back-translated and forward-translated synthetic data, as well as other parallel data variants derived from the original MuST-C training corpus were important for a good quality/desired length trade-off. Our experimental results show that length compliance levels above 90% can be reached while minimizing losses in MT quality as measured in BERT and BLEU scores.
公開日: Thu, 12 May 2022 00:02:24 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
AppTek’s Submission to the IWSLT 2022 AppTekのIWSLT 2022への提出 0.69
Isometric Spoken Language Translation Task 等尺性音声言語翻訳タスク 0.70
Patrick Wilken パトリック・ウィルケン 0.44
AppTek Aachen, Germany AppTek Aachen (複数形 Aachens) 0.33
Evgeny Matusov エヴゲニー・マトゥソフ 0.43
AppTek Aachen, Germany AppTek Aachen (複数形 Aachens) 0.33
2 2 0 2 y a M 2 1 2 2 0 2 y a m 2 1 である。 0.52
] L C . s c [ 1 v 7 0 8 5 0 ]LC。 sc [ 1 v 7 0 8 5 0 0.30
. 5 0 2 2 : v i X r a . 5 0 2 2 : v i X r a 0.42
pwilken@apptek.com pwilken@apptek.com 0.39
ematusov@apptek.com ematusov@apptek.com 0.39
Abstract To participate in the Isometric Spoken Language Translation Task of the IWSLT 2022 evaluation, constrained condition, AppTek developed neural Transformer-based systems for English-to-German with various mechanisms of length control, ranging from source-side and target-side pseudo-tokens to encoding of remaining length in characters that replaces positional encoding. 概要 IWSLT 2022の評価において、Isometric Spoken Language Translation Taskに参加するために、AppTekは、ソース側とターゲット側擬似トークンから、位置符号化を置き換える文字の残りの長さの符号化まで、様々な長さ制御機構を備えた英語からドイツ語へのニューラルトランスフォーマーベースのシステムを開発した。
訳抜け防止モード: 概要 IWSLT 2022評価における等尺音声言語翻訳課題への参加 AppTekは英語をベースとしたニューラルトランスフォーマーを開発した。 ソース - サイドとターゲット - サイドの擬似 - トークンから、位置エンコーディングを置き換える文字の残りの長さのエンコーディングまで。
0.59
We further increased translation length compliance by sentence-level selection of length-compliant hypotheses from different system variants, as well as rescoring of N-best candidates from a single system. さらに、異なるシステム変種からの長さ対応仮説を文レベルで選択し、N-best候補を単一システムから再構成することで、翻訳長のコンプライアンスを向上する。 0.66
Length-compliant back-translated and forward-translated synthetic data, as well as other parallel data variants derived from the original MuST-C training corpus were important for a good quality/desired length trade-off. また,MST-Cトレーニングコーパスから派生した他の並列データ変種も良好な品質/所望長トレードオフのために重要であった。 0.60
Our experimental results show that length compliance levels above 90% can be reached while minimizing losses in MT quality as measured in BERT and BLEU scores. 実験結果から,BERTおよびBLEUスコアで測定したMT品質の損失を最小限に抑えつつ,90%以上の長さコンプライアンスレベルに達することが示唆された。 0.70
Introduction 1 In this paper, we describe AppTek’s submission to the IWSLT 2022 Isometric Spoken Language Translation evaluation (Anastasopoulos et al , 2022). はじめに 本稿では,AppTek による IWSLT 2022 Isometric Spoken Language Translation Evaluation (Anastasopoulos et al , 2022) への提出について述べる。 0.66
Our goal was to create a system that produces translations which are within 10% of the source sentence length, but have similar levels of quality as a baseline system translations without length control. 本研究の目的は, 文長の10%以内の翻訳を生成できるシステムを構築することであり, 文長制御を伴わないベースラインシステム翻訳と同様の品質を持つシステムの構築である。 0.76
AppTek participated in the constrained condition with an English-to-German neural machine translation (NMT) system that we describe in Section AppTekは英国-ドイツ間ニューラルマシン翻訳(NMT)システムで制約条件に参加した。 0.62
2. The system was extended with 5 different length control methods, which we explain in detail in Section 2) 本システムは5つの異なる長さ制御法で拡張され, 詳細はセクションで説明する。 0.78
3. We also created synthetic data with back-translation, forwardtranslation, as well as a novel data augmentation method of synonym replacement. また, 後方翻訳, 前方翻訳, および同義語置換の新たなデータ拡張手法を用いた合成データも作成した。 0.76
All three methods are described in Section 3つの方法はすべてセクションで説明されます 0.67
4. Our experimental results on the MuST-C tst-COMMON test set and 4) MuST-C tst-COMMON 試験セットと実験結果 0.82
the official evaluation test set are presented in Section 5, including ablation studies that prove the effectiveness of synthetic data and noisy length encoding for a better trade-off between length compliance and MT quality. 公式評価試験セットは第5節で示され、合成データの有効性を証明するアブレーション研究と、長さコンプライアンスとMT品質のトレードオフを改善するノイズ長符号化を含む。 0.78
We summarize our findings in Section 6. 調査結果は第6節でまとめる。 0.61
2 Baseline system 2.1 Data We follow the constrained condition of the IWSLT Isometric SLT task and use only English-toGerman TED-talk data from the MuST-C corpus (Di Gangi et al , 2019). 2.2 ベースラインシステム 2.1 データ iwslt 等尺性 slt タスクの制約条件に従い、 must-c コーパスからの英語-ドイツ語 ted-talk データのみを使用する(di gangi et al , 2019)。
訳抜け防止モード: 2 ベースラインシステム 2.1 データ IWSLT 等尺 SLT タスクの制約条件に従う。 英語のみを使います -ドイツTED MuST - C corpus (Di Gangi et al, 2019)からのデータについて話す。
0.73
The corpus contains 251K sentence pairs with 4.7M and 4.3M English and German words, respectively. コーパスには、それぞれ4.7Mと4.3Mの英語とドイツ語の221Kの文対が含まれている。 0.51
We apply minimal text pre-processing, mainly consisting of normalization of quotes and dashes. 引用とダッシュの正規化を中心に,テキストの前処理を最小化する。 0.57
2K sentences that have mismatching digits or parentheses in source and target were filtered out. ソースとターゲットの数字や括弧を間違えた2K文をフィルタリングした。 0.69
We use a joint English and German SentencePiece model (Kudo and Richardson, 2018), trained on the whole corpus using a vocabulary size of 20K, to split the data into subwords. 我々は英語とドイツ語のSentencePieceモデル(Kudo and Richardson, 2018)を用いて、語彙サイズ20Kでコーパス全体をトレーニングし、データをサブワードに分割する。 0.76
2.2 Neural NMT model In preliminary experiments we tried several Transformer model configurations, including base and big from the original paper (Vaswani et al , 2017), a 12 encoder and decoder layer variant of base, and a "deep" 20 encoder layer version with halved feed-forward layer dimension in the encoder and only 4 attention heads. 2.2 ニューラルNMTモデル 予備実験では、原論文(Vaswani et al , 2017)、12エンコーダ層とデコーダ層(base)、およびエンコーダ内の半分のフィードフォワード層次元とわずか4つのアテンションヘッドを持つ"ディープ"20エンコーダ層(deep" 20 encoder layer version)など、いくつかのトランスフォーマーモデル構成を試した。 0.80
These attempts to optimize the model architecture for the given, rather low resource task did not yield a better architecture than Transformer big, which we end up using in all our experiments. 与えられたリソースの少ないタスクのためにモデルアーキテクチャを最適化しようとするこれらの試みは、transformer bigよりも優れたアーキテクチャを生み出しませんでした。 0.74
We however find an increased dropout rate of 0.3 and an increased label smoothing of 0.2 to be crucial. しかし, 0.3の低下率, 0.2のラベル平滑化が重要であった。 0.73
We further optimize the model by sharing the parameters of the source and target embeddings as well as the softmax projection matrix. さらに,softmax投影行列と同様に,ソースおよびターゲット埋め込みのパラメータを共有することで,モデルを最適化する。 0.82
英語(論文から抽出)日本語訳スコア
In all experiments we use two translation factors (García-Martínez et al , 2016) on both the source and target side to represent the casing of the subwords and the binary decision whether a subword is attached to the previous subword (Wilken and Matusov, 2019). すべての実験では、ソースとターゲットの両方で2つの翻訳因子(García-Martínez et al , 2016)を使用して、サブワードのケーシングを表現し、サブワードが以前のサブワードにアタッチされているかどうかを二項決定する(Wilken and Matusov, 2019)。 0.71
This allows for explicit sharing of information between closely related variants of a subword and reduces the model vocabulary size. これにより、サブワードの近縁な変種間で情報の明示的な共有が可能になり、モデル語彙のサイズを削減できる。
訳抜け防止モード: これにより、サブワードの近縁な変種間で情報の明示的な共有が可能になる モデルの語彙サイズを減らします
0.76
All models are trained on a single GPU for 162 to 198 epochs of 100K sentence pairs each in less than two days. すべてのモデルは、1つのGPUで2日以内で100K文ペアの162から198のエポックでトレーニングされる。 0.70
We use batches of 1700 subwords and accumulate gradients over 8 subsequent batches. 1700のサブワードのバッチを使用し、続く8つのバッチに勾配を蓄積します。 0.50
The global learning rate of the Adam optimizer is increased linearly from 3 × 10−5 to 3 × 10−4 in the first 10 epochs and then decreased dynamically by factor 0.9 each time perplexity on the MuST-C dev set increases during 4 epochs. アダム最適化器のグローバル学習速度は,最初の10エポックでは 3 × 10−5 から 3 × 10−4 に線形に増加し,その後4エポックでは MuST-C 開発セット上でのパープレキシティの毎回 0.9 で動的に減少する。 0.75
For decoding we use beam search with a beam size of 12. 復号にはビームサイズ12のビームサーチを用いる。 0.62
We train the Transformer models using RETURNN (Doetsch et al , 2017; Zeyer et al , 2018), which is a flexible neural network toolkit based on Tensorflow (Abadi et al , 2015). tensorflow(abadi et al , 2015)をベースとした柔軟なニューラルネットワークツールキットであるreturnn(doetsch et al , 2017; zeyer et al , 2018)を使用して、トランスフォーマーモデルをトレーニングします。 0.70
Automation of the data processing, training and evaluation pipelines is implemented with Sisyphus (Peter et al , 2018). データ処理、トレーニング、評価パイプラインの自動化は、Sisyphus(Peter et al , 2018)で実施されている。 0.75
3 Length control methods In this work we perform an extensive evaluation of different ways to control the length of the translations generated by the NMT model, all applied to the same baseline Transformer big model. 3 長さ制御法 本研究では,NMTモデルが生成する翻訳長を,それぞれ同じベースラインのTransformer Bigモデルに適用する様々な方法について,広範囲に評価する。 0.85
3.1 N-best rescoring A simple method to achieve length compliant translation is to generate N-best lists and select translation hypotheses from the lists that adhere to the desired length constraints. 3.1 N-best Rescoring 長さ準拠の翻訳を実現する単純な方法は、N-bestリストを生成し、所望の長さ制約に従うリストから翻訳仮説を選択することである。 0.68
Saboo and Baumann (2019) and Lakew et al (2021) compute a linear combination of the original MT model score and a length-related score to reorder the N-best list. Saboo and Baumann (2019) と Lakew et al (2021) は元のMTモデルスコアと長さ関連スコアを線形に組み合わせて計算し、N-bestリストを並べ替えた。 0.79
In this work, we simply extract the translation from the N-best list with the best MT score that has a character count within a 10% margin of the source character count and fall back to the first best hypothesis if there is no such translation. 本研究は,N-bestリストからの翻訳を,入力文字数の10%以内の文字数を持つ最適なMTスコアで抽出し,そのような翻訳が存在しない場合,第1のベスト仮説にフォールバックする。 0.81
This approach is tailored towards the evaluation condition of the IWSLT Isometric SLT task where length compliance within a 10% margin is a binary decision and the absolute length difference is not considered. このアプローチは、10%マージン内の長さコンプライアンスが二分決定であり、絶対長さ差が考慮されないiwslt等尺sltタスクの評価条件に合わせたものである。 0.76
While N-best rescoring has the advantage of being applicable to any NMT model that uses beam N-best Rescoringはビームを用いたNMTモデルに適用できる利点がある 0.80
search, it is outperformed by learned length control methods because in many cases there is no length compliant translation in the N-best list, and also because learned methods are able to shorten the translation in a more semantically meaningful way. 検索は,N-bestリストに長対応翻訳が存在しない場合が多いこと,学習方法が意味論的に意味のある方法で翻訳を短縮できるため,学習長制御法よりも優れている。 0.76
However, we use N-best rescoring on top of other methods to further improve length compliance, as done by Lakew et al (2021). しかし,レイクウら (2021) が行ったように,n-best rescoring を他の手法に加えて長さコンプライアンスをさらに改善するために使用する。 0.68
3.2 Length class token Lakew et al (2019) introduce a special token at the start of the source sentence to control translation length. 3.2 long class token lakew et al (2019) 翻訳長を制御するために、ソース文の先頭に特別なトークンを導入する。 0.77
For this, the training data is classified into difference length classes based on the target-tosource ratio measured in number of characters. このため、トレーニングデータは、文字数で測定された目標ソース比に基づいて、差分長クラスに分類される。 0.67
In this work we use two variants of length classes: この作業では、長さクラスの2つの変種を使用します。 0.57
1. 3 length bins representing "too short", "length compliant" and "too long". 1. "too short" と "long compliant" と "too long" の3つの長さのビン。 0.90
Length compliant here means the number of characters in source and target differs by less than 10%; ここでの長さ準拠とは、ソースおよびターゲットの文字数が10%未満異なることを意味する。 0.69
2. 7 length bins from "extra short" to "extra long", such that an approximately equal number of training sentence pairs falls into each bin. 2.7 長文が "extra short" から "extra long" に短縮され、トレーニング文ペアのほぼ同じ数が各ビンに収まる。
訳抜け防止モード: 2 . 7 の長さの bin を " extra short" から " extra long" に置き換える。 ほぼ同じ数の訓練文ペアが各ビンに収まるように。
0.82
The first option is focused on isometric MT, i.e. equal source and target length, while the second option offers a more fine-grained length control. 第1のオプションは等距離mt、すなわち等しいソースとターゲット長に焦点を当て、第2のオプションはより細かな長さ制御を提供する。 0.74
In addition, we analyze the difference of adding the token to the source versus the target side. さらに,ソースへのトークンの追加とターゲット側との差異を分析する。 0.65
Adding the token on the target side has the advantage of offering the option to not enforce a length class at inference time and instead let the model perform an unbiased translation. ターゲット側にトークンを追加することは、推論時に長さクラスを強制しないオプションを提供し、代わりにモデルに偏りのない翻訳をさせるという利点がある。 0.69
This is especially important in a commercial setting where costs can be saved by deploying a single model for general and isometric MT. 3.2.1 Length ROVER A system that takes a length class as input can produce multiple different translations of a given source sentence. これは、一般的なMT.3.2.1長さのROVERを1つのモデルにデプロイすることでコストを節約できる商業的な環境で特に重要である。
訳抜け防止モード: これは、一般的な等尺MTのための単一のモデルを展開することでコストを節約できる商用環境では特に重要である。 3.2.1 長さ ROVER 入力として長さクラスを取るシステムは、与えられたソース文の複数の異なる翻訳を生成することができる。
0.68
To maximize the chance for length compliant translations, we produce translations of the whole test set for each of the length bins and then, for each sentence, select the hypothesis which adheres to the length constraint. 長さ対応翻訳の確率を最大化するために,各長さビンに対するテストセット全体の翻訳を生成し,各文に対して,長さ制約に固執する仮説を選択する。 0.82
We refer to this as length ROVER, in analogy to the automatic speech recognition system combination technique called ROVER (Fiscus, 1997). これを長さローバーと呼び、ローバーと呼ばれる自動音声認識システムの組み合わせ技術と類似している(fiscus, 1997)。 0.62
If multiple length bins produce a length compliant translation, precedence is determined by the corpus-level translation quality 複数の長さのビンが長さに準拠した翻訳を生成する場合、先行はコーパスレベルの翻訳品質によって決定される 0.59
英語(論文から抽出)日本語訳スコア
scores for the different length bins. 異なる長さのビンのスコア。 0.67
If no bin produces a length compliant translation the bin with the best corpus-level translation quality is used as fallback. ビンが長さに適合した翻訳をしない場合、最高のコーパスレベルの翻訳品質のビンがフォールバックとして使用される。 0.58
As we use a target-side length token, we can let the model predict the length token instead of forcing one. ターゲット側の長さトークンを使用すると、モデルを強制するのではなく、長さトークンを予測することができます。 0.61
This usually leads to the best corpuslevel translation quality. これは通常、最高のコーパスレベルの翻訳品質につながる。 0.70
We include this freely decoded translation in the length ROVER. この自由復号化翻訳をROVERの長さに含めます。 0.64
When applying the length ROVER to the 7-bin model, we exclude the bins corresponding to the longest and shortest translations as those rarely lead to length compliant translations but generally to degraded translation quality. 長さROVERを7-binモデルに適用する際には、長翻訳と短翻訳に対応するビンを除外する。
訳抜け防止モード: 長さローバーを7-binモデルに適用する場合、最も長く短い翻訳に対応するビンを除外する。 これらは長文の翻訳につながることは滅多にないが、一般的には翻訳品質が低下する。
0.62
The same is true for the "too short" and "too long" bins in the 3bin model, which is why we do not use the length ROVER for this model. 同じことが、3bin モデルの "too short" と "too long" のビンにも当てはまります。
訳抜け防止モード: 3binモデルの"短すぎる"と"長すぎる"についても同じことが言えます。 だから私たちはこのモデルに ROVER の長さを使用しないのです
0.88
3.3 Length encoding 3.3 長さエンコーディング 0.59
We adopt length-difference positional encoding (LDPE) from Takase and Okazaki (2019). 高瀬と岡崎(2019)の長差位置符号化(LDPE)を採用した。 0.63
It replaces the positional encoding in the transformer decoder, which usually encodes the absolute target position, with a version that "counts down" from a desired output length Lforced to zero. 通常絶対目標位置を符号化する変換器デコーダにおける位置符号化を、所望の出力長Lforcedから0に"カウントダウン"するバージョンに置き換える。 0.73
At each decoding step the available remaining length is an input to the decoder and thus the model learns to stop at the right position. 各復号ステップにおいて、利用可能な残りの長さはデコーダへの入力であり、モデルが正しい位置に停止することを学習する。 0.75
In training, Lforced is usually set to the reference target length Ltarget, while at inference time it can be set as desired. 訓練では、lforcedは通常基準目標長ltargetに設定されるが、推論時には所望の値に設定できる。 0.68
For isometric MT, setting it to the source length Lforced = Lsource is the natural choice. 等尺MT の場合、ソース長 Lforced = Lsource に設定することが自然な選択である。 0.82
The original work of Takase and Okazaki (2019) uses a character-level decoder, which means that the number of decoding steps equals the translation length, assuming the latter is measured in number of characters. 高瀬と岡崎のオリジナルの作品(2019年)は文字レベルデコーダを用いており、後者が文字数で測定されていると仮定すると、復号段数が翻訳長に等しいことを意味する。 0.68
Using subwords (Sennrich et al , 2016) as the output unit of the decoder is more common in state-of-the-art systems (Akhbardeh et al , 2021). サブワード(sennrich et al , 2016)をデコーダの出力単位として使うことは、最先端システム(akhbardeh et al , 2021)でより一般的である。 0.75
In this case, one can either encode the target length in terms of number of subword tokens (Liu et al , 2020; Niehues, 2020; Buet and Yvon, 2021), or keep the character-level encoding which however requires subtracting the number of characters in the predicted subword token in each decoding step (Lakew et al , 2019). この場合、ターゲット長をサブワードトークンの数(Liu et al , 2020; Niehues, 2020; Buet and Yvon, 2021)でエンコードするか、あるいは各デコードステップ(Lakew et al , 2019)で予測されたサブワードトークンの文字数を減算する必要がある文字レベルのエンコーディングを保持することができる。 0.83
The former has the disadvantage that the number of subword tokens is a less direct measure of translation length, especially for the case of the IWSLT Isometric SLT task where length compliance is measured in terms of number of characters. 前者は、サブワードトークンの数は、特に文字数で長さコンプライアンスが測定されるIWSLT等尺SLTタスクの場合において、翻訳長の直接測度が低いという欠点がある。 0.74
The second option is more exact but arguably a bit more complex to implement. 第二の選択肢 より正確だが、実装がより複雑であることは間違いない。 0.67
In this work we compare results for both methods. 本研究では,両手法を比較した。 0.72
In contrast to (Lakew et al , 2019) we do not combine standard token-level positional encoding and character-level length encoding, instead we only use the latter. 対照的に(lakew et al , 2019)、標準トークンレベルの位置エンコーディングと文字レベルの長さエンコーディングを組み合わせるのではなく、後者のみを使用する。 0.76
3.3.1 Length perturbation For both the token-level and character-level version we add random noise to the encoded translation length Lforced during training (Oka et al , 2020). 3.3.1 長長摂動 トークンレベルと文字レベルの両方のバージョンでは、トレーニング中に符号化された翻訳長Lforcedにランダムノイズを加える(Oka et al , 2020)。 0.64
We find that this is necessary to make the model robust to the mismatch between training, where the target length is taken from a natural translation, and inference, where the enforced target length is a free parameter. 対象長が自然翻訳から取られたトレーニングと,強制対象長が自由パラメータである推論とのミスマッチに対して,モデルが堅牢になる必要がある。
訳抜け防止モード: トレーニング間のミスマッチに対して、モデルを堅牢化するためには、この方法が必要です。 目標の長さは自然の翻訳から取られます そして推論では、強制対象長が自由パラメータである。
0.72
Especially in the case of character-length encoding one cannot expect that a high-quality translation with a given exact character count exists. 特に文字長符号化の場合、与えられた正確な文字数を持つ高品質な翻訳が存在するとは期待できない。 0.75
As opposed to Oka et al (2020), who add a random integer to the token-level target length sampled from a fixed interval, e g [−4, 4], we chose a relative +/-10% interval: Lforced ∼ U ((cid:98)0.9 · Ltarget(cid:101),(ci d:98)1.1 · Ltarget(cid:101)) (1) 固定区間 eg [−4, 4] からサンプリングされたトークンレベルの目標長にランダム整数を追加するokaら (2020) とは対照的に、相対的な +/-10% 間隔を選んだ: lforced u ((cid:98)0.9 · ltarget(cid:101),(ci d:98)1.1 · ltarget(cid:101)) (1) 0.81
Here, U (n, m) denotes the discrete uniform distribution in the interval [n, m], and (cid:98)·(cid:101) denotes rounding to the nearest integer. ここで、U(n, m) は区間 [n, m] における離散均一分布を表し、(cid:98)·(cid:101) は最も近い整数への丸みを表す。 0.79
This is in line with the +/-10% length compliance condition used in the evaluation. これは、評価に使用される+/-10%の長さコンプライアンス条件と一致する。 0.75
The length difference subtracted in each decoder step is left unaltered, which means counting down will stop at a value that in general is different from zero. 各デコーダステップで減算された長さ差は変更されずに残され、カウントダウンは一般に0とは異なる値で停止する。 0.79
3.3.2 Second-pass length correction Length encoding as described above does not result in a length compliant translation in all cases. 3.3.2 上記のように符号化された第二パス長の補正長は、すべての場合において長さに準拠しない。 0.57
The reasons for this are: その理由は次のとおりである。 0.64
1. general model imperfections, intensified by the small size of the training data in the constrained track; 一 制約トラックにおける訓練データの小型化により強化された一般モデル不完全化 0.72
2. the noise added to the target length in training (although it is within the "allowed" 10% range); 2) 目標距離に付加される雑音(「許容」10%の範囲内ではあるが)
訳抜け防止モード: 2. 訓練中の目標長に付加された雑音(ただし) 許容 "10 % の範囲内です。
0.73
3. for the case of tokenlevel length encoding, an equal number of source and target tokens does not necessarily mean an equal number of characters. 3.トークンレベルの長さエンコーディングの場合、同じ数のソースとターゲットトークンは必ずしも同じ文字数を意味するとは限らない。 0.83
We therefore perform a second decoding pass for those sentences where the first pass does not generate a length compliant translation. したがって、第1のパスが長さに準拠しない文に対して第2の復号パスを行う。 0.72
In this second pass, instead of attempting to enforce Lforced = Lsource, we make a correction by multiplying by the source-to-target ratio observed in the first pass この第2のパスでは、Lforced = Lsourceを強制するのではなく、第1のパスで観測されたソースとターゲットの比率に乗じて補正する。
訳抜け防止モード: この2番目のパスでは、Lforced = Lsource を強制する代わりに。 最初のパスで観測されたソース-to-ターゲット比を乗算して補正する
0.67
英語(論文から抽出)日本語訳スコア
(measured in tokens or characters, depending on the unit used for length encoding): (長さ符号化の単位によって、トークンや文字で測定される) 0.75
(cid:36) (cid:39) (cid:36) (cid:39) 0.39
(2) L2-pass forced = (2) l2パス強制= 0.48
Lsource · Lsource L1-pass target lsource · lsource l1-pass ターゲット 0.70
target is the first pass translation length, (cid:98)·(cid:101) deL1-pass notes rounding. ターゲットは最初のパス翻訳長さ (cid:98)·(cid:101) del1-pass notes rounding である。 0.74
That way, an over-translation of factor r in the first pass will be counteracted by "aiming" at a translation length of 1/r of the source length in the second pass. これにより、第1パスにおける第r因子の過剰翻訳は、第2パスのソース長の1/rの翻訳長さで「エイミング」によって相殺される。 0.74
This procedure could be applied iteratively, one could even run a grid search of many different values for Lforced until a length compliant translation is generated. この手順は反復的に適用でき、長さに準拠した翻訳が生成されるまでlforcedの多くの異なる値のグリッド検索を実行することもできる。 0.79
We refrain from doing so as we find it to be impracticable in real-world applications. 現実のアプリケーションでは実行不可能であることに気付くため、私たちはそれを控えています。 0.56
4 Synthetic data We expand the original MuST-C data with synthetic data of different types, all derived from the given MuST-C corpus. 4 合成データ 得られた MuST-C コーパスから得られた異なる種類の合成データを用いて,元の MuST-C データを拡張する。
訳抜け防止モード: 4 合成データ 異なるタイプの合成データで、元の MuST - C データを拡張します。 All derived from the given MuST - C corpus .
0.78
First, we include a copy of the data1 in which two consecutive sentences from the same TED talk are concatenated into one. まず、同じTEDトークから連続した2つの文を1つにまとめるデータ1のコピーを含む。 0.71
Since many segments in the original data are short, this helps to learn more in-context translations. 元のデータの多くのセグメントは短いので、コンテキスト内翻訳をより学ぶのに役立ちます。 0.72
Then, we also include a copy of the data where the English side is preprocessed by lowercasing, removing punctuation marks and replacing digits, monetary amounts and other entities with their spoken forms. 次に、英語側がローカシングによって前処理されたデータのコピー、句読点の削除、数字、通貨、その他のエンティティをそれらの音声形式に置き換える。 0.63
This helps to adjust to the spoken style of TED talks and imperfections in the (manual) transcriptions of the training and evaluation data. これにより、TEDトークの発声スタイルや、トレーニングおよび評価データの(手動)転写の不完全性を調整することができる。 0.73
We also use 82K bilingual phrase pairs extracted from word-aligned MuST-C data, as described below, as training instances. また, 学習例として, 単語対応の must-c データから抽出した 82k のバイリンガル句対を用いた。 0.62
4.1 Word synonym replacement To enrich the training data with more examples of length-compliant translations, we experiment with a novel technique of replacing a few randomly selected source (English) words in a given sentence pair with their synonyms which are shorter/longer in the number of characters, so that the resulting modified synthetic sentence is closer to being length compliant. 4.1 単語の同義語置換 長さに順応する翻訳の例を多く含むために、与えられた文対にランダムに選択された数個の単語を文字数より短長の同義語に置き換える新しい手法を実験し、その結果、修正された合成文が長さに順応するに近いようにした。 0.80
Whereas in an unconstrained conditions the synonyms can come from WordNet or other sources, in the constrained track we rely on synonyms extracted from a bilingual lexicon. 制約のない条件では、同義語はWordNetや他のソースからもたらされるが、制約されたトラックでは、二言語レキシコンから抽出された同義語に依存している。 0.54
The 1Including, if applicable, the synthetic data described be- その... 1 該当する場合は、 be を記載した合成データを含む。 0.41
low. replacement of a source word with a synonym in a given sentence pair happens only if it is aligned to a target word, for which another word translation exists in the bilingual lexicon. 低い 与えられた文対において、ソース語を同義語に置き換えることは、対象語と一致している場合にのみ起こり、この二言語レキシコンには別の単語翻訳が存在する。 0.62
The word alignment and bilingual word lexicon extraction is performed on the lowercased MuST-C corpus itself using FastAlign (Dyer et al , 2013). 単語アライメントとバイリンガル単語レキシコン抽出は、FastAlign(Dyer et al , 2013)を用いて、小文字 MuST-C コーパス自身で行う。 0.72
The bilingual lexicon is filtered to contain entries with the costs (negative log of the word-level translation probability) of 50 or lower. 両言語語彙は、50以下のコスト(単語レベルの翻訳確率の負のログ)のエントリを含むようにフィルタリングされる。 0.78
We apply the synonym replacements only to sentence pairs for which the target sentence is not length-compliant with the source. 対象文の長さに適合しない文対に対してのみ同義語置換を適用する。 0.53
We first generate multiple versions of modified source sentences for these data, which all differ in the choice of randomly selected words that are to be replaced with synonyms and in the actual synonyms selected for replacement (also at random). まず、これらのデータに対する修正されたソース文の複数のバージョンを生成し、これらはすべて、同義語に置き換えられるランダムに選択された単語の選択と、置換のために選択される実際の同義語(ランダムでも)によって異なる。 0.68
Each word in a sentence has a 0.5 chance of being considered for replacement (regardless of whether it has synonyms as defined above or not), and the replacement is done with (at most) one of 3 synonym candidates with the highest lexicon probability which have fewer or more characters than the word being replaced, depending on whether the length of the original sentence was too long or too short. 文中の各単語は、置換について考慮される確率が0.5であり(上述の同義語の有無にかかわらず)、その置換は、元の文の長さが長すぎるか短すぎるかによって、置換される単語よりも文字数が少ない、最も高いレキシコン確率を持つ3つの同義語候補のうちの1つ(ほとんど)で行われる。 0.76
From the resulting data (ca. 1M sentences), we keep only those modified source sentences for which the BERT F1 score (Zhang et al , 2020) with respect to the original (unmodified) source sentence is 0.94 or higher. 得られたデータ(約100万文)から、原文(修正されていない)に対するBERT F1スコア(Zhang et al , 2020)が0.94以上の修正元文のみを保持する。 0.64
In this way we try to make sure that the meaning of the modified source sentence stays very close to the original meaning. このようにして、修正されたソース文の意味が元の意味に非常に近いままであることを確認する。 0.59
This way, only 192K sentences are kept, which are then paired with the original target (German) sentences to form a synthetic synonym replacement parallel corpus. このように、192K文のみが保存され、元のターゲット(ドイツ語)文と組み合わせて合成同義語代替パラレルコーパスを形成する。 0.67
4.2 Back-translated data 4.2 後方変換データ 0.57
We train the reverse, German-to-English system with 7 length bins and source length token as described in Section 3 using the same architecture and settings as for the English-to-German system. 第3節で記述した7つの長さのビンとソースの長さのトークンを、英語とドイツ語のシステムと同じアーキテクチャと設定で、逆のドイツ語と英語のシステムを訓練する。 0.61
We then use this system to translate the MuST-C corpus from German to English, generating 7 translations of each sentence for each of the 7 bins. 次に, このシステムを用いて, must-cコーパスをドイツ語から英語に翻訳し, 7つのビンごとに各文の7つの翻訳を生成する。 0.70
From these data, we keep all back-translations which make the corresponding German sentence length-compliant. これらのデータから、対応するドイツ語の文長に準拠するすべての逆翻訳を保持する。 0.59
This resulted in a back-translated corpus of 172K sentence pairs. その結果、172kの文ペアの逆変換コーパスが生まれた。 0.49
英語(論文から抽出)日本語訳スコア
# 0 1 2 3 4 # 0 1 2 3 4 0.43
baseline (no length control) source-side token, 3 bins ベースライン(長さ制御なし) ソースサイドトークン、3つのビン 0.67
+ N-best rescoring + N‐best rescoring 0.38
target-side token, 3 bins ターゲット側のトークン 3ビン 0.70
+ N-best rescoring + N‐best rescoring 0.38
target-side token, 7 bins predicted token (no length control) ターゲット側のトークン、予測トークン7ビン(長さ制御なし) 0.75
+ N-best rescoring + N‐best rescoring 0.38
+ N-best rescoring + N‐best rescoring 0.38
+ N-best rescoring + N‐best rescoring 0.38
S token 5 6 7 M token 8 9 10 11 XS token 12 13 14 15 16 17 18 19 20 21 22 23 24 Sトークン 5 6 7 M token 8 9 10 11 XS token 12 13 14 15 16 17 18 19 20 21 22 23 24 0.56
+ N-best rescoring + N‐best rescoring 0.38
ROVER over XS to XL XS から XL へのローバー 0.72
+ N-best rescoring ROVER over S to L + N-best rescoring S から L へのN-best Rescoring ROVER 0.63
length encoding (tokens) length (複数形 lengths) 0.59
+ 2-pass length correction + N-best rescoring +2パス長補正+nベストリコーリング 0.61
+ 2-pass length correction length encoding (characters) +2パス長補正長符号化(文字) 0.79
+ 2-pass length correction + N-best rescoring +2パス長補正+nベストリコーリング 0.61
+ 2-pass length correction tst-COMMON v2 +2パス長補正 tst-COMMON v2 0.48
BLEU BERT 84.00 32.0 83.94 31.3 83.60 30.5 83.88 31.4 30.7 83.58 BLEU BERT 84.00 32.0 83.94 31.3 83.60 30.5 83.88 31.4 30.7 83.58 0.23
LC 44.03 51.59 78.41 50.12 77.40 LC 44.03 51.59 78.41 50.12 77.40 0.24
blind test BLEU BERT 77.94 19.2 78.40 20.6 77.78 20.1 78.37 19.7 18.3 77.43 ブラインドテスト BLEU BERT 77.94 19.2 78.40 20.6 77.78 20.1 78.37 19.7 18.3 77.43 0.48
32.0 31.1 31.7 31.0 30.5 29.8 28.1 27.8 29.0 28.0 31.1 30.0 31.5 30.0 30.9 29.5 30.7 29.3 30.0 29.2 32.0 31.1 31.7 31.0 30.5 29.8 28.1 27.8 29.0 28.0 31.1 30.0 31.5 30.0 30.9 29.5 30.7 29.3 30.0 29.2 0.20
84.00 83.75 83.99 83.74 83.73 83.38 83.09 82.91 83.35 82.94 83.83 83.38 83.91 83.42 83.66 83.12 83.57 82.89 83.24 82.76 84.00 83.75 83.99 83.74 83.73 83.38 83.09 82.91 83.35 82.94 83.83 83.38 83.91 83.42 83.66 83.12 83.57 82.89 83.24 82.76 0.20
45.23 71.20 49.19 76.39 62.95 87.64 72.13 92.21 80.66 94.19 66.90 88.57 48.57 68.14 72.36 88.41 63.64 89.50 88.10 98.14 45.23 71.20 49.19 76.39 62.95 87.64 72.13 92.21 80.66 94.19 66.90 88.57 48.57 68.14 72.36 88.41 63.64 89.50 88.10 98.14 0.20
18.3 18.9 19.1 18.6 18.9 18.9 18.2 17.8 17.5 17.6 18.2 18.7 19.6 19.5 19.3 19.0 20.1 19.2 19.2 18.8 18.3 18.9 19.1 18.6 18.9 18.9 18.2 17.8 17.5 17.6 18.2 18.7 19.6 19.5 19.3 19.0 20.1 19.2 19.2 18.8 0.20
77.55 77.38 78.24 77.68 78.05 77.52 77.81 77.32 77.59 77.09 77.76 77.32 77.45 77.75 77.47 76.95 78.27 77.55 77.22 76.80 77.55 77.38 78.24 77.68 78.05 77.52 77.81 77.32 77.59 77.09 77.76 77.32 77.45 77.75 77.47 76.95 78.27 77.55 77.22 76.80 0.20
LC 45.50 62.50 81.50 53.50 82.50 LC 45.50 62.50 81.50 53.50 82.50 0.24
46.50 72.50 56.00 81.00 59.00 85.50 68.00 90.00 76.50 93.00 65.50 86.50 55.50 75.50 80.50 92.00 73.00 90.50 95.50 98.00 46.50 72.50 56.00 81.00 59.00 85.50 68.00 90.00 76.50 93.00 65.50 86.50 55.50 75.50 80.50 92.00 73.00 90.50 95.50 98.00 0.20
Table 1: English→German translation results for MuST-C tst-COMMON and the IWSLT 2022 Isomtetric SLT blind test. 表1: MuST-C tst-COMMON と IWSLT 2022 Isomtetric SLT blind test の英語→ドイツ語翻訳結果。 0.80
All values in %. すべての値は%である。 0.67
LC = length compliance within 10% in number of characters. lc = 文字数で10%以内の長さのコンプライアンス。 0.74
All systems are based on the same Transformer big model. すべてのシステムは、同じTransformerのビッグモデルに基づいている。 0.71
Length bins of the 7-bin system are referred to as XXS, XS, S, M, L, XL and XXL from short to long. 7-ビン系の長さのビンは、短くて長く、XXS、XS、S、M、L、XL、XXLと呼ばれる。 0.67
For explanation of N-best rescoring, ROVER, and 2-pass length correction refer to Section 3. N-best rescoring、ROVER、および2-pass長補正の説明は、セクション3を参照のこと。 0.68
4.3 Forward-translated data In addition to back-translated data, we also augmented our training corpus with forward-translated data. 4.3 前向き翻訳データ 後方転写データに加えて, 前方転写データによるトレーニングコーパスも強化した。 0.76
For this, we generated translations using our English-to-German system with 7 length bins and a source length token for each of the length classes. そこで我々は7つの長さビンと各長さクラスに対するソース長トークンを持つ英独システムを用いて翻訳を生成する。 0.81
Then, we kept only those translations which turned out to be length-compliant with the corresponding source sentence. そして、対応する原文に長文準拠であることが判明した翻訳のみを保持した。 0.64
The resulting synthetic corpus has 213K sentence pairs. 合成コーパスは213Kの文対を有する。 0.62
5 Experimental results Table 1 presents results for all length control methods explored in this work. 5 実験結果 表1は、本研究で検討した全ての長さ制御方法の結果を示す。 0.74
We evaluate on MuST-C tst-COMMON v22 and the blind test set provided by the shared task organizers using the official scoring script3. 公式スコアリングスクリプト3を用いて, MuST-C tst-COMMON v22と共有タスクオーガナイザが提供するブラインドテストセットを評価した。 0.62
As a measure of MT quality it computes BLEU (Papineni et al , 2002; Post, 2018) and BERT F1 score (Zhang et al , 2020). MT品質の指標としてBLEU(Papineni et al , 2002; Post, 2018)とBERT F1スコア(Zhang et al , 2020)を計算している。 0.78
Length 2The official evaluation uses tst-COMMON v1. 長さ 2 公式評価はtst-common v1を使用する。 0.59
Differ- ences in metric scores are minor though. Differ- しかし、メートル法スコアは小さい。 0.46
3Blind test set and scoring script are published unhttps://github.com /amazon-research/ 3Blindテストセットとスコアリングスクリプトが unhttps://github.com /amazon-research/ 0.61
der isometric-slt. der isometric-slt 0.41
compliance (LC) is calculated as the proportion of translations that have a character count which differs by 10% or less from the number of characters in the source sentence. コンプライアンス(LC)は、原文中の文字数と10%以下が異なる文字数を持つ翻訳の割合として算出される。 0.61
For this, spaces are not counted and sentences with less than 10 characters are ignored. このため、空間はカウントされず、10文字未満の文は無視される。 0.68
References for the blind test set were made available only after development of the systems. ブラインドテストセットの参照は、システムの開発後にのみ利用可能となった。 0.77
Line 0 in Table 1 corresponds to a system trained without any of the length control methods from Section 3. 表1の 0 行は、第3節のどの長さ制御方法も使わずに訓練されたシステムに対応する。 0.73
All systems use all synthetic data as described in Section 4 if not stated otherwise. すべてのシステムは、第4節で記載されたすべての合成データを使用する。 0.71
5.1 Length token systems Rows 1 to 4 of Table 1 show results for the 3-bin length token systems. 5.1 長長トークンシステム 表1の1から4は、3ビン長トークンシステムの結果を示す。 0.71
The "length compliant" bin is used for all translations. すべての翻訳に "long compliant" ビンが使用される。 0.75
(When used on the target side it is enforced as the first decoding step.) (対象側で使用する場合は、最初の復号ステップとして強制される。) 0.73
Overall, we observe no major differences between a source-side and target-side length token in both LC and MT quality scores. 総じて、LCとMTの品質スコアにおいて、ソース側とターゲット側の長さトークンの間に大きな違いはない。 0.57
Synthetic data and selection of the length bin alone leads to length compliant translations in about 50% of cases (rows 1 and 3). 合成データと長さビンの選択だけで約50%のケース(行1と3)で長さに準拠した翻訳に繋がる。 0.82
This shows that the model has to compromise between translation quality and length and これはモデルが翻訳品質と長さを妥協しなければならないことを示している。 0.64
英語(論文から抽出)日本語訳スコア
that a length token is not a strong enough signal to enforce the corresponding length class in all cases. 長さトークンは、全てのケースで対応する長さクラスを強制するのに十分な信号ではない。 0.75
N-best rescoring, i.e. selection of a length compliant translation from the beam search output of size 12, can improve LC to 78% on tst-COMMON but comes at the cost of a loss in translation quality by 0.8% BLEU and 0.3% BERTScore absolute. N-best Rescoring、すなわち、サイズ12のビームサーチ出力から長さ準拠の翻訳を選択することで、LCをtst-COMMONで78%向上させることができるが、変換品質の損失は0.8%BLEUと0.3%BERTScore絶対である。 0.74
The 7-bin system shown in rows 5 to 16 offers a greater variety of trade-off points. 列5から16までの7-binシステムは、より多様なトレードオフポイントを提供する。 0.76
We refer to the 7 length bins with size labels from "XXS" to "XXL". サイズラベルが「xxs」から「xxl」までの7つの長さのビンを参照。 0.68
The target-to-source ratio boundaries for equally sized bins in terms of training examples are computed to be 0.90, 0.98, 1.02, 1.06, 1.10, and 1.23. トレーニング例でいう等サイズのビンに対する目標対ソース比の境界は 0.90, 0.98, 1.02, 1.06, 1.10, 1.23 と計算される。 0.67
This means the desired 1.0 ratio for isometric MT falls into the "S" bin. これは、等尺MTの所望の1.0比が「S」ビンに該当することを意味する。 0.61
Row 5 shows the scores achieved when not forcing any length token. ロー5は、長さトークンを強制しない場合のスコアを示す。 0.66
This configuration leads to the same quality on tst-COMMON as the baseline system, namely 32.0% BLEU and 84.0% BERTScore. この構成はベースラインシステムと同じ品質(32.0% bleuと84.0% bertscore)となる。 0.67
This indicates that the model is able to predict the right length class corresponding to an unbiased translation. これは、モデルが偏りのない翻訳に対応する正しい長さクラスを予測できることを示している。 0.73
Setting the length token to either "M", "S" or "XS" offers different trade-offs between translation quality and length compliance. 長さトークンを"M"、"S"、"XS"のいずれかに設定すると、翻訳品質と長さコンプライアンスのトレードオフが異なる。 0.70
Interestingly, the "XS" class has a higher LC than the class "S" which should represent translations with a target-to-source ratio closer to 1. 興味深いことに、"xs" クラスはクラス "s" よりも高い lc を持ち、ターゲットとソースの比率が 1 に近い翻訳を表す必要がある。 0.68
Again, this shows that the effect of length tokens is in conflict with general translation quality, which is optimal when not skipping any information present in the source. またしても、長さトークンの効果は、ソースに存在する情報をスキップしない場合に最適である一般的な翻訳品質と相反することを示している。 0.68
A more extreme length class has to be chosen to achieve the desired amount of compression. より極端に長いクラスを選択して、所望の圧縮量を達成する必要がある。
訳抜け防止モード: より極端な長さのクラスは 所望の圧縮量を達成するために選ばれる。
0.86
In all cases N-best rescoring has the same effect as observed for the 3-bin systems, namely a higher LC at the cost of worse translation quality. いずれの場合においても、n-best rescoringは3-binシステムで観察されたのと同じ効果を持つ。 0.50
All length classes not shown in the table lead to either clearly worse LC or quality scores. 表に示されていない全ての長さクラスは、明らかにLCまたは品質スコアを低下させる。 0.69
The outputs for different length tokens, possibly after N-best rescoring, can be combined with the length ROVER. 異なる長さトークンの出力は、おそらくN-best再描画後に、長さROVERと組み合わせることができる。
訳抜け防止モード: 異なる長さトークンに対する出力 あるいは N の後に。 ROVERの長さと組み合わせることができる。
0.77
As mentioned in Section 3.2.1, we exclude the extreme length classes. 第3.2.1節で述べたように、極長クラスは除外する。 0.57
We consider two variants: excluding the bins with shortest and longest translations, or excluding the two shortest and longest. 最短かつ最長翻訳のビンを除外するか、最短と最長の2つを除外するかの2つの変種を考察する。
訳抜け防止モード: 我々は2つの変種を考える:最短翻訳と最長翻訳のビンを除く。 最短と最長の2つを除いて
0.70
As expected, both variants lead to more length compliant translations in the combined output. 予想通り、両方の変種は複合出力においてより長い翻訳をもたらす。 0.72
However, they provide different trade-offs: while the first variant (rows 13, 14) can achieve 94% length compliance on tst-COMMON, translation quality drops to similarly low values as observed for the "XS" length class. しかし、それらは異なるトレードオフを提供する: 最初の変種 (rows 13, 14) は tst-COMMON の 94% の長さ準拠を達成するが、翻訳品質は "XS" の長さクラスで見られるように、同様に低い値に低下する。 0.70
The second variant is more conservative and achieves only 89% 第2の変種はより保守的で 89%しか達成できません 0.65
length compliance, but preserves higher BLEU and BERT scores. しかし、BLEU と BERT のスコアは高い。 0.39
5.2 Length encoding systems Rows 17 to 24 of Table 1 show the results of systems trained with length encoding as described in Section 3.3. 5.2 表1の長エンコーディングシステム17〜24は、第3.3節に記載した長さエンコーディングで訓練されたシステムの結果を示す。 0.72
They are also trained using 3 length bins and a "length compliant" token is forced on the target side, we however observe no significant differences to not using the token. それらは3つの長さのビンを使って訓練され、ターゲット側では"長さ準拠"トークンが強制されるが、トークンを使用しない場合には大きな違いは見られない。 0.61
Using the source length as input to the decoder (Lforced = Lsource), the token-level length encoding model (row 17) does not achieve a higher LC value than the length token systems (49%), while the model with character-level length encoding (row 21) is able to produce compliant translations in 64% of the cases. デコーダ(Lforced = Lsource)への入力としてソース長を用いると、トークンレベル長符号化モデル(row 17)は長さトークンシステム(low 49%)よりも高いLC値を達成することができず、文字レベル長符号化モデル(row 21)は64%のケースで準拠翻訳を生成することができる。 0.87
Doing a length-corrected second decoding pass is very effective for both systems. 長さ補正された第2復号パスは両システムにとって非常に効果的である。 0.56
This shows that the decoder input Lforced has a strong impact on the model output, however has to be adjusted to get the desired output length. これはデコーダ入力lforcedがモデル出力に強い影響を与えることを示しているが、所望の出力長を得るために調整する必要がある。 0.83
In Section 3.3.1 we give explanations for such imperfections. 第3.3.1節では、このような不完全な説明をする。 0.44
In addition, similar to the case of length tokens, we attribute this to the fact that in training the desired length is always conform with the reference translation, while at inference time the model often has to compress its output to fulfill the length constraints, which might require a more extreme value for the targeted length Lforced. 加えて、長さトークンの場合と同様に、トレーニングにおいて所望の長さが常に参照変換に準拠しているのに対し、推論時にはモデルが出力を圧縮して長さ制約を満たす必要があるため、ターゲットとする長さlforcedに対してより極端な値を必要とする可能性があるという事実を特徴としている。 0.71
N-best rescoring can be applied on top to achieve a further large increase in length compliance4. n-best rescoringは、さらに長いコンプライアンス4を増加させるために適用できる。 0.69
This indicates that there is length variety in the N-best list that at least in part can be attributed to the noise added through length perturbation (Section 3.3.1). これは、n-bestリストには少なくとも一部に長さ摂動によって加えられたノイズに起因する長さ変動があることを示している(セクション 3.3.1)。 0.60
The resulting character-level length encoding system in row 24 achieves the overall best length compliance value of 98.14%. 結果、24行の文字レベル長符号化システムは、全体の最高長さコンプライアンス値98.14%を達成する。 0.65
5.3 System selection To select systems for our submission, in Figure 1 we visualize the inherent trade-off between length compliance and translation quality for the systems from Table 1. 5.3 提案するシステムを選択するためのシステム選択 図1では、システムの長さコンプライアンスと翻訳品質のトレードオフをテーブル1から可視化します。 0.89
We look at BERT scores as they were announced to be the main MT quality metric for the evaluation. bertスコアは、評価のための主要なmt品質指標であると発表されています。
訳抜け防止モード: BERTのスコアを見てみましょう 評価の指標としてMTの品質指標となることが発表された。
0.64
We chose system 16, the 7-bin length token system using the length ROVER, as our primary submission. 提案方式として,長さローバーを用いた7ビン長トークンシステム system 16 を選択した。 0.68
As contrastive submissions we include systems 2 (3 length bins using source-side token), 14 (ROVER variation of the 対照的な提案として、システム2(ソース側トークンを使用した長さビン)、14(ROVERのバリエーション)を含む。 0.54
4First-best translation length of first pass is used for length correction, N-best rescoring only applied in the second pass. 4)第1パスの翻訳長を長さ補正に用い,第2パスにのみ適用したNベストの復号を行う。 0.63
英語(論文から抽出)日本語訳スコア
100 24 14 C L 100 24 14 C L 0.43
90 80 70 60 90 80 70 60 0.42
50 40 12 22 50 40 12 22 0.43
20 23 13 11 20 23 13 11 0.53
16 10 18 4 16 10 18 4 0.43
2 19 21 8 6 2 19 21 8 6 0.42
9 15 82.8 83 9 15 82.8 83 0.39
83.2 83.4 83.6 83.8 83.2 83.4 83.6 83.8 0.23
84 3 1 17 7 5 84 3 1 17 7 5 0.43
BERT Figure 1: Visualization of length compliance (LC) vs. BERTScore trade-offs on MuST-C tst-COMMON for systems taken from Table 1. バート 図1: 表1から取得したシステムに対する MuST-C tst-COMMON 上の BERTScore のトレードオフの可視化。 0.59
Data point labels are the row numbers (#) from Table 1. データポイントラベルはテーブル1の行番号(#)です。 0.72
Submitted systems are labeled in bold blue. 送信されたシステムはbold blueでラベル付けされる。 0.55
primary submission) and 24 (character-level length encoding with second-pass length correction). 一次提出)と24(第2パス長補正付きキャラクタレベルエンコーディング)。 0.77
All submissions use N-best rescoring. すべての投稿はN-best rescoringを使用する。 0.51
As it can be seen, the different length control methods are all able to provide useful trade-off points. このように、異なる長さ制御方法は、すべて有用なトレードオフポイントを提供することができる。 0.73
While only length encoding can achieve a near perfect length compliance, length token-based methods can offer a good compromise that preserves more of the baseline MT performance. 長さ符号化は完全に近い長さのコンプライアンスを実現することができるが、長さトークンベースの手法はベースラインMT性能を向上する良い妥協を提供することができる。 0.66
5.4 Ablation study For a selected subset of the systems we show the contribution of the most important types of synthetic data used in our systems (Section 4), as well as the effect of length perturbation (Section 3.3.1). 5.4 アブレーション研究 システムの選択されたサブセットについて、我々のシステムで使用される最も重要な合成データの寄与(第4部)と長さ摂動の効果(第3部1部)を示す。 0.82
5.4.1 Effect of synthetic data Comparison of the first two rows of Table 2 shows that taking away synthetic data created using word synonym replacement (Section 4.1) from the 7-bin length token system causes a slight degradation of the BLEU score and no significant change of BERT and length compliance score on tst-COMMON. 5.4.1 表2の最初の2行の合成データの比較により、7ビン長トークンシステムから単語同義語置換(Section 4.1)を用いて生成された合成データを取り除いた場合、BLEUスコアはわずかに低下し、BERT の有意な変化やtst-COMMON における長さコンプライアンススコアは変化しない。
訳抜け防止モード: 5.4.1 表2の最初の2行の合成データ比較の効果 7-bin長トークンシステムから単語同義語置換を用いた合成データの削除(第4部1) tst - common における bleu スコアのわずかな低下とbert と long compliance score の有意な変化は起こらない。
0.80
We consistently observe the same tendencies when taking other configurations of the 7-bin system from Table 1 as baseline (not shown here). テーブル1から7ビンシステムの他の構成をベースラインとして(ここでは示さない)、同じ傾向を一貫して観察します。 0.75
This indicates that synonym replacement has some positive effect on MT quality as a data augmentation method, but fails to lead to the desired effect of improved length compliance. このことは、同義語置換がデータ拡張法としてMT品質に何らかの正の影響を及ぼすことを示しているが、長所コンプライアンスの改善の望ましい効果には至らなかった。
訳抜け防止モード: これはデータ拡張法としてMT品質に何らかの正の影響を及ぼすことを示す。 しかし 長さ順守の改善の 望ましい効果には至りません
0.69
This could also in part be explained by the fact that in our experiment setting, removing synonym data resulted in the increased relative proportion of length-compliant back- and forwardtranslated data. 実験では、同義語データを削除することで、長さに適合するバックライトとフォワードトランスレートデータの相対比率が増加することも説明できます。 0.64
Removing also the back- and forward-translated data from training leads to a consistent drop in all quality metrics on tst-COMMON. トレーニングからバックおよびフォワード変換されたデータを削除することで、tst-commonのすべての品質指標が一貫して低下する。 0.53
In particular, length compliance becomes worse, even in the considered case that uses the length ROVER and Nbest rescoring. 特に、ROVER と Nbest の再現を考慮に入れた場合であっても、長さコンプライアンスは悪化する。 0.65
When training the length-unbiased system of row 5, Table 1 without synthetic data LC even drops from 45.27 to 30.70 (not shown in Table 2). 合成データLCを含まない5列1の長さ不偏系のトレーニングでは、45.27から30.70に低下する(表2)。 0.78
This shows that length-compliant backand forward-translated data clearly has the desired effect of learning isometric translation and it is still noticeable when combined with other length control methods. これは、長さに準拠したバックアンドフォワード変換データは、等尺変換の学習の望ましい効果を明らかに有しており、他の長さ制御法と組み合わせると、依然として顕著であることを示している。
訳抜け防止モード: これが長さを示している -従順順順順 翻訳データには 学習等尺翻訳の 望ましい効果がある 他の長さ制御法と組み合わせると 目立ちます
0.78
Also for the length encoding model (row 8) we observe a similar positive effect of the synthetic data, despite the translation length being predominantly determined by the length value fed into the decoder. また、長符号化モデル(row 8)では、デコーダに入力される長値によって翻訳長が決定されるにもかかわらず、合成データの同様の正の効果を観測する。 0.78
On the blind test set we observe contradicting results. ブラインドテストセットでは、矛盾する結果を観察します。 0.57
For this we can provide no better explanation than referring to statistical randomness. このため、統計的ランダム性を参照するよりよい説明はできない。 0.81
In Table 1 one can see that ranking of independently trained neural models (e g rows 1, 3, 5, 17 and 21) disagrees on the two test sets, which we attribute to the small size of 200 lines of the blind test set. 表1では、独立に訓練された神経モデル(例えば、行1、3、5、17、21)のランキングが、2つのテストセットで一致しないことがわかります。
訳抜け防止モード: 表1では、独立に訓練された神経モデルのランキング(例えば、行1)が見られます。 3, 5, 17, 21) は2つのテストセットで不一致である。 ブラインドテストセットの200行の小さなサイズが特徴です。
0.77
In fact, according to paired bootstrap resampling computed with SacreBLEU (Post, 2018), the large difference of 1.3 BLEU between row 1 and 2 of Table 2 is not statistically significant with p < 0.05, and the 95% confidence interval of row 1 is 2.8 BLEU. 実際、sacrebleu で計算されたペアのブートストラップ再サンプリング (post, 2018) によれば、表 2 の 1 行と 2 行間の 1.3 bleu の差は p < 0.05 では統計的に有意ではなく、1 行の95%信頼区間は 2.8 bleu である。 0.64
5.4.2 Effect of length perturbation Without length perturbation the character-level length encoding model is able to produce length compliant translations in almost all cases, as can be seen in Row 7 of Table 2, without the need for subsequent steps like N-best rescoring or second-pass length correction. 5.4.2 長さの摂動を伴わない長さの摂動の効果 文字レベル長符号化モデルは、ほぼすべてのケースにおいて、N-bestの復調や第二パス長の補正のようなその後のステップを必要とせずに、長さに適合した翻訳を生成することができる。 0.64
This however comes at the cost of a severe drop in translation quality as measured in both BLEU and BERTScore. しかし、これはbleuとbertscoreで測定した翻訳品質が大幅に低下するコストが伴う。 0.54
When comparing to row 24 of Table 1 it is apparent that the system trained with length perturbation and using the above-mentioned methods can achieve a similar high level of length compliance while offering a better translation quality by 2.6% BLEU and 1.1% BERT F1 score absolute. 表1の24行と比較すると、このシステムは長さの摂動で訓練され、上記の手法を用いることで、より優れた翻訳品質を 2.6% BLEU と 1.1% BERT F1 の絶対値で提供しながら、同様の高い長さのコンプライアンスを達成できることが明らかである。 0.68
A similar drop in translation quality due to lack of length perturbation can be observed for the case of token-level length encoding comparing rows 4 and 5 of Table 2. 表2の行4,5を符号化するトークンレベル長の場合、長さ摂動の欠如による翻訳品質の類似の低下が観察できる。 0.77
The gain in LC from training without noise is outperformed by the combination of N-best rescoring and second-pass length correction N-best Rescoringと2次パス長補正の組み合わせにより、雑音のないトレーニングによるLCの利得が向上する 0.70
英語(論文から抽出)日本語訳スコア
tst-COMMON v2 tst-COMMON v2 0.29
BLEU BERT LC BLEU BERT LC 0.64
blind test BLEU BERT blind test BLEU BERT 0.85
# 1 2 3 4 5 # 1 2 3 4 5 0.42
6 7 8 target-side token, 7 bins Row 16, Table 1 6 7 8 ターゲット側のトークン 7ビン Row 16, Table 1 0.56
+ no synonym replacement + no back-/forward-transl ation +同義語置換なし + バック/フォワード変換なし 0.63
length encoding (tokens) Row 19, Table 1 長さエンコーディング(tokens)行19、テーブル1 0.82
+ no length perturbation length encoding (characters) Row 21, Table 1 +長めの摂動なし 長さ符号化(キャラクタ)行21、テーブル1 0.79
+ no length perturbation + no synonyms replacement, + 長摂動なし、同義語置換なし。 0.54
no back-/forward-transl ation バック/フォワード変換なし 0.42
30.0 29.6 29.5 30.0 29.6 29.5 0.24
30.9 28.6 30.7 26.6 30.9 28.6 30.7 26.6 0.25
30.0 83.38 83.41 83.20 30.0 83.38 83.41 83.20 0.26
83.66 82.32 83.66 82.32 0.25
83.57 81.66 83.57 81.66 0.25
88.57 88.41 87.48 88.57 88.41 87.48 0.24
72.36 76.12 72.36 76.12 0.25
63.64 98.26 63.64 98.26 0.25
83.37 61.94 83.37 61.94 0.29
18.7 20.0 19.5 18.7 20.0 19.5 0.24
19.3 18.3 20.1 18.4 19.3 18.3 20.1 18.4 0.25
19.8 LC 86.50 88.50 87.50 19.8 LC 86.50 88.50 87.50 0.32
80.50 81.00 80.50 81.00 0.25
73.00 99.00 73.00 99.00 0.25
77.32 77.58 77.49 77.32 77.58 77.49 0.24
77.47 74.51 77.47 74.51 0.25
78.27 76.07 78.27 76.07 0.25
77.86 75.50 77.86 75.50 0.29
Table 2: Ablation study results. 表2: アブレーション研究の結果。 0.77
All values in %. すべての値は%である。 0.67
applied to the baseline system (row 20, Table 1). ベースラインシステム(行20、テーブル1)に適用する。 0.67
Notably, even without noise in training token-level length encoding does not surpass a length compliance value of 80%. 特に、トレーニングにおいてノイズがなくてもトークンレベルの長さ符号化は80%を超えることはない。 0.66
This shows that the number of subwords is not accurate enough as a measure of length when targeting a precise character count. これは、正確な文字数を狙う場合、サブワードの数は長さの尺度として十分正確ではないことを示している。 0.66
6 Conclusion In this paper, we described AppTek’s neural MT system with length control that we submitted to the IWSLT 2022 Isometric Spoken Translation Evaluation. 6 結論 本稿では,IWSLT 2022 isometric Spoken Translation Evaluationに提出した長さ制御を用いたAppTekのニューラルMTシステムについて述べる。 0.76
We showed that by using length-compliant synthetic data, as well as encoding the desired translation length in various ways, we can significantly increase the length compliance score, while at the same time limiting the loss of information as reflected in only slightly lower BERT scores. 長さに適合した合成データを用い, 所望の翻訳長を様々な方法で符号化することにより, 時間順応スコアを著しく向上させると同時に, わずかに低いbertスコアに反映される情報損失を制限できることを示した。 0.78
As one of the best methods for real-time production settings not involving system combination, N-best list rescoring or 2-pass search, the modified positional encoding that counts the desired length in characters achieves the best quality/length compliance trade-off in our experiments. n-best list rescoringや2-pass searchといったシステム組み合わせを伴わないリアルタイム生産設定のための最善の方法の1つとして,文字の所望の長さをカウントする修正位置符号化は,実験において最高の品質/長さコンプライアンストレードオフを実現する。 0.66
We attribute this to more fine-grained length control capabilities of this system as compared to systems that use source-side or target-side length pseudo-tokens. 本システムでは,ソース側やターゲット側の擬似トークンを使用するシステムと比較して,よりきめ細かな長さ制御が可能と考えられる。 0.65
References Martín Abadi, Ashish Agarwal, Paul Barham, Eugene Brevdo, Zhifeng Chen, Craig Citro, Greg S. Corrado, Andy Davis, Jeffrey Dean, Matthieu Devin, Sanjay Ghemawat, Ian Goodfellow, Andrew Harp, Geoffrey Irving, Michael Isard, Yangqing Jia, Rafal Jozefowicz, Lukasz Kaiser, Manjunath Kudlur, Josh Levenberg, Dandelion Mané, Rajat Monga, Sherry Moore, Derek Murray, Chris Olah, Mike Schuster, Jonathon Shlens, Benoit Steiner, Ilya Sutskever, Kunal Talwar, Paul Tucker, Vincent Vanhoucke, Vijay Vasudevan, Fernanda Viégas, Oriol Vinyals, Pete Warden, Mar- References Martín Abadi, Ashish Agarwal, Paul Barham, Eugene Brevdo, Zhifeng Chen, Craig Citro, Greg S. Corrado, Andy Davis, Jeffrey Dean, Matthieu Devin, Sanjay Ghemawat, Ian Goodfellow, Andrew Harp, Geoffrey Irving, Michael Isard, Yangqing Jia, Rafal Jozefowicz, Lukasz Kaiser, Manjunath Kudlur, Josh Levenberg, Dandelion Mané, Rajat Monga, Sherry Moore, Derek Murray, Chris Olah, Mike Schuster, Jonathon Shlens, Benoit Steiner, Ilya Sutskever, Kunal Talwar, Paul Tucker, Vincent Vanhoucke, Vijay Vasudevan, Fernanda Viégas, Oriol Vinyals, Pete Warden, Mar- 0.43
tin Wattenberg, Martin Wicke, Yuan Yu, and Xiaoqiang Zheng. tin Wattenberg氏、Martin Wicke氏、Yuan Yu氏、Xiaoqiang Zheng氏。 0.38
2015. TensorFlow: Large-scale machine learning on heterogeneous systems. 2015. TensorFlow: 異種システム上での大規模機械学習。 0.59
Software available from tensorflow.org. tensorflow.orgから入手できるソフトウェア。 0.72
Farhad Akhbardeh, Arkady Arkhangorodsky, Magdalena Biesialska, Ondˇrej Bojar, Rajen Chatterjee, Vishrav Chaudhary, Marta R. Costa-jussa, Cristina España-Bonet, Angela Fan, Christian Federmann, Markus Freitag, Yvette Graham, Roman Grundkiewicz, Barry Haddow, Leonie Harter, Kenneth Heafield, Christopher Homan, Matthias Huck, Kwabena Amponsah-Kaakyire, Jungo Kasai, Daniel Khashabi, Kevin Knight, Tom Kocmi, Philipp Koehn, Nicholas Lourie, Christof Monz, Makoto Morishita, Masaaki Nagata, Ajay Nagesh, Toshiaki Nakazawa, Matteo Negri, Santanu Pal, Allahsera Auguste Tapo, Marco Turchi, Valentin Vydrin, and Marcos Zampieri. Farhad Akhbardeh, Arkady Arkhangorodsky, Magdalena Biesialska, Ondˇrej Bojar, Rajen Chatterjee, Vishrav Chaudhary, Marta R. Costa-jussa, Cristina España-Bonet, Angela Fan, Christian Federmann, Markus Freitag, Yvette Graham, Roman Grundkiewicz, Barry Haddow, Leonie Harter, Kenneth Heafield, Christopher Homan, Matthias Huck, Kwabena Amponsah-Kaakyire, Jungo Kasai, Daniel Khashabi, Kevin Knight, Tom Kocmi, Philipp Koehn, Nicholas Lourie, Christof Monz, Makoto Morishita, Masaaki Nagata, Ajay Nagesh, Toshiaki Nakazawa, Matteo Negri, Santanu Pal, Allahsera Auguste Tapo, Marco Turchi, Valentin Vydrin, and Marcos Zampieri.
訳抜け防止モード: farhad akhbardeh, arkady arkhangorodsky, magdalena biesialska, オンデレー・ボジャル rajen chatterjee, vishrav chaudhary, marta r. costa - jussa, cristina españa - bonet アンジェラ・ファン クリスチャン・フェダーマン マークス・フライタグ イヴェット・グラハム ロマン・グルンドキエヴィチ バリー・ハドウ レオニー・ハーター ケネス・ヒーフィールド christopher homan, matthias huck, kwabena amponsah - kaakyire, jungo kasai, daniel khashabi, kevin knight tom kocmi, philipp koehn, nicholas lourie, christof monz, 森下誠、永田正明、アジャイ・ナゲシュ、中沢利秋 matteo negri, santanu pal, allahsera auguste tapo, marco turchi valentin vydrinとmarcos zampieri。
0.61
2021. Findings of the 2021 conference on machine translation (WMT21). 2021. 2021年機械翻訳会議(WMT21)に参加。 0.58
In Proceedings of the Sixth Conference on Machine Translation, pages 1–88, Online. 第6回機械翻訳会議の議事録1-88頁がオンラインで公開されている。 0.59
Association for Computational Linguistics. Antonios Anastasopoulos, Luisa Bentivogli, Marcely Z. Boito, Ondˇrej Bojar, Roldano Cattoni, Anna Currey, Georgiana Dinu, Kevin Duh, Maha Elbayad, Marcello Federico, Christian Federmann, Hongyu Gong, Roman Grundkiewicz, Barry Haddow, Benjamin Hsu, Dávid Javorský, Vˇera Kloudová, Surafel M. Lakew, Xutai Ma, Prashant Mathur, Paul McNamee, Kenton Murray, Maria N˘adejde, Satoshi Nakamura, Matteo Negri, Jan Niehues, Xing Niu, Juan Pino, Elizabeth Salesky, Jiatong Shi, Sebastian Stüker, Katsuhito Sudoh, Marco Turchi, Yogesh Virkar, Alex Waibel, Changhan Wang, and Shinji Watanabe. 計算言語学会会員。 Antonios Anastasopoulos, Luisa Bentivogli, Marcely Z. Boito, Ondˇrej Bojar, Roldano Cattoni, Anna Currey, Georgiana Dinu, Kevin Duh, Maha Elbayad, Marcello Federico, Christian Federmann, Hongyu Gong, Roman Grundkiewicz, Barry Haddow, Benjamin Hsu, Dávid Javorský, Vˇera Kloudová, Surafel M. Lakew, Xutai Ma, Prashant Mathur, Paul McNamee, Kenton Murray, Maria N˘adejde, Satoshi Nakamura, Matteo Negri, Jan Niehues, Xing Niu, Juan Pino, Elizabeth Salesky, Jiatong Shi, Sebastian Stüker, Katsuhito Sudoh, Marco Turchi, Yogesh Virkar, Alex Waibel, Changhan Wang, and Shinji Watanabe.
訳抜け防止モード: 計算言語学会会員。 antonios anastasopoulos, luisa bentivogli, marcely z. boito, ond'rej bojar roldano cattoni, anna currey, georgiana dinu, kevin duh. マハー・エルバヤド、マルチェロ・フェデリコ、クリスチャン・フェダーマン、ホンギュ・ゴン ローマン・グルンドキエヴィチ、バリー・ハドウ、ベンジャミン・フス、ダヴィド・ジャヴォルスク。 ヴェラ・クラウドヴァ、スラフェル・m・レイクウ、xutai ma、prashant mathur ポール・マクナメ、ケントン・マレー、マリア・n・サデイデ、中村サトシ。 matteo negri氏、jan niehues氏、xing niu氏、juan pino氏。 エリザベス・サツキー、ジルティン・シ、セバスチャン・ステューカー、スドー・カツ仁 marco turchi、yogesh virkar、alex waibel、changhan wang。 そして 渡辺真二。
0.56
2022. FINDINGS OF THE IWSLT 2022 EVALUATION CAMPAIGN. 2022. IWSLT 2022の評価指標 0.39
In Proceedings of the 19th International Conference on Spoken Language Translation (IWSLT 2022), Dublin, Ireland. 第19回言語翻訳国際会議(iwslt 2022)は、アイルランドのダブリンで開催された。 0.70
Association for Computational Linguistics. François Buet and François Yvon. 計算言語学会会員。 フランソワ・ブエとフランソワ・イヴォン。 0.51
2021. Toward genre In Interspeech 2021, 2021. 2021年度のジャンルへ向けて 0.56
adapted closed captioning. クローズドキャプションに適応 0.46
pages 4403–4407. 4403-4407頁。 0.48
ISCA. Mattia A Di Gangi, Roldano Cattoni, Luisa Bentivogli, Matteo Negri, and Marco Turchi. iscaです Mattia A Di Gangi、Roldano Cattoni、Luisa Bentivogli、Matteo Negri、Marco Turchi。 0.58
2019. Must-c: a 2019. Must-c:a 0.39
英語(論文から抽出)日本語訳スコア
multilingual speech translation corpus. 多言語音声翻訳コーパス。 0.77
In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 2012–2017. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), page 2012–2017。 0.43
Patrick Doetsch, Albert Zeyer, Paul Voigtlaender, Ilia Kulikov, Ralf Schlüter, and Hermann Ney. パトリック・ドエッチ、アルバート・ゼイヤー、ポール・ヴォイクトレンダー、イリア・クリコフ、ラルフ・シュリューター、ヘルマン・ニー。 0.49
2017. Returnn: The rwth extensible training framework for universal recurrent neural networks. 2017. Returnn: ユニバーサルリカレントニューラルネットワークのためのrwth拡張可能なトレーニングフレームワーク。 0.62
In 2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pages 5345–5349. 2017年、IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)、ページ5345-5349。 0.82
IEEE. Chris Dyer, Victor Chahuneau, and Noah A. Smith. IEEE。 クリス・ダイアー、ヴィクター・ショーノー、ノア・a・スミス。 0.43
2013. A simple, fast, and effective reparameterIn Proceedings of the ization of IBM model 2. 2013. ibm model 2の標準化に関する、シンプルで高速で効果的な再パラメーター手順。 0.54
2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pages 644–648, Atlanta, Georgia. 2013年、アメリカ計算言語学会の北米支部会議: Human Language Technologies, page 644-648, Atlanta, Georgia。 0.74
Association for Computational Linguistics. J.G. Fiscus. 計算言語学会会員。 J.G.フィッシャー 0.61
1997. A post-processing system to yield reduced word error rates: Recognizer output voting error reduction (rover). 1997. 単語誤り率を低減させる後処理システム:認識器出力投票誤り率削減(ローバー)。 0.60
In 1997 IEEE Workshop on Automatic Speech Recognition and Understanding Proceedings, pages 347–354. 1997年、IEEE Workshop on Automatic Speech Recognition and Understanding Proceedings, pages 347–354。 0.42
Mercedes García-Martínez, Loïc Barrault, and Fethi Bougares. メルセデス・ガルシア=マルティネス、ローク・バロー、フェティ・ブガレス。 0.44
2016. Factored neural machine translation architectures. 2016. ニューラルネットワーク翻訳アーキテクチャの要素。 0.50
In Proceedings of the 13th International Conference on Spoken Language Translation, Seattle, Washington D.C. International Workshop on Spoken Language Translation. 第13回音声言語翻訳国際会議(the 13th international conference on spoken language translation, washington d.c. international workshop on spoken language translation)が開催された。
訳抜け防止モード: 第13回音声言語翻訳国際会議に参加して シアトル, Washington D.C. International Workshop on Spoken Language Translation (英語)
0.89
Taku Kudo and John Richardson. タク・工藤とジョン・リチャードソン。 0.57
2018. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. 2018. SentencePiece: ニューラルネットワーク処理のためのシンプルで言語に依存しないサブワードトークンとデトケナイザ。 0.51
In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pages 66–71, Brussels, Belgium. 2018年「自然言語処理における経験的方法に関する会議:システムデモ、66-71頁、ベルギー、ブリュッセルで開催。 0.73
Association for Computational Linguistics. Surafel M Lakew, Marcello Federico, Yue Wang, Cuong Hoang, Yogesh Virkar, Roberto BarraChicote, and Robert Enyedi. 計算言語学会会員。 Surafel M Lakew, Marcello Federico, Yue Wang, Cuong Hoang, Yogesh Virkar, Roberto BarraChicote, Robert Enyedi 0.44
2021. Machine translation verbosity control for automatic dubbing. 2021. 自動ダビングのための機械翻訳冗長性制御 0.59
In ICASSP 2021-2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pages 7538–7542. ICASSP 2021-2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)、7538-7542頁。
訳抜け防止モード: ICASSP 2021-2021 IEEE International Conference on Acoustics, Speech and Signal Processing ( ICASSP ) , page 7538–7542 である。
0.90
IEEE. Surafel Melaku Lakew, Mattia Di Gangi, and Marcello Federico. IEEE。 Surafel Melaku Lakew、Mattia Di Gangi、Marcello Federico。 0.37
2019. Controlling the output length of In Proceedings of the neural machine translation. 2019. ニューラルネットワーク翻訳におけるIn Proceedingの出力長の制御 0.52
16th International Conference on Spoken Language Translation, Hong Kong. 第16回スポケン語訳国際会議(香港)に参加。 0.69
Association for Computational Linguistics. Danni Liu, Jan Niehues, and Gerasimos Spanakis. 計算言語学会会員。 danni liu、jan niehues、gerasimos spanakisなど。 0.46
2020. Adapting end-to-end speech recognition for readable subtitles. 2020. 読みやすい字幕に対するエンドツーエンド音声認識の適用 0.52
In Proceedings of the 17th International Conference on Spoken Language Translation, pages 247–256, Online. 第17回音声言語翻訳国際会議の議事録では、247-256ページがオンラインで公開されている。 0.59
Association for Computational Linguistics. Jan Niehues. 計算言語学会会員。 ヤン・ニーヒューズ 0.41
2020. Machine translation with unsuIn Proceedings of the pervised length-constraints. 2020. UnsuInによる機械翻訳-長さ制約の証明- 0.57
14th Conference of the Association for Machine Translation in the Americas (Volume 1: Research Track), pages 21–35, Virtual. 第14回アメリカ機械翻訳協会会議(第1巻:研究トラック)、21-35頁、バーチャル。 0.60
Association for Machine Translation in the Americas. アメリカ機械翻訳協会(Association for Machine Translation in the Americas)の略。 0.50
Yui Oka, Katsuki Chousa, Katsuhito Sudoh, and Satoshi Nakamura. 岡由井、長宇嘉月、須藤勝人、中村左利。 0.42
2020. Incorporating noisy length constraints into transformer with lengthIn Proceedings of aware positional encodings. 2020. 雑音長制約を長さ付き変圧器に組み込む 認識位置符号化の証明 0.55
the 28th International Conference on Computational Linguistics, pages 3580–3585, Barcelona, Spain (Online). 第28回計算言語学国際会議、3580-3585頁、スペイン・バルセロナ(オンライン) 0.74
International Committee on Computational Linguistics. 計算言語学国際委員会委員。 0.69
Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Kishore Papineni、Salim Roukos、Todd Ward、WeiJing Zhu。 0.30
2002. Bleu: a method for automatic evalIn Proceedings of uation of machine translation. 2002. Bleu: 機械翻訳の用法のevalIn自動証明方法。 0.52
the 40th Annual Meeting of the Association for Computational Linguistics, pages 311–318, Philadelphia, Pennsylvania, USA. 第40回計算言語学会年次総会, 311-318ページ, ペンシルバニア州フィラデルフィア 0.52
Association for Computational Linguistics. Jan-Thorsten Peter, Eugen Beck, and Hermann Ney. 計算言語学会会員。 ジャン=thorsten peter、eugen beck、hermann ney。 0.52
2018. Sisyphus, a workflow manager designed for machine translation and automatic speech recogniIn Proceedings of the 2018 Conference on tion. 2018. Sisyphusは、機械翻訳と自動音声認識用に設計されたワークフローマネージャである。2018 Conference on tionのProceedings。 0.57
Empirical Methods in Natural Language Processing: System Demonstrations, pages 84–89, Brussels, Belgium. 自然言語処理における経験的手法:システムデモ、84-89ページ、ブリュッセル、ベルギー。 0.73
Association for Computational Linguistics. Matt Post. 計算言語学会会員。 マット・ポスト 0.57
2018. A call for clarity in reporting bleu scores. 2018. bleuスコアの報告における明快さの呼びかけ。 0.51
In Proceedings of the Third Conference on Machine Translation: Research Papers, pages 186– 191. 第3回機械翻訳会議:研究論文186-191頁。 0.56
Ashutosh Saboo and Timo Baumann. アシュトッシュ・サボーとティモ・バウマン。 0.52
2019. Integration of dubbing constraints into machine translation. 2019. ダビング制約の機械翻訳への統合。 0.55
In Proceedings of the Fourth Conference on Machine Translation (Volume 1: Research Papers), pages 94– 101, Florence, Italy. 第4回機械翻訳会議 (Volume 1: Research Papers) において、94–101頁、イタリアのフィレンツェ。 0.70
Association for Computational Linguistics. Rico Sennrich, Barry Haddow, and Alexandra Birch. 計算言語学会会員。 リコ・センリッヒ、バリー・ハドウ、アレクサンドラ・バーチ。 0.52
2016. Neural machine translation of rare words with subword units. 2016. サブワード単位を用いたレアワードのニューラルマシン翻訳 0.58
In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1715– 1725, Berlin, Germany. 第54回計算言語学会年次大会(Volume 1: Long Papers, page 1715–1725, Berlin, Germany)に参加して 0.69
Association for Computational Linguistics. Sho Takase and Naoaki Okazaki. 計算言語学会会員。 松高瀬と岡崎直明。 0.52
2019. Positional enIn Procoding to control output sequence length. 2019. 出力シーケンス長を制御するための位置エニンプロコーディング。 0.62
ceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 3999–4004, Minneapolis, Minnesota. The 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), page 3999–4004, Minneapolis, Minnesota
訳抜け防止モード: 計算言語学会北米支部2019年会議 : ヒューマン・ランゲージ・テクノロジー 第1巻(ロング・アンド・ショート・ペーパーズ)3999-4004頁、ミネソタ州ミネアポリス。
0.51
Association for Computational Linguistics. Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. 計算言語学会会員。 Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan N Gomez、Sukasz Kaiser、Illia Polosukhin。
訳抜け防止モード: 計算言語学会会員。 ashish vaswani, noam shazeer, niki parmar, jakob uszkoreit, リオン・ジョーンズ、エイダン・ン・ゴメス、ウカシュ・カイザー、イリア・ポロスクヒン。
0.46
2017. Attention is all you need. 2017. 注意はあなたが必要とするすべてです。 0.53
Advances in neural information processing systems, 30. 神経情報処理システムの進歩, 30。 0.72
英語(論文から抽出)日本語訳スコア
Patrick Wilken and Evgeny Matusov. パトリック・ウィルケンとエヴゲニー・マトーソフ。 0.48
2019. Novel applications of factored neural machine translation. 2019. ファクターニューラルマシン翻訳の新しい応用 0.49
arXiv preprint arXiv:1910.03912. arXiv preprint arXiv:1910.03912。 0.64
Albert Zeyer, Tamer Alkhouli, and Hermann Ney. アルベルト・ゼイヤー、タマー・アルコーリ、ヘルマン・ニー。 0.45
2018. RETURNN as a generic flexible neural toolkit with application to translation and speech recognition. 2018. 汎用フレキシブルニューラルネットワークとしてのRETURNNと翻訳と音声認識への応用 0.57
In Proceedings of ACL 2018, System Demonstrations, pages 128–133, Melbourne, Australia. acl 2018の議事録では、オーストラリアのメルボルンで128-133ページをデモした。 0.51
Association for Computational Linguistics. Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. 計算言語学会会員。 tianyi zhang氏、varsha kishore氏、felix wu氏、kilian q. weinberger氏、yoav artzi氏。 0.51
2020. Bertscore: EvalIn International uating text generation with bert. 2020. Bertscore: EvalIn バートとのテキスト生成を国際的に使用。 0.57
Conference on Learning Representations. 学習表現に関する会議。 0.81
                     ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。