論文の概要: Enriching the Transformer with Linguistic Factors for Low-Resource Machine Translation

• arxiv url: http://arxiv.org/abs/2004.08053v2
• Date: Thu, 24 Dec 2020 09:06:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-12 13:06:07.316735
• Title: Enriching the Transformer with Linguistic Factors for Low-Resource Machine Translation
• Title（参考訳）: 低リソース機械翻訳のための言語的要因によるトランスフォーマーの充実
• Authors: Jordi Armengol-Estap\'e, Marta R. Costa-juss\`a, Carlos Escolano
• Abstract要約: 本研究では,現在最先端のニューラルマシン翻訳アーキテクチャであるTransformerを提案する。 特に,提案するFactered Transformerは,機械翻訳システムに付加的な知識を挿入する言語的要因を用いている。 IWSLTドイツ語-英語タスクにおけるベースライン変換器の0.8BLEUの改善を示す。
• 参考スコア（独自算出の注目度）: 2.2344764434954256
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Introducing factors, that is to say, word features such as linguistic information referring to the source tokens, is known to improve the results of neural machine translation systems in certain settings, typically in recurrent architectures. This study proposes enhancing the current state-of-the-art neural machine translation architecture, the Transformer, so that it allows to introduce external knowledge. In particular, our proposed modification, the Factored Transformer, uses linguistic factors that insert additional knowledge into the machine translation system. Apart from using different kinds of features, we study the effect of different architectural configurations. Specifically, we analyze the performance of combining words and features at the embedding level or at the encoder level, and we experiment with two different combination strategies. With the best-found configuration, we show improvements of 0.8 BLEU over the baseline Transformer in the IWSLT German-to-English task. Moreover, we experiment with the more challenging FLoRes English-to-Nepali benchmark, which includes both extremely low-resourced and very distant languages, and obtain an improvement of 1.2 BLEU.
• Abstract（参考訳）: すなわち、ソーストークンを参照する言語情報などの単語の特徴の導入は、特定の環境でのニューラルマシン翻訳システム(典型的にはリカレントアーキテクチャ)の結果を改善することが知られている。 本研究では,現在最先端のニューラルマシン翻訳アーキテクチャであるtransformerを拡張し,外部知識の導入を可能にすることを提案する。 特に,提案する修正法であるファクタドトランスフォーマーでは,機械翻訳システムに追加の知識を挿入する言語的要因を用いる。 異なる種類の機能の使用とは別に、異なるアーキテクチャ構成の影響について検討する。 具体的には,組込みレベルやエンコーダレベルで単語と特徴の組み合わせのパフォーマンスを分析し,二つの異なる組み合わせ戦略を実験する。 IWSLTドイツ語対英語タスクにおけるベースライントランスフォーマーよりも0.8BLEUの改善点を示す。 さらに,低リソース言語と極遠言語の両方を含むより難易度の高いflres english-to-nepaliベンチマークを実験し,1.2 bleuの改良を得た。

関連論文リスト

• Heterogeneous Encoders Scaling In The Transformer For Neural Machine Translation [47.82947878753809]
  ヘテロジニアス手法の統合の有効性について検討する。 単純な組み合わせ戦略と性能駆動型シナジー基準に基づいて,マルチエンコーダ変換器を設計した。 その結果,提案手法は,さまざまな言語やデータセットサイズにまたがる翻訳の質を向上させることができることがわかった。
  論文  参考訳（メタデータ） (2023-12-26T03:39:08Z)
• A Meta-Learning Perspective on Transformers for Causal Language Modeling [17.293733942245154]
  Transformerアーキテクチャは、大規模な因果言語モデルの開発において顕著になっている。 因果言語モデリングタスクのトレーニングにおいて,トランスフォーマーアーキテクチャのメタラーニングビューを確立する。 内部最適化では,Transformerに基づく因果言語モデルにおいて,学習トークン表現のノルムの特別な特徴を発見し,理論的に解析する。
  論文  参考訳（メタデータ） (2023-10-09T17:27:36Z)
• Hindi to English: Transformer-Based Neural Machine Translation [0.0]
  我々は,インド語ヒンディー語から英語への翻訳のためにトランスフォーマーモデルを訓練し,機械翻訳(NMT)システムを開発した。 トレーニングデータを増強し、語彙を作成するために、バックトランスレーションを実装した。 これにより、IIT Bombay English-Hindi Corpusのテストセットで、最先端のBLEUスコア24.53を達成することができました。
  論文  参考訳（メタデータ） (2023-09-23T00:00:09Z)
• Structural Biases for Improving Transformers on Translation into Morphologically Rich Languages [120.74406230847904]
  TP-Transformerは従来のTransformerアーキテクチャを拡張し、構造を表現するコンポーネントを追加する。 第2の方法は、形態的トークン化でデータをセグメント化することで、データレベルで構造を付与する。 これらの2つのアプローチのそれぞれが、ネットワークがより良いパフォーマンスを達成することを可能にすることは分かっていますが、この改善はデータセットのサイズに依存します。
  論文  参考訳（メタデータ） (2022-08-11T22:42:24Z)
• XDBERT: Distilling Visual Information to BERT from Cross-Modal Systems to Improve Language Understanding [73.24847320536813]
  本研究では,事前学習したマルチモーダル変換器から事前学習した言語エンコーダへの視覚情報の蒸留について検討する。 我々のフレームワークは,NLUの言語重み特性に適応するために学習目標を変更する一方で,視覚言語タスクにおけるクロスモーダルエンコーダの成功にインスパイアされている。
  論文  参考訳（メタデータ） (2022-04-15T03:44:00Z)
• Examining Scaling and Transfer of Language Model Architectures for Machine Translation [51.69212730675345]
  言語モデル(LM)は単一のレイヤのスタックで処理し、エンコーダ・デコーダモデル(EncDec)は入力と出力の処理に別々のレイヤスタックを使用する。 機械翻訳において、EncDecは長年好まれてきたアプローチであるが、LMの性能についての研究はほとんどない。
  論文  参考訳（メタデータ） (2022-02-01T16:20:15Z)
• Comparing Feature-Engineering and Feature-Learning Approaches for Multilingual Translationese Classification [11.364204162881482]
  従来のフィーチャーエンジニアリングベースのアプローチとフィーチャーラーニングベースのアプローチを比較します。 我々は,手作りの特徴がニューラルネットワークの予測のばらつきをいかにうまく説明するかを考察する。
  論文  参考訳（メタデータ） (2021-09-15T22:34:48Z)
• GroupBERT: Enhanced Transformer Architecture with Efficient Grouped Structures [57.46093180685175]
  トランスフォーマー層の構造を改良し,より効率的なアーキテクチャを実現する。 自己認識モジュールを補完する畳み込みモジュールを追加し、局所的およびグローバルな相互作用の学習を分離する。 得られたアーキテクチャを言語表現学習に適用し、異なるスケールのBERTモデルと比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2021-06-10T15:41:53Z)
• Optimizing Transformer for Low-Resource Neural Machine Translation [4.802292434636455]
  低リソース言語としても知られる、限られた並列データを持つ言語ペアは、ニューラルマシン翻訳の課題である。 IWSLT14トレーニングデータの異なるサブセットに対する実験により,低リソース条件下でのTransformerの有効性がハイパーパラメータ設定に大きく依存していることが判明した。 低リソース条件に最適化されたTransformerを使用することで、Transformerのデフォルト設定に比べて、変換品質は7.3 BLEUポイントまで向上する。
  論文  参考訳（メタデータ） (2020-11-04T13:12:29Z)
• Dual-decoder Transformer for Joint Automatic Speech Recognition and Multilingual Speech Translation [71.54816893482457]
  自動音声認識(ASR)と多言語音声翻訳(ST)を共同で行う新しいモデルアーキテクチャであるデュアルデコーダトランスフォーマを導入する。 我々のモデルはオリジナルのTransformerアーキテクチャに基づいているが、2つのデコーダで構成されており、それぞれが1つのタスク(ASRまたはST)を担っている。
  論文  参考訳（メタデータ） (2020-11-02T04:59:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。