論文の概要: Can Transformers Jump Around Right in Natural Language? Assessing Performance Transfer from SCAN

• arxiv url: http://arxiv.org/abs/2107.01366v1
• Date: Sat, 3 Jul 2021 07:45:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-07 10:09:28.038601
• Title: Can Transformers Jump Around Right in Natural Language? Assessing Performance Transfer from SCAN
• Title（参考訳）: トランスフォーマーは自然言語で右にジャンプできるのか? SCANのパフォーマンス移行を評価する
• Authors: Rahma Chaabouni, Roberto Dess\`i, Eugene Kharitonov
• Abstract要約: SCAN上での一般化機能を大幅に改善するTransformerのいくつかの改良点について述べる。 SCAN対応モデルの改良は、リソース豊富なMT設定に直接転送されないことがわかった。 同様に、精度に基づくメートル法における14%の改善は、導入された英仏翻訳タスクにおいて達成される。
• 参考スコア（独自算出の注目度）: 14.051419173519312
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Despite their practical success, modern seq2seq architectures are unable to generalize systematically on several SCAN tasks. Hence, it is not clear if SCAN-style compositional generalization is useful in realistic NLP tasks. In this work, we study the benefit that such compositionality brings about to several machine translation tasks. We present several focused modifications of Transformer that greatly improve generalization capabilities on SCAN and select one that remains on par with a vanilla Transformer on a standard machine translation (MT) task. Next, we study its performance in low-resource settings and on a newly introduced distribution-shifted English-French translation task. Overall, we find that improvements of a SCAN-capable model do not directly transfer to the resource-rich MT setup. In contrast, in the low-resource setup, general modifications lead to an improvement of up to 13.1% BLEU score w.r.t. a vanilla Transformer. Similarly, an improvement of 14% in an accuracy-based metric is achieved in the introduced compositional English-French translation task. This provides experimental evidence that the compositional generalization assessed in SCAN is particularly useful in resource-starved and domain-shifted scenarios.
• Abstract（参考訳）: 実際の成功にもかかわらず、現代のSeq2seqアーキテクチャは複数のSCANタスクを体系的に一般化することはできない。 したがって、SCANスタイルの合成一般化が現実的なNLPタスクに有用かどうかは不明である。 本研究では,このような構成性が機械翻訳タスクにもたらすメリットについて検討する。 そこで本研究では,SCANの一般化能力を大幅に向上するTransformerのいくつかの改良点を紹介し,標準的な機械翻訳(MT)タスクにおいて,バニラトランスフォーマーと同程度に残るものを選択する。 次に,低リソース環境および新たに導入された英仏翻訳タスクにおいて,その性能について検討する。 全体として、SCAN対応モデルの改善は、リソース豊富なMT設定に直接転送されない。 対照的に、低リソース設定では、一般的な変更により最大13.1%のbleuスコアw.r.tが改善される。 バニラ変換器。 同様に、導入された構成英仏翻訳タスクにおいて、精度に基づくメトリックの14%の改善が達成される。 このことは、SCANで評価された合成一般化が特に資源探索およびドメインシフトのシナリオで有用であることを示す実験的な証拠を与える。

関連論文リスト

• MoSECroT: Model Stitching with Static Word Embeddings for Crosslingual Zero-shot Transfer [50.40191599304911]
  クロスリンガルゼロショット転送のための静的単語埋め込みを用いたMoSECroTモデルスティッチについて紹介する。 本稿では,ソースコードPLMの埋め込みと対象言語の静的単語埋め込みのための共通空間を構築するために,相対表現を利用した最初のフレームワークを提案する。 提案するフレームワークは,MoSECroTに対処する際,弱いベースラインと競合するが,強いベースラインに比べて競合する結果が得られないことを示す。
  論文  参考訳（メタデータ） (2024-01-09T21:09:07Z)
• Contextual Refinement of Translations: Large Language Models for Sentence and Document-Level Post-Editing [12.843274390224853]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクでかなりの成功を収めている。 ニューラルネットワーク翻訳における最先端性能は,まだ達成できていない。 直接翻訳者ではなく,自動編集者 (APE) としてLLMを適用することを提案する。
  論文  参考訳（メタデータ） (2023-10-23T12:22:15Z)
• Strategies for improving low resource speech to text translation relying on pre-trained ASR models [59.90106959717875]
  本稿では,テキスト翻訳(ST)における低音源音声の性能向上のための技術と知見について述べる。 本研究は,英語とポルトガル語,タマシェク語とフランス語の2つの言語対について,シミュレーションおよび実低資源設定について実験を行った。
  論文  参考訳（メタデータ） (2023-05-31T21:58:07Z)
• When Can Transformers Ground and Compose: Insights from Compositional Generalization Benchmarks [7.4726048754587415]
  人間は、言語発話を現実世界に基礎づけながら、構成的に推論することができる。 ReaSCANのような最近のベンチマークでは、グリッドの世界に根ざしたナビゲーションタスクを使用して、ニューラルモデルが同様の機能を示すかどうかを評価する。 本稿では,ReaSCAN の特殊アーキテクチャと gSCAN の修正版を比較検討する。
  論文  参考訳（メタデータ） (2022-10-23T17:03:55Z)
• Parameter-Efficient Neural Reranking for Cross-Lingual and Multilingual Retrieval [66.69799641522133]
  最先端のニューラルランカーは、お腹が空いていることで悪名高い。 現在のアプローチでは、英語データに基づいて訓練されたローダを、多言語エンコーダを用いて他の言語や言語間設定に転送するのが一般的である。 本研究では,Sparse Fine-Tuning Masks (SFTMs) とAdapters (Adapters) の2つのパラメータ効率のアプローチにより,より軽量で効果的なゼロショット転送が可能となることを示す。
  論文  参考訳（メタデータ） (2022-04-05T15:44:27Z)
• Improving Multilingual Translation by Representation and Gradient Regularization [82.42760103045083]
  表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。 提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-10T10:52:21Z)
• Modelling Latent Translations for Cross-Lingual Transfer [47.61502999819699]
  従来のパイプラインの2つのステップ(翻訳と分類)を1つのモデルに統合する新しい手法を提案する。 我々は,多言語NLUタスクにおける新しい潜時翻訳モデルの評価を行った。 ゼロショットと数ショットの学習設定の両方で、平均2.7の精度ポイントのゲインを報告します。
  論文  参考訳（メタデータ） (2021-07-23T17:11:27Z)
• SML: a new Semantic Embedding Alignment Transformer for efficient cross-lingual Natural Language Inference [71.57324258813674]
  トランスフォーマーが質問応答、自然言語推論(NLI)、要約といった様々なタスクを精度良く実行できることは、現在この種のタスクに対処するための最良のパラダイムの1つとしてランク付けすることができる。 nliは、複雑な文を理解するための知識が必要であり、仮説と前提の関係を確立するため、これらのアーキテクチャをテストする最良のシナリオの1つである。 本稿では,自然言語推論のための多言語組込みを効率的にアライメントするための新しいアーキテクチャ siamese multilingual transformer を提案する。
  論文  参考訳（メタデータ） (2021-03-17T13:23:53Z)
• Optimizing Transformer for Low-Resource Neural Machine Translation [4.802292434636455]
  低リソース言語としても知られる、限られた並列データを持つ言語ペアは、ニューラルマシン翻訳の課題である。 IWSLT14トレーニングデータの異なるサブセットに対する実験により,低リソース条件下でのTransformerの有効性がハイパーパラメータ設定に大きく依存していることが判明した。 低リソース条件に最適化されたTransformerを使用することで、Transformerのデフォルト設定に比べて、変換品質は7.3 BLEUポイントまで向上する。
  論文  参考訳（メタデータ） (2020-11-04T13:12:29Z)
• Explicit Reordering for Neural Machine Translation [50.70683739103066]
  Transformer-based neural machine translation (NMT)では、位置符号化機構は、自己アテンションネットワークが順序依存でソース表現を学習するのに役立つ。 本研究では,トランスフォーマーベースのNMTに対して,このリオーダ情報を明示的にモデル化する新しいリオーダ手法を提案する。 WMT14, WAT ASPEC日本語訳, WMT17中国語訳の実証結果から, 提案手法の有効性が示唆された。
  論文  参考訳（メタデータ） (2020-04-08T05:28:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。