論文の概要: Code-Mixing on Sesame Street: Dawn of the Adversarial Polyglots

• arxiv url: http://arxiv.org/abs/2103.09593v1
• Date: Wed, 17 Mar 2021 12:20:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-18 13:11:06.791607
• Title: Code-Mixing on Sesame Street: Dawn of the Adversarial Polyglots
• Title（参考訳）: セサミストリートにおけるコードミキシング--敵対的多言語群の夜明け
• Authors: Samson Tan, Shafiq Joty
• Abstract要約: 多言語コミュニティでは、ポリグロット同士が会話する際にコード混合を行うのが一般的である。 コード混合文の処理能力を限界まで押し上げる多言語モデルに対する2つの強力なブラックボックス逆攻撃を提案する。 我々のフレーズレベル攻撃は、XLM-R-largeに対して89.75%の成功率であり、平均精度は79.85から8.18に低下した。
• 参考スコア（独自算出の注目度）: 5.1398743023989555
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multilingual models have demonstrated impressive cross-lingual transfer performance. However, test sets like XNLI are monolingual at the example level. In multilingual communities, it is common for polyglots to code-mix when conversing with each other. Inspired by this phenomenon, we present two strong black-box adversarial attacks (one word-level, one phrase-level) for multilingual models that push their ability to handle code-mixed sentences to the limit. The former uses bilingual dictionaries to propose perturbations and translations of the clean example for sense disambiguation. The latter directly aligns the clean example with its translations before extracting phrases as perturbations. Our phrase-level attack has a success rate of 89.75% against XLM-R-large, bringing its average accuracy of 79.85 down to 8.18 on XNLI. Finally, we propose an efficient adversarial training scheme that trains in the same number of steps as the original model and show that it improves model accuracy.
• Abstract（参考訳）: 多言語モデルは、印象的な言語間転送性能を示した。 しかしながら、XNLIのようなテストセットは例レベルで単言語的である。 多言語コミュニティでは、ポリグロット同士が会話する際にコード混合を行うのが一般的である。 この現象に触発されて、コード混合文の処理能力を限界まで押し上げる多言語モデルに対して、2つの強力なブラックボックス逆行攻撃(単語レベル、1句レベル)を示す。 前者は二言語辞書を用いて、清浄な例の摂動と翻訳を提案し、曖昧さを解消する。 後者は、句を摂動として抽出する前に、クリーンな例を翻訳と直接一致させる。 我々のフレーズレベル攻撃は、XLM-R-largeに対して89.75%の成功率であり、平均精度は79.85から8.18に低下した。 最後に,元モデルと同じステップ数で学習し,モデル精度を向上させるための効率的な対角訓練手法を提案する。

関連論文リスト

• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間で対応する概念を関連付けることができ、効果的にクロスランガルなのでしょうか? 本研究は,言語横断的課題に関する6つの技術 LLM の評価を行った。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Improving Multi-lingual Alignment Through Soft Contrastive Learning [9.454626745893798]
  本稿では,事前学習した単言語埋め込みモデルによって測定された文の類似性に基づいて,多言語埋め込みを整合させる新しい手法を提案する。 翻訳文ペアが与えられた場合、言語間埋め込み間の類似性は、単言語教師モデルで測定された文の類似性に従うように、多言語モデルを訓練する。
  論文  参考訳（メタデータ） (2024-05-25T09:46:07Z)
• Chain-of-Dictionary Prompting Elicits Translation in Large Language Models [100.47154959254937]
  大規模言語モデル(LLM)は多言語ニューラルマシン翻訳(MNMT)において驚くほど優れた性能を示した 入力単語のサブセットに対する多言語辞書の連鎖による事前知識でLLMを拡張して翻訳能力を引き出す新しい方法であるCoDを提案する。
  論文  参考訳（メタデータ） (2023-05-11T05:19:47Z)
• VECO 2.0: Cross-lingual Language Model Pre-training with Multi-granularity Contrastive Learning [56.47303426167584]
  複数粒度アライメントを持つコントラスト学習に基づく言語間事前学習モデルVECO2.0を提案する。 具体的には、シーケンス・ツー・シーケンスアライメントが誘導され、並列対の類似性を最大化し、非並列対を最小化する。 トークン・ツー・トークンのアライメントは、シソーラス辞書を介して発掘された同義トークンと、バイリンガルな例の他の未使用トークンとのギャップを埋めるために統合される。
  論文  参考訳（メタデータ） (2023-04-17T12:23:41Z)
• Modeling Sequential Sentence Relation to Improve Cross-lingual Dense Retrieval [87.11836738011007]
  マスク付き文モデル(MSM)と呼ばれる多言語多言語言語モデルを提案する。 MSMは、文表現を生成する文エンコーダと、文書から文ベクトルのシーケンスに適用される文書エンコーダとから構成される。 モデルをトレーニングするために,サンプル負の階層的コントラスト損失によって文ベクトルをマスクし,予測するマスク付き文予測タスクを提案する。
  論文  参考訳（メタデータ） (2023-02-03T09:54:27Z)
• Multilingual Mix: Example Interpolation Improves Multilingual Neural Machine Translation [45.77509642452541]
  インスタンスレベルで言語ペアを融合するために,多言語クロスオーバーエンコーダデコーダ(mXEncDec)を導入する。 提案手法は,言語間の入力空間と出力空間の共有を促進するために,異なる言語ペアのインスタンスを共同でクロスオーバー例に補間する。
  論文  参考訳（メタデータ） (2022-03-15T03:56:22Z)
• Improving Zero-Shot Cross-Lingual Transfer Learning via Robust Training [45.48003947488825]
  私達は2つの広く利用された強い訓練方法を研究します:反対の訓練およびランダム化された平滑化。 実験の結果,ロバストトレーニングにより,テキスト分類におけるゼロショット言語間転送が改善されることがわかった。
  論文  参考訳（メタデータ） (2021-04-17T21:21:53Z)
• Paraphrase Generation as Zero-Shot Multilingual Translation: Disentangling Semantic Similarity from Lexical and Syntactic Diversity [11.564158965143418]
  本稿では,入力に含まれるn-gramの生成を阻害する単純なパラフレーズ生成アルゴリズムを提案する。 一つの多言語NMTモデルから多くの言語でパラフレーズ生成が可能となる。
  論文  参考訳（メタデータ） (2020-08-11T18:05:34Z)
• InfoXLM: An Information-Theoretic Framework for Cross-Lingual Language Model Pre-Training [135.12061144759517]
  本稿では,言語間言語モデルの事前学習を定式化する情報理論フレームワークを提案する。 コントラスト学習に基づく新しい事前学習課題を提案する。 単言語コーパスと並列コーパスの両方を活用することで、事前訓練されたモデルの言語間変換性を向上させるために、プレテキストを共同で訓練する。
  論文  参考訳（メタデータ） (2020-07-15T16:58:01Z)
• Unsupervised Cross-lingual Representation Learning for Speech Recognition [63.85924123692923]
  XLSRは、複数の言語における音声の生波形から1つのモデルを事前学習することで、言語間音声表現を学習する。 我々は、マスク付き潜在音声表現よりも対照的なタスクを解くことで訓練されたwav2vec 2.0を構築した。 実験により、言語間事前学習はモノリンガル事前訓練よりも著しく優れていることが示された。
  論文  参考訳（メタデータ） (2020-06-24T18:25:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。