論文の概要: TPDM: Selectively Removing Positional Information for Zero-shot
Translation via Token-Level Position Disentangle Module
- arxiv url: http://arxiv.org/abs/2305.19857v1
- Date: Wed, 31 May 2023 13:48:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-01 16:21:49.038407
- Title: TPDM: Selectively Removing Positional Information for Zero-shot
Translation via Token-Level Position Disentangle Module
- Title（参考訳）: TPDM:Token-Level Position Disentangle Moduleによるゼロショット翻訳のための位置情報の選択的除去
- Authors: Xingran Chen, Ge Zhang, Jie Fu
- Abstract要約: 位置情報は、MNMTが復号化のために堅牢な符号化された表現を出力することを妨げる可能性があると仮定されることが多い。
従来のアプローチでは、すべての位置情報を平等に扱うことができず、特定の位置情報を選択的に除去することはできない。
本稿では,有用な位置情報を選択的に保存する方法について検討する。
- 参考スコア（独自算出の注目度）: 35.524338781859726
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Due to Multilingual Neural Machine Translation's (MNMT) capability of
zero-shot translation, many works have been carried out to fully exploit the
potential of MNMT in zero-shot translation. It is often hypothesized that
positional information may hinder the MNMT from outputting a robust encoded
representation for decoding. However, previous approaches treat all the
positional information equally and thus are unable to selectively remove
certain positional information. In sharp contrast, this paper investigates how
to learn to selectively preserve useful positional information.
We describe the specific mechanism of positional information influencing MNMT
from the perspective of linguistics at the token level. We design a token-level
position disentangle module (TPDM) framework to disentangle positional
information at the token level based on the explanation. Our experiments
demonstrate that our framework improves zero-shot translation by a large margin
while reducing the performance loss in the supervised direction compared to
previous works.
- Abstract（参考訳）: ゼロショット翻訳のMNMT(Multilingual Neural Machine Translation)能力のため、ゼロショット翻訳におけるMNMTの可能性を完全に活用する作業が数多く行われている。
位置情報はmnmtが復号のためにロバストな符号化表現を出力することを妨げているとしばしば仮定される。
しかし、従来のアプローチでは全ての位置情報を等しく扱うため、特定の位置情報を選択的に削除することはできない。
本稿では,有用な位置情報を選択的に保存する方法について検討する。
トークンレベルでの言語学の観点から,MNMTに影響を及ぼす位置情報の特定のメカニズムについて述べる。
本報告では,トークンレベルでの位置情報をアンタングルするために,トークンレベルの位置不整形モジュール(TPDM)を設計する。
本実験は,従来の研究に比べて教師付き方向の性能損失を低減しつつ,ゼロショット翻訳を大きなマージンで改善することを示した。
関連論文リスト
- Word Order Matters when you Increase Masking [70.29624135819884]
本研究では,事前学習対象自体に対する位置エンコーディングの除去効果について検討し,モデルが共起点のみの位置情報を再構成できるかどうかを検証した。
位置情報の必要性はマスキングの量とともに増大し、位置エンコーディングのないマスキング言語モデルではタスク上でこの情報を再構築できないことがわかった。
論文 参考訳（メタデータ） (2022-11-08T18:14:04Z) - The Curious Case of Absolute Position Embeddings [65.13827063579728]
トランスフォーマー言語モデルは、位置情報を用いた単語順序の概念を符号化する。
自然言語では、絶対的な位置ではなく相対的な位置であり、APEがこのような情報を捉えることができる範囲は研究されていない。
我々は, APE を用いて訓練されたモデルが, 位置情報をシフトした文を入力した時点で, 位置情報に基づいて過度に訓練されていることを観察した。
論文 参考訳（メタデータ） (2022-10-23T00:00:04Z) - Unveiling The Mask of Position-Information Pattern Through the Mist of
Image Features [75.62755703738696]
近年の研究では、畳み込みニューラルネットワークにおけるパディングが絶対位置情報を符号化していることが示されている。
位置情報の強度を定量化する既存の指標は信頼性が低いままである。
符号化された位置情報を計測(および可視化)するための新しい指標を提案する。
論文 参考訳（メタデータ） (2022-06-02T17:59:57Z) - Towards Opening the Black Box of Neural Machine Translation: Source and
Target Interpretations of the Transformer [1.8594711725515678]
ニューラルネットワーク翻訳(NMT)では、各トークン予測はソース文とターゲットプレフィックスに条件付けされる。
NMTにおける解釈可能性に関するこれまでの研究は、原文トークンの属性のみに焦点を当ててきた。
本稿では,完全な入力トークン属性を追跡する解釈可能性手法を提案する。
論文 参考訳（メタデータ） (2022-05-23T20:59:14Z) - Improving Multilingual Translation by Representation and Gradient
Regularization [82.42760103045083]
表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。
提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
論文 参考訳（メタデータ） (2021-09-10T10:52:21Z) - Improving Zero-Shot Translation by Disentangling Positional Information [24.02434897109097]
言語固有の表現を引き起こす主な要因は、入力トークンに対する位置対応であることを示す。
指示方向の品質を維持しながら、ゼロショット翻訳で最大18.5 BLEUポイントを得る。
論文 参考訳（メタデータ） (2020-12-30T12:20:41Z) - Explicit Reordering for Neural Machine Translation [50.70683739103066]
Transformer-based neural machine translation (NMT)では、位置符号化機構は、自己アテンションネットワークが順序依存でソース表現を学習するのに役立つ。
本研究では,トランスフォーマーベースのNMTに対して,このリオーダ情報を明示的にモデル化する新しいリオーダ手法を提案する。
WMT14, WAT ASPEC日本語訳, WMT17中国語訳の実証結果から, 提案手法の有効性が示唆された。
論文 参考訳（メタデータ） (2020-04-08T05:28:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。