論文の概要: On the Information Redundancy in Non-Autoregressive Translation

• arxiv url: http://arxiv.org/abs/2405.02673v1
• Date: Sat, 4 May 2024 14:20:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-07 19:01:15.132657
• Title: On the Information Redundancy in Non-Autoregressive Translation
• Title（参考訳）: 非自己回帰翻訳における情報冗長性について
• Authors: Zhihao Wang, Longyue Wang, Jinsong Su, Junfeng Yao, Zhaopeng Tu,
• Abstract要約: 非自己回帰翻訳(NAT)におけるマルチモーダル問題の典型例である。 本研究では,最近提案されたNATモデルにおけるマルチモーダル問題を再考する。 複数モーダリティ問題によく対応した2種類の情報冗長性誤差を同定する。
• 参考スコア（独自算出の注目度）: 82.43992805551498
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Token repetition is a typical form of multi-modal problem in fully non-autoregressive translation (NAT). In this work, we revisit the multi-modal problem in recently proposed NAT models. Our study reveals that these advanced models have introduced other types of information redundancy errors, which cannot be measured by the conventional metric - the continuous repetition ratio. By manually annotating the NAT outputs, we identify two types of information redundancy errors that correspond well to lexical and reordering multi-modality problems. Since human annotation is time-consuming and labor-intensive, we propose automatic metrics to evaluate the two types of redundant errors. Our metrics allow future studies to evaluate new methods and gain a more comprehensive understanding of their effectiveness.
• Abstract（参考訳）: トークン反復は、完全非自己回帰翻訳(NAT)におけるマルチモーダル問題の典型的な形式である。 本研究では,最近提案されたNATモデルにおけるマルチモーダル問題を再考する。 本研究は,従来の測定基準である連続繰り返し比では測定できない,他の種類の情報冗長性誤差を導入したことを明らかにする。 NAT出力を手動でアノテートすることにより,複数モーダリティ問題によく対応した2種類の情報冗長性誤差を同定する。 人間のアノテーションは時間がかかり、労力がかかるため、2種類の冗長なエラーを評価するための自動メトリクスを提案する。 我々のメトリクスは、将来の研究で新しい手法を評価し、それらの効果をより包括的に理解することを可能にする。

関連論文リスト

• Information Association for Language Model Updating by Mitigating LM-Logical Discrepancy [68.31760483418901]
  大規模言語モデル(LLM)は、時代遅れの事前学習データのために現在の情報を提供するのに苦労する。 知識編集や連続的な微調整など,従来のLCMの更新方法は,新たな情報の一般化に重大な欠点がある。 これらの欠点の中核となる課題は,言語モデリングの確率と論理的確率の差を特徴とするLM論理的相違である。
  論文  参考訳（メタデータ） (2023-05-29T19:48:37Z)
• Correlation Information Bottleneck: Towards Adapting Pretrained Multimodal Models for Robust Visual Question Answering [63.87200781247364]
  相関情報ボトルネック (CIB) は圧縮と表現の冗長性のトレードオフを求める。 マルチモーダル入力と表現の相互情報に対して,理論上界を厳密に導出する。
  論文  参考訳（メタデータ） (2022-09-14T22:04:10Z)
• A Study of Syntactic Multi-Modality in Non-Autoregressive Machine Translation [144.55713938260828]
  非自己回帰的翻訳モデルでは、ターゲット翻訳のマルチモーダル分布を捉えることは困難である。 我々はこれを短距離および長距離の構文的マルチモーダルに分解し、高度な損失関数を持つ最近のNATアルゴリズムを評価した。 我々は,実世界のデータセットにおいて,複雑な構文的多モード性を扱うために,新たな損失関数を設計する。
  論文  参考訳（メタデータ） (2022-07-09T06:48:10Z)
• On the Learning of Non-Autoregressive Transformers [91.34196047466904]
  非自己回帰変換器(Non-autoregressive Transformer、NAT)は、テキスト生成モデルのファミリーである。 NAT学習の課題を明らかにするため,理論的および経験的分析を行った。
  論文  参考訳（メタデータ） (2022-06-13T08:42:09Z)
• Modeling Coverage for Non-Autoregressive Neural Machine Translation [9.173385214565451]
  本稿では,トークンレベルのカバレッジ反復改良機構と文レベルのカバレッジ契約により,カバレッジ情報を直接モデル化するための新しいカバレッジNATを提案する。 WMT14 En-De および WMT16 En-Ro 翻訳タスクの実験結果から,本手法はこれらの誤りを軽減し,ベースラインシステムに対して強い改善が達成できることが示された。
  論文  参考訳（メタデータ） (2021-04-24T07:33:23Z)
• Multi-Task Learning with Shared Encoder for Non-Autoregressive Machine Translation [32.77372312124259]
  非自己回帰機械翻訳(NAT)モデルでは推論速度が著しく向上しているが、翻訳精度は劣っている。 本稿では,自動回帰機械翻訳の知識をエンコーダの共有を通じてNATモデルに伝達するマルチタスク学習を提案する。 WMT14英語-ドイツ語とWMT16英語-ルーマニアのデータセットの実験結果は、提案されたマルチタスクNATがベースラインNATモデルよりも大幅に改善されていることを示している。
  論文  参考訳（メタデータ） (2020-10-24T11:00:58Z)
• LAVA NAT: A Non-Autoregressive Translation Model with Look-Around Decoding and Vocabulary Attention [54.18121922040521]
  非自己回帰翻訳(NAT)モデルは、1つの前方通過で複数のトークンを生成する。 これらのNATモデルは、しばしば多重性の問題に悩まされ、重複トークンや欠落トークンを生成する。 本稿では,この問題を解決するための新しい方法として,Look-Around(LA)戦略とVocabulary Attention(VA)メカニズムを提案する。
  論文  参考訳（メタデータ） (2020-02-08T04:11:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。