論文の概要: Revisiting Iterative Back-Translation from the Perspective of Compositional Generalization

• arxiv url: http://arxiv.org/abs/2012.04276v1
• Date: Tue, 8 Dec 2020 08:43:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-17 08:33:25.472232
• Title: Revisiting Iterative Back-Translation from the Perspective of Compositional Generalization
• Title（参考訳）: 合成一般化の観点からの反復的バックトランスレーションの再検討
• Authors: Yinuo Guo, Hualei Zhu, Zeqi Lin, Bei Chen, Jian-Guang Lou, Dongmei Zhang
• Abstract要約: 反復バックトランスレーションにより,合成一般化ベンチマークの性能が大幅に向上することを示す。 疑似並列データの品質を向上し、さらに性能を向上させるカリキュラム反復バックトランスレーションを提案します。
• 参考スコア（独自算出の注目度）: 39.75093431418892
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human intelligence exhibits compositional generalization (i.e., the capacity to understand and produce unseen combinations of seen components), but current neural seq2seq models lack such ability. In this paper, we revisit iterative back-translation, a simple yet effective semi-supervised method, to investigate whether and how it can improve compositional generalization. In this work: (1) We first empirically show that iterative back-translation substantially improves the performance on compositional generalization benchmarks (CFQ and SCAN). (2) To understand why iterative back-translation is useful, we carefully examine the performance gains and find that iterative back-translation can increasingly correct errors in pseudo-parallel data. (3) To further encourage this mechanism, we propose curriculum iterative back-translation, which better improves the quality of pseudo-parallel data, thus further improving the performance.
• Abstract（参考訳）: 人間の知性は構成的一般化を示す(すなわち、見掛けた成分の見当たらない組み合わせを理解・生成する能力)が、現在のニューラルseq2seqモデルにはそのような能力がない。 本稿では, 単純かつ効果的な半教師付き手法である反復的逆翻訳について検討し, 構成一般化をいかに改善できるかを考察する。 本研究は,(1) コンポジション一般化ベンチマーク (CFQ, SCAN) における反復的バックトランスレーションにより, 性能が大幅に向上することを示す。 2) 反復的逆翻訳がなぜ有用かを理解するために, 繰り返し的逆翻訳が疑似並列データにおける誤りをますます補正する可能性があることを確認する。 (3) このメカニズムをさらに促進するため, 擬似並列データの品質を向上し, さらなる性能向上を図るカリキュラムの反復的逆翻訳を提案する。

関連論文リスト

• Modeling Bilingual Sentence Processing: Evaluating RNN and Transformer Architectures for Cross-Language Structural Priming [10.292557971996112]
  本研究では、言語間構造プライミングの複製におけるリカレントニューラルネットワーク(RNN)とトランスフォーマーモデルの性能を評価する。 以上の結果から,トランスフォーマーは素文構造の生成においてRNNよりも優れていたことが示唆された。 この研究は、計算モデルが多種多様な言語族にまたがる人間の認知過程をどのように反映するかの理解に寄与する。
  論文  参考訳（メタデータ） (2024-05-15T17:01:02Z)
• Bit Cipher -- A Simple yet Powerful Word Representation System that Integrates Efficiently with Language Models [4.807347156077897]
  Bit-cipherは、バックプロパゲーションや超高効率次元減少技術の必要性を排除したワード表現システムである。 我々は、古典的な埋め込みによるビット暗号の競合性を評価するために、POSタグと名前付きエンティティ認識(NER)の探索実験を行った。 埋め込み層を暗号埋め込みに置き換えることで、トレーニングプロセスの高速化と最適な最適化を実現する上での暗号の顕著な効率を実証した。
  論文  参考訳（メタデータ） (2023-11-18T08:47:35Z)
• Categorizing Semantic Representations for Neural Machine Translation [53.88794787958174]
  ソースの文脈化表現に分類を導入する。 主な考え方は、スパーシリティとオーバーフィッティングを減らして一般化を強化することである。 MTデータセットを用いた実験により,提案手法は構成一般化誤差率を24%削減することを示した。
  論文  参考訳（メタデータ） (2022-10-13T04:07:08Z)
• Bayesian Recurrent Units and the Forward-Backward Algorithm [91.39701446828144]
  ベイズの定理を用いることで、ユニットワイド・リカレンスとフォワード・バックワードアルゴリズムに類似した後方再帰を導出する。 その結果得られたベイジアン再帰ユニットは、ディープラーニングフレームワーク内で再帰ニューラルネットワークとして統合することができる。 音声認識の実験は、最先端の繰り返しアーキテクチャの最後に派生したユニットを追加することで、訓練可能なパラメータの点で非常に低コストで性能を向上させることを示唆している。
  論文  参考訳（メタデータ） (2022-07-21T14:00:52Z)
• Revisiting the Compositional Generalization Abilities of Neural Sequence Models [23.665350744415004]
  一般的なSCANベンチマークで導入されたワンショットプリミティブな一般化に焦点を当てる。 トレーニング分布をシンプルかつ直感的に修正することで、標準的なSeq-to-seqモデルでほぼ完璧な一般化性能が得られることを示す。
  論文  参考訳（メタデータ） (2022-03-14T18:03:21Z)
• Disentangled Sequence to Sequence Learning for Compositional Generalization [62.954842223732435]
  本稿では,ソース入力を適応的に再符号化することで,不整合表現の学習を可能にするシーケンス・ツー・シーケンス・モデルの拡張を提案する。 意味解析と機械翻訳の実験結果から,提案手法はより不整合な表現とより優れた一般化をもたらすことが示された。
  論文  参考訳（メタデータ） (2021-10-09T22:27:19Z)
• Pseudo-Convolutional Policy Gradient for Sequence-to-Sequence Lip-Reading [96.48553941812366]
  唇読解は唇運動系列から音声内容を推測することを目的としている。 seq2seqモデルの伝統的な学習プロセスには2つの問題がある。 本稿では,これら2つの問題に対処するために,PCPGに基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-03-09T09:12:26Z)
• Do all Roads Lead to Rome? Understanding the Role of Initialization in Iterative Back-Translation [48.26374127723598]
  バックトランスレーションはニューラル機械翻訳(NMT)における単言語コーパスを活用するアプローチである 本稿では,事前学習が反復的バックトランスレーションにおいて果たす役割について分析する。 その結果,初期システムの品質は最終性能に影響を及ぼすが,その効果は比較的小さいことがわかった。
  論文  参考訳（メタデータ） (2020-02-28T17:05:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。