論文の概要: Single Model Ensemble for Subword Regularized Models in Low-Resource Machine Translation

• arxiv url: http://arxiv.org/abs/2203.13528v1
• Date: Fri, 25 Mar 2022 09:25:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-28 13:02:28.673951
• Title: Single Model Ensemble for Subword Regularized Models in Low-Resource Machine Translation
• Title（参考訳）: 低リソース機械翻訳におけるサブワード正規化モデルの単一モデルアンサンブル
• Authors: Sho Takase, Tatsuya Hiraoka, Naoaki Okazaki
• Abstract要約: サブワード正規化は、トレーニング中に複数のサブワードセグメンテーションを使用して、ニューラルネットワーク翻訳モデルの堅牢性を改善する。 この矛盾に対処するための推論戦略を提案する。 実験結果から,提案手法はサブワード正規化を訓練したモデルの性能を向上させることが示された。
• 参考スコア（独自算出の注目度）: 25.04086897886412
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Subword regularizations use multiple subword segmentations during training to improve the robustness of neural machine translation models. In previous subword regularizations, we use multiple segmentations in the training process but use only one segmentation in the inference. In this study, we propose an inference strategy to address this discrepancy. The proposed strategy approximates the marginalized likelihood by using multiple segmentations including the most plausible segmentation and several sampled segmentations. Because the proposed strategy aggregates predictions from several segmentations, we can regard it as a single model ensemble that does not require any additional cost for training. Experimental results show that the proposed strategy improves the performance of models trained with subword regularization in low-resource machine translation tasks.
• Abstract（参考訳）: サブワード正則化はトレーニング中に複数のサブワードセグメンテーションを使用して、ニューラルネットワーク翻訳モデルのロバスト性を改善する。 従来のサブワード正規化では、トレーニングプロセスでは複数のセグメンテーションを使用するが、推論では1つのセグメンテーションのみを使用する。 本研究では,この相違に対処するための推論戦略を提案する。 提案手法は, 最有力セグメンテーションと複数のサンプルセグメンテーションを含む複数のセグメンテーションを用いることにより, 辺縁化確率を近似する。 提案した戦略はいくつかのセグメントから予測を集約するので、トレーニングに追加のコストを必要としない単一のモデルアンサンブルと見なすことができる。 実験の結果,低リソース機械翻訳タスクにおけるサブワード正規化により学習したモデルの性能が向上した。

関連論文リスト

• Universal Segmentation at Arbitrary Granularity with Language Instruction [59.76130089644841]
  言語命令のガイダンスを用いて任意の意味レベルでセグメンテーションを行うことができるユニバーサルセグメンテーションモデルUniLSegを提案する。 UniLSegをトレーニングするために、元の多様な分布から統一されたデータ形式にタスク群を再構成し、セグメンテーションターゲットを入力として記述したテキストと対応するマスクを出力する。
  論文  参考訳（メタデータ） (2023-12-04T04:47:48Z)
• SelfSeg: A Self-supervised Sub-word Segmentation Method for Neural Machine Translation [51.881877192924414]
  サブワードセグメンテーションはニューラルマシン翻訳(NMT)に不可欠な前処理ステップである 本稿では,自己教師型ニューラルネットワークサブワードセグメンテーション手法であるSelfSegを紹介する。 SelfSegはトレーニング/デコードがはるかに高速で、並列コーパスの代わりに単言語辞書のみを必要とする。
  論文  参考訳（メタデータ） (2023-07-31T04:38:47Z)
• Diffusion Models for Open-Vocabulary Segmentation [79.02153797465324]
  OVDiffは、教師なしオープン語彙セグメンテーションに生成テキストから画像への拡散モデルを利用する新しい手法である。 トレーニング済みのコンポーネントのみに依存し、トレーニングなしで合成セグメンタを直接出力する。
  論文  参考訳（メタデータ） (2023-06-15T17:51:28Z)
• Learning Context-aware Classifier for Semantic Segmentation [88.88198210948426]
  本稿では,文脈認識型分類器の学習を通じて文脈ヒントを利用する。 本手法はモデルに依存しないため,ジェネリックセグメンテーションモデルにも容易に適用できる。 無視できる追加パラメータと+2%の推論時間だけで、小型モデルと大型モデルの両方で十分な性能向上が達成されている。
  論文  参考訳（メタデータ） (2023-03-21T07:00:35Z)
• Meta-learning Pathologies from Radiology Reports using Variance Aware Prototypical Networks [3.464871689508835]
  本稿では,数ショットのテキスト分類のためのプロトタイプネットワークの簡易拡張を提案する。 我々の主な考えは、クラスプロトタイプをガウスに置き換え、サンプルを適切なクラスセントロイドの近くでクラスタ化することを奨励する正規化項を導入することである。
  論文  参考訳（メタデータ） (2022-10-22T05:22:29Z)
• Subword Segmental Language Modelling for Nguni Languages [7.252933737829635]
  サブワードセグメント言語モデル(SSLM)は、自動回帰言語モデリングのトレーニング中に単語をセグメントする方法を学ぶ。 南アフリカの4つのググニ語でモデルを訓練します。 この結果から,既存のサブワードセグメンテーションの代替として,学習サブワードセグメンテーションが有効であることが示唆された。
  論文  参考訳（メタデータ） (2022-10-12T18:41:00Z)
• Structured Reordering for Modeling Latent Alignments in Sequence Transduction [86.94309120789396]
  本稿では,分離可能な置換の辺りを正確に推定する効率的な動的プログラミングアルゴリズムを提案する。 結果のSeq2seqモデルは、合成問題やNLPタスクの標準モデルよりも体系的な一般化が優れている。
  論文  参考訳（メタデータ） (2021-06-06T21:53:54Z)
• The Effectiveness of Morphology-aware Segmentation in Low-Resource Neural Machine Translation [0.6091702876917281]
  本稿では,低リソースのニューラルマシン翻訳環境において,いくつかの現代的サブワードセグメンテーション手法の性能評価を行う。 BPEをトークンレベルまたは文レベルで適用したセグメントと、LMVRおよびMORSELの形態に基づくセグメンテーションを比較します。
  論文  参考訳（メタデータ） (2021-03-20T14:39:25Z)
• Multi-view Subword Regularization [111.04350390045705]
  マルチビューサブワード正規化(MVR)は、標準でトークン化された入力と確率的セグメンテーションとの整合性を強制する手法です。 XTREMEマルチ言語ベンチマークの結果は、MVRが標準セグメンテーションアルゴリズムよりも最大2.5ポイントの一貫性のある改善をもたらすことを示している。
  論文  参考訳（メタデータ） (2021-03-15T16:07:42Z)
• Adversarial Subword Regularization for Robust Neural Machine Translation [23.968624881678913]
  さまざまなサブワードセグメンテーションをニューラルネットワーク翻訳(NMT)モデルに公開することで、機械翻訳の堅牢性が向上することがしばしばある。 本稿では,訓練中の勾配信号が多種多様なサブワードセグメンテーションの代替基準となるかどうかを検討するために,ADVSR(adversarial subword regularization)を提案する。
  論文  参考訳（メタデータ） (2020-04-29T12:06:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。