論文の概要: A Single Model Ensemble Framework for Neural Machine Translation using Pivot Translation

• arxiv url: http://arxiv.org/abs/2502.01182v1
• Date: Mon, 03 Feb 2025 09:17:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:04:34.946108
• Title: A Single Model Ensemble Framework for Neural Machine Translation using Pivot Translation
• Title（参考訳）: Pivot Translation を用いたニューラルネットワーク翻訳のための単一モデルアンサンブルフレームワーク
• Authors: Seokjin Oh, Keonwoong Noh, Woohwan Jung,
• Abstract要約: 低リソース言語ペアのためのピボットベースの単一モデルアンサンブルを提案する。 最初のステップでは、ピボット変換によって候補を生成する。 次に、集約ステップにおいて、生成した候補から高品質な候補をk個選択し、それらをマージして最終翻訳を生成する。
• 参考スコア（独自算出の注目度）: 1.3791394805787949
• License:
• Abstract: Despite the significant advances in neural machine translation, performance remains subpar for low-resource language pairs. Ensembling multiple systems is a widely adopted technique to enhance performance, often accomplished by combining probability distributions. However, the previous approaches face the challenge of high computational costs for training multiple models. Furthermore, for black-box models, averaging token-level probabilities at each decoding step is not feasible. To address the problems of multi-model ensemble methods, we present a pivot-based single model ensemble. The proposed strategy consists of two steps: pivot-based candidate generation and post-hoc aggregation. In the first step, we generate candidates through pivot translation. This can be achieved with only a single model and facilitates knowledge transfer from high-resource pivot languages, resulting in candidates that are not only diverse but also more accurate. Next, in the aggregation step, we select k high-quality candidates from the generated candidates and merge them to generate a final translation that outperforms the existing candidates. Our experimental results show that our method produces translations of superior quality by leveraging candidates from pivot translation to capture the subtle nuances of the source sentence.
• Abstract（参考訳）: ニューラルマシン翻訳の大幅な進歩にもかかわらず、低リソース言語ペアのパフォーマンスは依然として劣っている。 複数のシステムを構成することは性能を高めるために広く採用されている手法であり、確率分布を組み合わせることでしばしば達成される。 しかし、従来のアプローチでは、複数のモデルをトレーニングするための高い計算コストの課題に直面していた。 さらに、ブラックボックスモデルでは、各復号ステップにおけるトークンレベル確率の平均化は不可能である。 マルチモデルアンサンブル法の問題に対処するため、ピボットベースの単一モデルアンサンブルを提案する。 提案した戦略は、ピボットベースの候補生成とポストホックアグリゲーションの2つのステップから構成される。 最初のステップでは、ピボット変換によって候補を生成する。 これは単一のモデルだけで実現でき、高リソースのピボット言語からの知識伝達を促進する。 次に、集約ステップにおいて、生成した候補から高品質な候補をkつ選択し、それらをマージして、既存の候補よりも優れた最終的な翻訳を生成する。 実験結果から,本手法は,素文の微妙なニュアンスを捉えるために,ピボット翻訳の候補を有効活用することにより,優れた品質の翻訳を生成することが示された。

関連論文リスト

• Plug, Play, and Fuse: Zero-Shot Joint Decoding via Word-Level Re-ranking Across Diverse Vocabularies [12.843274390224853]
  マルチモーダル翻訳のような現実世界のタスクは、翻訳と画像処理の両方を扱うなど、これらの強みの組み合わせを必要とすることが多い。 新たなゼロショットアンサンブル戦略を提案し,デコードフェーズにおいて,追加のトレーニングを必要とせずに,異なるモデルの統合を可能にする。 提案手法では,単語レベルでのスコアを組み合わせ,単語がいつ完了するかをマルチモーダルで予測することで,復号中にビームを再ランクする。
  論文  参考訳（メタデータ） (2024-08-21T04:20:55Z)
• Investigating Multi-Pivot Ensembling with Massively Multilingual Machine Translation Models [47.91306228406407]
  複数の言語をピボットする方法を再検討する。 我々は、最も確実な予測に向けて出力をバイアスする新しい組み合わせ戦略であるMaxEnsを提案する。 平均的なマルチピボット戦略は、英語を単一のピボット言語として使うのに遅れを取っている。
  論文  参考訳（メタデータ） (2023-11-13T16:15:20Z)
• CompoundPiece: Evaluating and Improving Decompounding Performance of Language Models [77.45934004406283]
  複合語を構成語に分割する作業である「分解」を体系的に研究する。 We introduced a dataset of 255k compound and non-compound words across 56 various languages obtained from Wiktionary。 分割のための専用モデルを訓練するための新しい手法を導入する。
  論文  参考訳（メタデータ） (2023-05-23T16:32:27Z)
• Probabilistic Bilevel Coreset Selection [24.874967723659022]
  本稿では,各トレーニングサンプルの確率的重みを学習することにより,コアセット選択の連続確率的2レベル定式化を提案する。 暗黙的な微分の問題を伴わずに、偏りのない政策勾配を経由し、二段階最適化問題に対する効率的な解法を開発する。
  論文  参考訳（メタデータ） (2023-01-24T09:37:00Z)
• CROP: Zero-shot Cross-lingual Named Entity Recognition with Multilingual Labeled Sequence Translation [113.99145386490639]
  言語間NERは、整列した言語間表現や機械翻訳結果を通じて、言語間で知識を伝達することができる。 ゼロショット言語間NERを実現するために,クロスランガル・エンティティ・プロジェクション・フレームワーク(CROP)を提案する。 多言語ラベル付きシーケンス翻訳モデルを用いて、タグ付けされたシーケンスをターゲット言語に投影し、ターゲットの原文にラベル付けする。
  論文  参考訳（メタデータ） (2022-10-13T13:32:36Z)
• A Template-based Method for Constrained Neural Machine Translation [100.02590022551718]
  本稿では,デコード速度を維持しつつ,高い翻訳品質と精度で結果が得られるテンプレートベースの手法を提案する。 テンプレートの生成と導出は、1つのシーケンスからシーケンスまでのトレーニングフレームワークを通じて学習することができる。 実験結果から,提案手法は語彙的,構造的に制約された翻訳タスクにおいて,いくつかの代表的ベースラインを上回り得ることが示された。
  論文  参考訳（メタデータ） (2022-05-23T12:24:34Z)
• Distributionally Robust Multilingual Machine Translation [94.51866646879337]
  本稿では,分散的ロバストな最適化に基づくMNMT(Multilingual Neural Machine Translation)の新しい学習目標を提案する。 この目的を,反復的最適応答方式を用いて,大規模翻訳コーパスに対して実用的に最適化する方法を示す。 本手法は,多対一の翻訳設定と多対多の翻訳設定の両方において,平均と言語毎のパフォーマンスにおいて,強いベースライン法より一貫して優れる。
  論文  参考訳（メタデータ） (2021-09-09T03:48:35Z)
• Modelling Latent Translations for Cross-Lingual Transfer [47.61502999819699]
  従来のパイプラインの2つのステップ(翻訳と分類)を1つのモデルに統合する新しい手法を提案する。 我々は,多言語NLUタスクにおける新しい潜時翻訳モデルの評価を行った。 ゼロショットと数ショットの学習設定の両方で、平均2.7の精度ポイントのゲインを報告します。
  論文  参考訳（メタデータ） (2021-07-23T17:11:27Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。