論文の概要: Alleviating Distribution Shift in Synthetic Data for Machine Translation Quality Estimation

• arxiv url: http://arxiv.org/abs/2502.19941v1
• Date: Thu, 27 Feb 2025 10:11:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:58:13.133714
• Title: Alleviating Distribution Shift in Synthetic Data for Machine Translation Quality Estimation
• Title（参考訳）: 機械翻訳品質推定のための合成データにおける分布変化の緩和
• Authors: Xiang Geng, Zhejian Lai, Jiajun Chen, Hao Yang, Shujian Huang,
• Abstract要約: 本稿では,合成QEデータの分散シフトを緩和する新しいフレームワークであるADSQEを紹介する。 ADSQEは、参照、すなわち翻訳監督信号を使用して、生成プロセスとアノテーションプロセスの両方をガイドする。 実験によると、ADSQEはCOMETのようなSOTAベースラインを教師なしと教師なしの両方で上回っている。
• 参考スコア（独自算出の注目度）: 55.73341401764367
• License:
• Abstract: Quality Estimation (QE) models evaluate the quality of machine translations without reference translations, serving as the reward models for the translation task. Due to the data scarcity, synthetic data generation has emerged as a promising solution. However, synthetic QE data often suffers from distribution shift, which can manifest as discrepancies between pseudo and real translations, or in pseudo labels that do not align with human preferences. To tackle this issue, we introduce ADSQE, a novel framework for alleviating distribution shift in synthetic QE data. To reduce the difference between pseudo and real translations, we employ the constrained beam search algorithm and enhance translation diversity through the use of distinct generation models. ADSQE uses references, i.e., translation supervision signals, to guide both the generation and annotation processes, enhancing the quality of word-level labels. ADSE further identifies the shortest phrase covering consecutive error tokens, mimicking human annotation behavior, to assign the final phrase-level labels. Specially, we underscore that the translation model can not annotate translations of itself accurately. Extensive experiments demonstrate that ADSQE outperforms SOTA baselines like COMET in both supervised and unsupervised settings. Further analysis offers insights into synthetic data generation that could benefit reward models for other tasks.
• Abstract（参考訳）: 品質推定(QE)モデルは、参照翻訳のない機械翻訳の品質を評価し、翻訳タスクの報酬モデルとして機能する。 データ不足のため、有望なソリューションとして合成データ生成が登場した。 しかし、合成QEデータは、しばしば、擬似翻訳と実際の翻訳との違いとして現れる分布シフトや、人間の好みと一致しない擬似ラベルに悩まされる。 そこで本研究では,合成QEデータの分散シフトを緩和する新しいフレームワークであるADSQEを紹介する。 擬似翻訳と実翻訳の違いを低減するため,制約付きビーム探索アルゴリズムを用い,異なる生成モデルを用いて翻訳の多様性を向上させる。 ADSQEは、参照、すなわち翻訳監督信号を使用して、生成プロセスとアノテーションプロセスの両方をガイドし、単語レベルのラベルの品質を向上させる。 ADSEはさらに、人間のアノテーションの振る舞いを模倣し、連続するエラートークンをカバーする最も短いフレーズを特定し、最後のフレーズレベルのラベルを割り当てる。 特に,翻訳モデルは,翻訳そのものを正確に注釈付けできないことを強調する。 大規模な実験では、ADSQEはCOMETのようなSOTAベースラインを教師なしと教師なしの両方で上回っている。 さらなる分析は、他のタスクに対する報酬モデルに利益をもたらす合成データ生成に関する洞察を提供する。

関連論文リスト

• When LLMs Struggle: Reference-less Translation Evaluation for Low-resource Languages [9.138590152838754]
  セグメントレベルの品質評価(QE)は言語間理解の難しい課題である。 ゼロ/フェーショットシナリオにおいて,大規模言語モデル (LLM) を包括的に評価する。 この結果から,エンコーダを用いた微調整QEモデルでは,プロンプトベースアプローチの方が優れていたことが示唆された。
  論文  参考訳（メタデータ） (2025-01-08T12:54:05Z)
• A Data Selection Approach for Enhancing Low Resource Machine Translation Using Cross-Lingual Sentence Representations [0.4499833362998489]
  本研究は,既存のデータセットが特に騒々しい英語-マラティー語対の事例に焦点を当てた。 データ品質問題の影響を軽減するために,言語間文表現に基づくデータフィルタリング手法を提案する。 その結果,IndicSBERTによるベースラインポストフィルタよりも翻訳品質が大幅に向上した。
  論文  参考訳（メタデータ） (2024-09-04T13:49:45Z)
• Unified Model Learning for Various Neural Machine Translation [63.320005222549646]
  既存の機械翻訳(NMT)研究は主にデータセット固有のモデルの開発に焦点を当てている。 我々は,NMT(UMLNMT)のための統一モデル学習モデル(Unified Model Learning for NMT)を提案する。 OurNMTは、データセット固有のモデルよりも大幅に改善され、モデルデプロイメントコストが大幅に削減される。
  論文  参考訳（メタデータ） (2023-05-04T12:21:52Z)
• Towards Fine-Grained Information: Identifying the Type and Location of Translation Errors [80.22825549235556]
  既存のアプローチでは、エラーの位置と型を同期的に考慮することはできない。 我々はtextbf の追加と textbfomission エラーを予測するために FG-TED モデルを構築した。 実験により,本モデルではエラータイプと位置の同時同定が可能であり,最先端の結果が得られた。
  論文  参考訳（メタデータ） (2023-02-17T16:20:33Z)
• HanoiT: Enhancing Context-aware Translation via Selective Context [95.93730812799798]
  コンテキスト対応ニューラルネットワーク翻訳は、文書レベルのコンテキストを使用して翻訳品質を改善することを目的としている。 無関係または自明な単語は、いくつかのノイズをもたらし、モデルが現在の文と補助的な文脈の関係を学ぶのを邪魔する可能性がある。 そこで本稿では,階層的選択機構を備えたエンド・ツー・エンドのエンコーダ・デコーダモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-17T12:07:13Z)
• Rethink about the Word-level Quality Estimation for Machine Translation from Human Judgement [57.72846454929923]
  ベンチマークデータセットであるemphHJQEを作成し、専門家翻訳者が不適切な翻訳語を直接アノテートする。 本稿では,タグリファインメント戦略と木ベースのアノテーション戦略という2つのタグ補正戦略を提案し,TERベースの人工QEコーパスをemphHJQEに近づける。 その結果,提案したデータセットは人間の判断と一致しており,また,提案したタグ補正戦略の有効性も確認できた。
  論文  参考訳（メタデータ） (2022-09-13T02:37:12Z)
• Non-Autoregressive Neural Machine Translation: A Call for Clarity [3.1447111126465]
  我々は、非自己回帰的翻訳モデルを改善するために提案されたいくつかの手法を再検討する。 我々は,長文予測やCTCに基づくアーキテクチャ変種を用いて,強力なベースラインを確立するための新たな洞察を提供する。 4つの翻訳タスクに対してsareBLEUを用いて,標準化されたBLEU,chrF++,TERスコアをコントリビュートする。
  論文  参考訳（メタデータ） (2022-05-21T12:15:22Z)
• Improving Multilingual Translation by Representation and Gradient Regularization [82.42760103045083]
  表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。 提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-10T10:52:21Z)
• Translation Error Detection as Rationale Extraction [36.616561917049076]
  本稿では,現在最先端の文レベルQEモデルの振る舞いについて検討し,翻訳誤りを検出するために実際に説明が利用できることを示す。 単語レベルQEのための新しい半教師付き手法を導入し、(ii)特徴属性の妥当性を評価するための新しいベンチマークとしてQEタスクを提案する。
  論文  参考訳（メタデータ） (2021-08-27T09:35:14Z)
• Quality Estimation without Human-labeled Data [25.25993509174361]
  品質評価は、参照翻訳にアクセスすることなく、翻訳されたコンテンツの質を測定することを目的としている。 本稿では,人間アノテーションの例に頼らず,合成学習データを用いた手法を提案する。 合成データの品質評価を教師するオフ・ザ・シェルフアーキテクチャをトレーニングし、結果として得られたモデルが、人間の注釈付きデータに基づいてトレーニングされたモデルに匹敵する性能を発揮することを示す。
  論文  参考訳（メタデータ） (2021-02-08T06:25:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。