論文の概要: Generating Adversarial Texts for Machine Translation via GRPO
- arxiv url: http://arxiv.org/abs/2609.06048v1
- Date: Sat, 05 Sep 2026 12:06:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-12 11:47:28.103627
- Title: Generating Adversarial Texts for Machine Translation via GRPO
- Title(参考訳): GRPOによる機械翻訳用逆テキストの生成
- Abstract要約: 既存のテキストの書き直しに拡張性のある強化学習に基づくアプローチを提案する。
WMT25では,文法と可読性を保ちながら,平均COMET翻訳品質を0.63から0.48に大幅に低下させる。
未確認のWMT19-WMT24ベンチマークの評価により、この挙動がトレーニングデータを超えて一般化されることが確認された。
- 参考スコア(独自算出の注目度): 9.016860740260679
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As machine translation (MT) systems continue to improve, standard benchmarks become less informative for exposing remaining weaknesses. Traditional methods for creating challenging test sets rely on expensive manual creation or curation, while automated approaches struggle to produce sets with the necessary translation difficulty and linguistic diversity. We propose a scalable reinforcement-learning-based approach for rewriting existing source texts into instances that are more difficult to translate for MT systems. We fine-tune a large language model with Group Relative Policy Optimization (GRPO), using reward signals based on translation difficulty together with constraints for semantic similarity, grammaticality, and approximate length preservation. On WMT25, our approach substantially reduces average COMET translation quality from 0.63 to 0.48, while preserving grammaticality and readability, whereas the base model remains at 0.64. Evaluations on the unseen WMT19-WMT24 benchmarks confirm that this behavior generalizes beyond the training data, and human evaluation further shows that the rewrites substantially lower translation quality while incurring a moderate drop in naturalness and only a small change in grammaticality. We release our code to support reproducibility.
- Abstract(参考訳): 機械翻訳(MT)システムの改善が進むにつれ、標準ベンチマークは弱点を露呈するほど情報に乏しくなっている。
挑戦的なテストセットを作成する従来の方法は、高価なマニュアル作成やキュレーションに依存し、自動化されたアプローチは、必要な翻訳困難と言語的多様性を持つセットを生成するのに苦労する。
本稿では,既存のテキストをMTシステムに翻訳し難いインスタンスに書き換える,スケーラブルな強化学習に基づくアプローチを提案する。
我々は,意味的類似性,文法性,近似長保存の制約とともに,翻訳難度に基づく報酬信号を用いて,グループ相対ポリシー最適化(GRPO)を用いた大規模言語モデルを微調整する。
WMT25では,文法と可読性を保ちながら,平均COMET翻訳品質を0.63から0.48に大幅に低下させ,基本モデルは0.64に留まった。
未確認のWMT19-WMT24ベンチマークの評価は、この動作がトレーニングデータを超えて一般化されることを確認し、さらに人的評価は、書き直しは、自然性の適度な低下と文法性のわずかな変化を伴いながら、翻訳品質を著しく低くすることを示している。
再現性をサポートするためにコードをリリースします。
関連論文リスト
- Unlocking Reasoning Capability on Machine Translation in Large Language Models [57.60641851466707]
推論指向の大規模言語モデル(RLM)は、明示的な中間推論を生成することにより、数学やコーディングといったタスクに強い利益をもたらす。
WMT24++ベンチマークを用いて,オープンおよびクローズドヘビー級のRCMを系統的に評価した。
明示的な推論を可能にすることは、言語やモデル間の翻訳品質を一貫して低下させる。
論文 参考訳(メタデータ) (2026-02-16T14:05:59Z) - Beyond Literal Mapping: Benchmarking and Improving Non-Literal Translation Evaluation [57.11989521509119]
本稿では,特殊なサブエージェントを起動するリフレクティブコアエージェントを中心に,エージェント翻訳評価フレームワークを提案する。
実験の結果、RATEの有効性が示され、現在の測定値と比較して少なくとも3.2メタスコアの改善が達成された。
論文 参考訳(メタデータ) (2026-01-12T09:03:42Z) - Low-Resource English-Tigrinya MT: Leveraging Multilingual Models, Custom Tokenizers, and Clean Evaluation Benchmarks [6.177998679139308]
ニューラルネットワーク翻訳(NMT)の進歩にもかかわらず、Tigrinyaのような低リソース言語はいまだに保存されていない。
本稿では,多言語事前学習モデルを用いた翻訳学習手法について検討し,形態的に豊かな低リソース言語に対する翻訳品質を向上させる。
論文 参考訳(メタデータ) (2025-09-24T15:02:57Z) - Languages Still Left Behind: Toward a Better Multilingual Machine Translation Benchmark [11.068031181100276]
我々は4つの言語(Asante Twi, Japanese, Jinghpaw, South Azerbaijani)のデータを研究する。
真の多言語評価に対するベンチマークの適合性の重大な欠点を明らかにする。
我々は、ドメイン汎用および文化的に中立なソーステキストを使用する多言語MTベンチマークを提唱する。
論文 参考訳(メタデータ) (2025-08-28T07:52:42Z) - Estimating Machine Translation Difficulty [48.659971048116766]
翻訳難易度推定のタスクを形式化し、その翻訳の期待品質に基づいてテキストの難易度を定義する。
本稿では,機械翻訳のためのより困難なベンチマークを構築するために,難易度推定器の実用性を示す。
難易度推定のための2つの改良されたモデル、Sentinel-src-24とSentinel-src-25をリリースする。
論文 参考訳(メタデータ) (2025-08-13T20:22:58Z) - Do LLMs Understand Your Translations? Evaluating Paragraph-level MT with Question Answering [68.3400058037817]
本稿では,TREQA(Translation Evaluation via Question-Answering)について紹介する。
我々は,TREQAが最先端のニューラルネットワークとLLMベースのメトリクスより優れていることを示し,代用段落レベルの翻訳をランク付けする。
論文 参考訳(メタデータ) (2025-04-10T09:24:54Z) - A Data Selection Approach for Enhancing Low Resource Machine Translation Using Cross-Lingual Sentence Representations [0.4499833362998489]
本研究は,既存のデータセットが特に騒々しい英語-マラティー語対の事例に焦点を当てた。
データ品質問題の影響を軽減するために,言語間文表現に基づくデータフィルタリング手法を提案する。
その結果,IndicSBERTによるベースラインポストフィルタよりも翻訳品質が大幅に向上した。
論文 参考訳(メタデータ) (2024-09-04T13:49:45Z) - BitextEdit: Automatic Bitext Editing for Improved Low-Resource Machine
Translation [53.55009917938002]
自動編集によりマイニングしたビットクストを改良することを提案する。
提案手法は,5つの低リソース言語ペアと10の翻訳方向に対して,最大8個のBLEUポイントでCCMatrixマイニングビットクストの品質を向上することを示す。
論文 参考訳(メタデータ) (2021-11-12T16:00:39Z) - When Does Translation Require Context? A Data-driven, Multilingual
Exploration [71.43817945875433]
談話の適切な処理は機械翻訳(MT)の品質に大きく貢献する
文脈認識型MTにおける最近の研究は、評価中に少量の談話現象を標的にしようとしている。
談話現象のモデル性能を識別・評価するタグの集合である,多言語談話認識ベンチマークを開発した。
論文 参考訳(メタデータ) (2021-09-15T17:29:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。