論文の概要: Word Alignment as Preference for Machine Translation

• arxiv url: http://arxiv.org/abs/2405.09223v1
• Date: Wed, 15 May 2024 10:04:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-16 13:46:20.100008
• Title: Word Alignment as Preference for Machine Translation
• Title（参考訳）: 機械翻訳の選好としての単語アライメント
• Authors: Qiyu Wu, Masaaki Nagata, Zhongtao Miao, Yoshimasa Tsuruoka,
• Abstract要約: 機械翻訳における長年の問題である幻覚と省略は、大規模な言語モデル(LLM)がMTで使用されるとより顕著になる。 本研究では,LLMに基づくMTモデルにおいて,より優れた単語アライメントを導くことによって問題を緩和する。
• 参考スコア（独自算出の注目度）: 26.034259118390132
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The problem of hallucination and omission, a long-standing problem in machine translation (MT), is more pronounced when a large language model (LLM) is used in MT because an LLM itself is susceptible to these phenomena. In this work, we mitigate the problem in an LLM-based MT model by guiding it to better word alignment. We first study the correlation between word alignment and the phenomena of hallucination and omission in MT. Then we propose to utilize word alignment as preference to optimize the LLM-based MT model. The preference data are constructed by selecting chosen and rejected translations from multiple MT tools. Subsequently, direct preference optimization is used to optimize the LLM-based model towards the preference signal. Given the absence of evaluators specifically designed for hallucination and omission in MT, we further propose selecting hard instances and utilizing GPT-4 to directly evaluate the performance of the models in mitigating these issues. We verify the rationality of these designed evaluation methods by experiments, followed by extensive results demonstrating the effectiveness of word alignment-based preference optimization to mitigate hallucination and omission.
• Abstract（参考訳）: 機械翻訳における長年の課題である幻覚と省略の問題は、LLM自体がこれらの現象に影響を受けやすいため、大規模な言語モデル(LLM)がMTで使用される場合よりも顕著である。 本研究では,LLMに基づくMTモデルにおいて,より優れた単語アライメントを導くことによって問題を緩和する。 まず,MTにおける単語アライメントと幻覚・排他現象の相関について検討し,LLMに基づくMTモデルを最適化するために,単語アライメントを優先的に活用することを提案する。 選好データは、複数のMTツールから選択された翻訳と拒否された翻訳を選択して構成される。 その後、直接選好最適化を用いて、LLMベースのモデルを優先信号に向けて最適化する。 MTにおける幻覚や消毒に特化して設計された評価器が存在しないことを踏まえ、これらの問題を緩和するために、ハードインスタンスの選択とGPT-4の利用を提案し、モデルの性能を直接評価する。 実験により設計した評価手法の合理性を検証するとともに,単語アライメントに基づく選好最適化の有効性を実証し,幻覚と省略を緩和する。

関連論文リスト

• Refining Translations with LLMs: A Constraint-Aware Iterative Prompting Approach [7.5069214839655345]
  大言語モデル(LLM)は機械翻訳(MT)において顕著な熟練性を示している 本稿では,意味的正確性に不可欠なキーワードを優先することで,翻訳忠実度を高める多段階のプロンプトチェーンを提案する。 FLORES-200およびWMTデータセットのベースモデルとしてLlamaとQwenを使用した実験は、ベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-11-13T05:40:24Z)
• OTTAWA: Optimal TransporT Adaptive Word Aligner for Hallucination and Omission Translation Errors Detection [36.59354124910338]
  オタワ(Ottawa)は、機械翻訳システムにおける幻覚や失語の検出を強化するために特別に設計された単語整合器である。 提案手法は,HalOmiベンチマークを用いた18言語対の最先端手法と比較して,競争力のある結果が得られる。
  論文  参考訳（メタデータ） (2024-06-04T03:00:55Z)
• Multi-Reference Preference Optimization for Large Language Models [56.84730239046117]
  複数の参照モデルを用いた直接選好最適化のための新しいクローズドフォームの定式化を提案する。 得られたアルゴリズムであるMulti-Reference Preference Optimization (MRPO)は、様々な参照モデルからより広範な事前知識を活用する。 MRPOを微調整したLLMは,データ不足や多量性に関わらず,様々な嗜好データにおいてより一般化されていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T00:29:04Z)
• ALMol: Aligned Language-Molecule Translation LLMs through Offline Preference Contrastive Optimisation [2.296475290901356]
  機械語-分子翻訳に焦点をあて、コントラスト優先最適化と呼ばれる新しい訓練手法を展開する。 その結果,我々のモデルでは,他のモデルと比較して最大32%の改善が達成された。
  論文  参考訳（メタデータ） (2024-05-14T13:59:24Z)
• A Preference-driven Paradigm for Enhanced Translation with Large Language Models [33.51585908894444]
  大規模言語モデル(LLM)は,少数の並列データのみを用いて,優れた翻訳性能を実現する。 SFTは単にトークンレベルで参照翻訳を模倣するようにモデルに指示し、参照に存在するノイズに弱い。 この高原を克服するために、Planet-Luceモデルに基づく嗜好に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2024-04-17T11:52:47Z)
• MT-PATCHER: Selective and Extendable Knowledge Distillation from Large Language Models for Machine Translation [61.65537912700187]
  機械翻訳(MT)分野における言語モデル(LLM)の強みを実証した。 我々は,LLMから既存のMTモデルに選択的かつ包括的かつ積極的に知識を伝達するMT-Patcherというフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-14T16:07:39Z)
• Contrastive Preference Optimization: Pushing the Boundaries of LLM Performance in Machine Translation [50.00235162432848]
  我々は22Kパラレル文と12Mパラメータしか持たないALMAモデルを訓練する。 ALMA-Rと呼ばれる結果のモデルは、WMTコンテストの勝者とGPT-4のパフォーマンスと一致または上回ることができる。
  論文  参考訳（メタデータ） (2024-01-16T15:04:51Z)
• Improving Machine Translation with Large Language Models: A Preliminary Study with Cooperative Decoding [73.32763904267186]
  大きな言語モデル(LLM)は、優れた翻訳品質を達成する可能性を示す。 我々は,NMTシステムを事前翻訳モデルとして扱うCooperative Decoding(CoDec)と,MT指向LLMを補足解として提案する。
  論文  参考訳（メタデータ） (2023-11-06T03:41:57Z)
• Towards Effective Disambiguation for Machine Translation with Large Language Models [65.80775710657672]
  我々は「あいまいな文」を翻訳する大規模言語モデルの能力について研究する。 実験の結果,提案手法はDeepLやNLLBといった最先端システムと5つの言語方向のうち4つで一致し,性能を向上できることがわかった。
  論文  参考訳（メタデータ） (2023-09-20T22:22:52Z)
• Language Model Prior for Low-Resource Neural Machine Translation [85.55729693003829]
  ニューラル翻訳モデル (TM) において, LM を事前に組み込む新しい手法を提案する。 正規化項を追加し、TMの出力分布をLMの下で予測可能とする。 2つの低リソース機械翻訳データセットの結果は、限られたモノリンガルデータであっても明らかな改善を示している。
  論文  参考訳（メタデータ） (2020-04-30T16:29:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。