論文の概要: Reference Free Domain Adaptation for Translation of Noisy Questions with Question Specific Rewards

• arxiv url: http://arxiv.org/abs/2310.15259v1
• Date: Mon, 23 Oct 2023 18:08:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 22:24:03.021688
• Title: Reference Free Domain Adaptation for Translation of Noisy Questions with Question Specific Rewards
• Title（参考訳）: 質問特典付き雑音質問の翻訳のための参照自由領域適応
• Authors: Baban Gain, Ramakrishna Appicharla, Soumya Chennabasavaraj, Nikesh Garera, Asif Ekbal, Muthusamy Chelliah
• Abstract要約: Neural Machine Translationを使って質問を翻訳することは、ノイズの多い環境でより多くの課題をもたらす。 ソース側データのみを用いてNMTシステムを微調整する訓練手法を提案する。 提案手法は,BERTScore と Masked Language Model (MLM) Score を組み合わせた損失関数を利用することで,妥当性と流速のバランスをとる。
• 参考スコア（独自算出の注目度）: 22.297433705607464
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Community Question-Answering (CQA) portals serve as a valuable tool for helping users within an organization. However, making them accessible to non-English-speaking users continues to be a challenge. Translating questions can broaden the community's reach, benefiting individuals with similar inquiries in various languages. Translating questions using Neural Machine Translation (NMT) poses more challenges, especially in noisy environments, where the grammatical correctness of the questions is not monitored. These questions may be phrased as statements by non-native speakers, with incorrect subject-verb order and sometimes even missing question marks. Creating a synthetic parallel corpus from such data is also difficult due to its noisy nature. To address this issue, we propose a training methodology that fine-tunes the NMT system only using source-side data. Our approach balances adequacy and fluency by utilizing a loss function that combines BERTScore and Masked Language Model (MLM) Score. Our method surpasses the conventional Maximum Likelihood Estimation (MLE) based fine-tuning approach, which relies on synthetic target data, by achieving a 1.9 BLEU score improvement. Our model exhibits robustness while we add noise to our baseline, and still achieve 1.1 BLEU improvement and large improvements on TER and BLEURT metrics. Our proposed methodology is model-agnostic and is only necessary during the training phase. We make the codes and datasets publicly available at \url{https://www.iitp.ac.in/~ai-nlp-ml/resources.html#DomainAdapt} for facilitating further research.
• Abstract（参考訳）: Community Question-Answering (CQA)ポータルは、組織内のユーザを支援する貴重なツールである。 しかし、英語以外のユーザーにもアクセスできるようにすることは依然として課題である。 質問を翻訳することは、コミュニティのリーチを広げ、様々な言語で同様の問い合わせを行う個人に利益をもたらす。 ニューラルマシン翻訳(nmt)を用いた質問の翻訳は、特に、質問の文法的正確性が監視されていないノイズ環境において、さらに課題となる。 これらの質問は、非ネイティブ話者による言葉として表現され、不正確な主語順と時には欠落する質問マークがある。 このようなデータから合成並列コーパスを作成することも、ノイズの性質から難しい。 そこで本研究では,ソース側データのみを用いてNMTシステムを微調整するトレーニング手法を提案する。 提案手法は,BERTScore と Masked Language Model (MLM) Score を組み合わせた損失関数を利用することで,妥当性と流速のバランスをとる。 提案手法は,1.9 bleuスコア改善を達成することにより,合成対象データに依存する従来のmle(maximum likelihood estimation)ベースの微調整手法を上回った。 我々のモデルは、ベースラインにノイズを加えながら堅牢性を示し、なおも1.1BLEUの改善とTERおよびBLEURTメトリクスの大幅な改善を実現している。 提案手法はモデル非依存であり,トレーニング段階でのみ必要である。 さらなる研究を促進するため、コードとデータセットを \url{https://www.iitp.ac.in/~ai-nlp-ml/resources.html#DomainAdapt} で公開しています。

関連論文リスト

• LANDeRMT: Detecting and Routing Language-Aware Neurons for Selectively Finetuning LLMs to Machine Translation [43.26446958873554]
  大規模言語モデル(LLM)は,バイリンガルの監督が限られているにもかかわらず,多言語翻訳において有望な結果を示している。 大規模言語モデル(LLM)の最近の進歩は,バイリンガルの監督が限定された場合でも,多言語翻訳において有望な結果を示している。 LandeRMT は LLM を textbfMachine textbfTranslation に選択的に微調整するフレームワークである。
  論文  参考訳（メタデータ） (2024-09-29T02:39:42Z)
• A Data Selection Approach for Enhancing Low Resource Machine Translation Using Cross-Lingual Sentence Representations [0.4499833362998489]
  本研究は,既存のデータセットが特に騒々しい英語-マラティー語対の事例に焦点を当てた。 データ品質問題の影響を軽減するために,言語間文表現に基づくデータフィルタリング手法を提案する。 その結果,IndicSBERTによるベースラインポストフィルタよりも翻訳品質が大幅に向上した。
  論文  参考訳（メタデータ） (2024-09-04T13:49:45Z)
• Towards Effective Disambiguation for Machine Translation with Large Language Models [65.80775710657672]
  我々は「あいまいな文」を翻訳する大規模言語モデルの能力について研究する。 実験の結果,提案手法はDeepLやNLLBといった最先端システムと5つの言語方向のうち4つで一致し,性能を向上できることがわかった。
  論文  参考訳（メタデータ） (2023-09-20T22:22:52Z)
• Simultaneous Machine Translation with Large Language Models [51.470478122113356]
  我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。 MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。 その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-09-13T04:06:47Z)
• Overcoming Catastrophic Forgetting in Zero-Shot Cross-Lingual Generation [48.80125962015044]
  ラベル付きデータが英語でのみ利用可能である場合、対象言語で生成タスク(すなわち要約)を実行するという問題について検討する。 パラメータ効率の低い言語間での移動において、パラメータ効率の適応は標準的な微調整よりも向上することがわかった。 提案手法はさらなる品質向上を実現し,ロバストなゼロショット・クロスランガル生成が到達範囲内であることを示唆する。
  論文  参考訳（メタデータ） (2022-05-25T10:41:34Z)
• LaMDA: Language Models for Dialog Applications [75.75051929981933]
  LaMDAは、ダイアログに特化したトランスフォーマーベースのニューラルネットワークモデルのファミリーである。 注釈付きデータで微調整し、モデルが外部の知識ソースを参照できるようにすると、大幅な改善がもたらされる。
  論文  参考訳（メタデータ） (2022-01-20T15:44:37Z)
• Multilingual Unsupervised Neural Machine Translation with Denoising Adapters [77.80790405710819]
  単言語データのみを持つ言語を翻訳・翻訳する多言語無教師機械翻訳の問題点を考察する。 この問題に対して、モノリンガルデータを活用するための標準的な手順は、計算コストが高くチューニングが難しいバックトランスレーションである。 本稿では,事前学習したmBART-50上に,デノナイジング対象のアダプタ層であるデノナイジングアダプタを使用することを提案する。
  論文  参考訳（メタデータ） (2021-10-20T10:18:29Z)
• When Does Translation Require Context? A Data-driven, Multilingual Exploration [71.43817945875433]
  談話の適切な処理は機械翻訳(MT)の品質に大きく貢献する 文脈認識型MTにおける最近の研究は、評価中に少量の談話現象を標的にしようとしている。 談話現象のモデル性能を識別・評価するタグの集合である,多言語談話認識ベンチマークを開発した。
  論文  参考訳（メタデータ） (2021-09-15T17:29:30Z)
• Majority Voting with Bidirectional Pre-translation For Bitext Retrieval [2.580271290008534]
  一般的なアプローチは、2つの言語でペアの文書からいわゆる"pseudo-parallel"文をマイニングすることであった。 本稿では,現状の手法による問題を概説し,それらの問題に対する計算経済的解決策を提案し,新しい手法による成功を実証する。 実験に使用されるコードとデータは公開されています。
  論文  参考訳（メタデータ） (2021-03-10T22:24:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。