論文の概要: LexMatcher: Dictionary-centric Data Collection for LLM-based Machine Translation

• arxiv url: http://arxiv.org/abs/2406.01441v2
• Date: Tue, 2 Jul 2024 08:00:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 06:59:27.437785
• Title: LexMatcher: Dictionary-centric Data Collection for LLM-based Machine Translation
• Title（参考訳）: LexMatcher: LLMを用いた機械翻訳のための辞書中心のデータ収集
• Authors: Yongjing Yin, Jiali Zeng, Yafu Li, Fandong Meng, Yue Zhang,
• Abstract要約: 本稿では、バイリンガル辞書に見られる感覚のカバレッジによって駆動されるデータキュレーション手法であるLexMatcherを提案する。 我々の手法は、WMT2022テストセットの確立されたベースラインよりも優れています。
• 参考スコア（独自算出の注目度）: 67.24113079928668
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The fine-tuning of open-source large language models (LLMs) for machine translation has recently received considerable attention, marking a shift towards data-centric research from traditional neural machine translation. However, the area of data collection for instruction fine-tuning in machine translation remains relatively underexplored. In this paper, we present LexMatcher, a simple yet effective method for data curation, the design of which is driven by the coverage of senses found in bilingual dictionaries. The construction process comprises data retrieval from an existing corpus and data augmentation that supplements the infrequent senses of polysemous words. Utilizing LLaMA2 as our base model, our approach outperforms the established baselines on the WMT2022 test sets and also exhibits remarkable performance in tasks related to word sense disambiguation and specialized terminology translation. These results underscore the effectiveness of LexMatcher in enhancing LLM-based machine translation. The code, data, and models are available at https://github.com/ARIES-LM/Lexmatcher-MT.git.
• Abstract（参考訳）: 機械翻訳のためのオープンソースの大規模言語モデル(LLM)の微調整が最近注目され、従来のニューラルネットワーク翻訳からデータ中心の研究へとシフトした。 しかし、機械翻訳における微調整のためのデータ収集の領域は、いまだに未探索である。 本稿では、バイリンガル辞書に見られる感覚のカバレッジによって駆動される、単純で効果的なデータキュレーション手法であるLexMatcherを提案する。 構築工程は、既存のコーパスからのデータ検索と、多文語の頻繁な感覚を補うデータ拡張とを含む。 提案手法は,LLaMA2をベースモデルとして,WMT2022テストセットの確立したベースラインよりも優れ,単語感覚の曖昧さや専門用語の翻訳に関わるタスクにおいて,優れた性能を示す。 これらの結果は、LxMatcherがLLMベースの機械翻訳の強化に有効であることを示す。 コード、データ、モデルはhttps://github.com/ARIES-LM/Lexmatcher-MT.gitで公開されている。

関連論文リスト

• An approach for mistranslation removal from popular dataset for Indic MT Task [5.4755933832880865]
  トレーニングコーパスから誤訳を除去し,その性能と効率を評価するアルゴリズムを提案する。 実験には2つのIndic言語(IL)、すなわちHindi(HIN)とOdia(ODI)が選択される。 実験における翻訳の質は,BLEU, METEOR, RIBESなどの標準指標を用いて評価する。
  論文  参考訳（メタデータ） (2024-01-12T06:37:19Z)
• Towards Effective Disambiguation for Machine Translation with Large Language Models [65.80775710657672]
  我々は「あいまいな文」を翻訳する大規模言語モデルの能力について研究する。 実験の結果,提案手法はDeepLやNLLBといった最先端システムと5つの言語方向のうち4つで一致し,性能を向上できることがわかった。
  論文  参考訳（メタデータ） (2023-09-20T22:22:52Z)
• Sinhala-English Parallel Word Dictionary Dataset [0.554780083433538]
  本稿では,英語とシンハラ語に関連する多言語自然言語処理(NLP)タスクを支援する3つの並行英語・シンハラ語辞書(En-Si-dict-large,En-Si-dict-filtered,En-Si-dict-FastText)を紹介する。
  論文  参考訳（メタデータ） (2023-08-04T10:21:35Z)
• Bilex Rx: Lexical Data Augmentation for Massively Multilingual Machine Translation [33.6064740446337]
  この研究は、この問題に対処するための安価で豊富な資源であるバイリンガル・レキシカを探求する。 我々は,ウェブクローリングテキストを用いた200言語翻訳モデルを用いて,実世界の辞書におけるバイリンガル辞書の有効性を検証した。 筆者らは,(1)語彙データ拡張を用いて,教師なし翻訳の性能向上を実証し,(2)データ拡張のいくつかの家系を比較し,それらが類似した改善をもたらすことを示すとともに,(3)より大きく,ノイズの多いレキシカよりも慎重にキュレートされたレキシカの重要性を示す。
  論文  参考訳（メタデータ） (2023-03-27T14:54:43Z)
• Modeling Sequential Sentence Relation to Improve Cross-lingual Dense Retrieval [87.11836738011007]
  マスク付き文モデル(MSM)と呼ばれる多言語多言語言語モデルを提案する。 MSMは、文表現を生成する文エンコーダと、文書から文ベクトルのシーケンスに適用される文書エンコーダとから構成される。 モデルをトレーニングするために,サンプル負の階層的コントラスト損失によって文ベクトルをマスクし,予測するマスク付き文予測タスクを提案する。
  論文  参考訳（メタデータ） (2023-02-03T09:54:27Z)
• On Cross-Lingual Retrieval with Multilingual Text Encoders [51.60862829942932]
  言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性について検討する。 教師なしのアドホック文と文書レベルのCLIR実験でそれらの性能をベンチマークする。 我々は、ゼロショット言語とドメイン転送CLIR実験のシリーズにおける英語関連データに基づいて、教師付き方式で微調整された多言語エンコーダの評価を行った。
  論文  参考訳（メタデータ） (2021-12-21T08:10:27Z)
• Mixed Attention Transformer for LeveragingWord-Level Knowledge to Neural Cross-Lingual Information Retrieval [15.902630454568811]
  本稿では,辞書や翻訳表などの外部単語レベルの知識を取り入れた,MAT(Mixed Attention Transformer)を提案する。 翻訳知識をアテンションマトリックスに符号化することにより、MATを用いたモデルは、入力シーケンス内の相互翻訳された単語にフォーカスすることができる。
  論文  参考訳（メタデータ） (2021-09-07T00:33:14Z)
• XLM-T: Scaling up Multilingual Machine Translation with Pretrained Cross-lingual Transformer Encoders [89.0059978016914]
  そこで本稿では,既製のクロスリンガルトランスフォーマでモデルを初期化し,多言語並列データで微調整するXLM-Tを提案する。 この単純な方法は,10対のWMTデータセットと94対のOPUS-100コーパスにおいて,大幅な改善を実現する。
  論文  参考訳（メタデータ） (2020-12-31T11:16:51Z)
• Constraint Translation Candidates: A Bridge between Neural Query Translation and Cross-lingual Information Retrieval [45.88734029123836]
  本稿では,QTのオープンターゲット語彙検索空間を,検索インデックスデータベースから抽出した重要な単語の集合に限定することで,問題を緩和する新しい手法を提案する。 提案手法を実単語CLIRシステムで活用し,検討した。
  論文  参考訳（メタデータ） (2020-10-26T15:27:51Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。