論文の概要: General2Specialized LLMs Translation for E-commerce
- arxiv url: http://arxiv.org/abs/2403.03689v1
- Date: Wed, 6 Mar 2024 13:15:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 15:06:29.968686
- Title: General2Specialized LLMs Translation for E-commerce
- Title（参考訳）: 一般2 LLMの電子商取引用翻訳
- Authors: Kaidi Chen, Ben Chen, Dehong Gao, Huangyu Dai, Wen Jiang, Wei Ning,
Shanqing Yu, Libin Yang, Xiaoyan Cai
- Abstract要約: 既存のニューラルネットワーク翻訳(NMT)モデルは、一般的なドメインでの翻訳を主に扱う。
電子商取引を例にとると、テキストは通常、ドメイン関連の単語の量を含み、文法的な問題が多い。
本稿では,電子商取引のためのNMTモデルに1つの一般NMTモデルを移行するために,自己コントラスト的セマンティックエンハンスメントを備えた2段階微調整パラダイム(G2ST)を提案する。
- 参考スコア（独自算出の注目度）: 14.642994191283327
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing Neural Machine Translation (NMT) models mainly handle translation in
the general domain, while overlooking domains with special writing formulas,
such as e-commerce and legal documents. Taking e-commerce as an example, the
texts usually include amounts of domain-related words and have more grammar
problems, which leads to inferior performances of current NMT methods. To
address these problems, we collect two domain-related resources, including a
set of term pairs (aligned Chinese-English bilingual terms) and a parallel
corpus annotated for the e-commerce domain. Furthermore, we propose a two-step
fine-tuning paradigm (named G2ST) with self-contrastive semantic enhancement to
transfer one general NMT model to the specialized NMT model for e-commerce. The
paradigm can be used for the NMT models based on Large language models (LLMs).
Extensive evaluations on real e-commerce titles demonstrate the superior
translation quality and robustness of our G2ST approach, as compared with
state-of-the-art NMT models such as LLaMA, Qwen, GPT-3.5, and even GPT-4.
- Abstract（参考訳）: 既存のニューラルマシン翻訳(nmt)モデルは、主に一般ドメインでの翻訳を処理し、eコマースや法的文書のような特別な記述式でドメインを見渡す。
eコマースを例にとると、テキストにはドメイン関連の単語が多く含まれており、文法的な問題があるため、現在のnmtメソッドのパフォーマンスが劣る。
これらの問題に対処するため,我々は,電子商取引ドメインに注釈付き平行コーパスと用語対(中国語と英語のバイリンガル語)のセットを含む2つのドメイン関連リソースを収集した。
さらに,電子商取引のためのNMTモデルに1つの汎用NMTモデルを転送するために,自己コントラスト的セマンティックエンハンスメントを備えた2段階微調整パラダイム(G2ST)を提案する。
このパラダイムは、Large Language Model(LLM)に基づいたNMTモデルに使用することができる。
LLaMA, Qwen, GPT-3.5, さらには GPT-4 といった最先端 NMT モデルと比較して, G2ST アプローチの翻訳品質と堅牢性は高い。
関連論文リスト
- On Instruction-Finetuning Neural Machine Translation Models [13.801102065766777]
ニューラルネットワーク翻訳(NMT)モデルのための命令微調整を導入する。
我々の研究は、従来のNMTモデルの命令追従能力を示す最初のものの一つである。
論文 参考訳（メタデータ） (2024-10-07T23:26:13Z) - Large Language Model for Multi-Domain Translation: Benchmarking and Domain CoT Fine-tuning [55.107329995417786]
大規模言語モデル(LLM)は、目覚ましい一般的な理解と生成能力を示している。
我々は、25のドイツ語$Leftrightarrow$ Englishと22の中国語$Leftrightarrow$ Englishテストセットを特徴とするマルチドメイン翻訳のベンチマークを確立する。
本稿では,LLMの内在的マルチドメインインテリジェンスを活用し,翻訳性能を向上させるためのドメインチェーン・オブ・シント(CoT)ファインチューニング手法を提案する。
論文 参考訳（メタデータ） (2024-10-03T16:15:04Z) - Domain Adaptation for Arabic Machine Translation: The Case of Financial
Texts [0.7673339435080445]
金融分野でアラビア英語(AR-EN)翻訳のための並列コーパスを開発する。
我々は、ChatGPT-3.5 Turboを含むいくつかのNMTおよびLarge Languageモデルを微調整する。
ChatGPT翻訳の品質は, 自動評価および人的評価に基づく他のモデルよりも優れていた。
論文 参考訳（メタデータ） (2023-09-22T13:37:19Z) - Distilling Efficient Language-Specific Models for Cross-Lingual Transfer [75.32131584449786]
多言語変換器(MMT)は多言語間変換学習に広く用いられている。
MMTの言語カバレッジは、モデルサイズ、推論時間、エネルギ、ハードウェアコストの点で、必要以上にコストがかかる。
本稿では,MMTから圧縮された言語固有のモデルを抽出し,言語間移動のための元のMTのキャパシティを保持することを提案する。
論文 参考訳（メタデータ） (2023-06-02T17:31:52Z) - Exploiting Language Relatedness in Machine Translation Through Domain
Adaptation Techniques [3.257358540764261]
文のスケール化類似度スコアを,特に5グラムのKenLM言語モデルに基づく関連言語に適用する手法を提案する。
提案手法は, マルチドメインアプローチでは2 BLEU点, NMTでは3 BLEU点, 反復的バックトランスレーションアプローチでは2 BLEU点の増加に成功している。
論文 参考訳（メタデータ） (2023-03-03T09:07:30Z) - Domain-Specific Text Generation for Machine Translation [7.803471587734353]
ドメイン固有データ拡張のための最先端事前学習言語モデル(LM)を利用したドメイン適応手法を提案する。
我々は、ドメイン内テキストの翻訳を大幅に改善するモデルを訓練するために、混合微調整を用いています。
論文 参考訳（メタデータ） (2022-08-11T16:22:16Z) - Confidence Based Bidirectional Global Context Aware Training Framework
for Neural Machine Translation [74.99653288574892]
我々は、ニューラルネットワーク翻訳(NMT)のための信頼に基づく双方向グローバルコンテキスト認識(CBBGCA)トレーニングフレームワークを提案する。
提案したCBBGCAトレーニングフレームワークは,3つの大規模翻訳データセットにおいて,NMTモデルを+1.02,+1.30,+0.57 BLEUスコアで大幅に改善する。
論文 参考訳（メタデータ） (2022-02-28T10:24:22Z) - Translation Transformers Rediscover Inherent Data Domains [0.0]
NMT変換器が学習した文表現を分析し,テキスト領域の情報を明示的に含んでいることを示す。
この内部情報は、その下にあるドメインの文を、監督なしでクラスタリングするのに十分であることを示す。
NMTモデルは、事前訓練された言語モデル(LM)と比較して、実際のドメインに整合したクラスタを生成することを示す。
論文 参考訳（メタデータ） (2021-09-16T10:58:13Z) - Iterative Domain-Repaired Back-Translation [50.32925322697343]
本稿では,ドメイン内並列コーパスが少ない,あるいは存在しない,低リソースのドメイン固有翻訳に焦点を当てる。
本稿では,合成バイリンガルデータの翻訳を洗練するためのドメイン・リペアモデルを提案する。
提案手法の有効性を示すため,NMTモデルを特定の領域と一般領域から特定の領域に適応させる実験を行った。
論文 参考訳（メタデータ） (2020-10-06T04:38:09Z) - Towards Making the Most of Context in Neural Machine Translation [112.9845226123306]
我々は、これまでの研究がグローバルな文脈をはっきりと利用しなかったと論じている。
本研究では,各文の局所的文脈を意図的にモデル化する文書レベルNMTフレームワークを提案する。
論文 参考訳（メタデータ） (2020-02-19T03:30:00Z) - A Simple Baseline to Semi-Supervised Domain Adaptation for Machine
Translation [73.3550140511458]
State-of-the-art Neural Machine Translation (NMT)システムは、データハングリーであり、教師付きデータを持たない新しいドメインではパフォーマンスが良くない。
NMTの半教師付きドメイン適応シナリオに対する単純だが効果のあるアプローチを提案する。
このアプローチは、言語モデリング、バックトランスレーション、教師付き翻訳の3つのトレーニング目標を通じて、TransformerベースのNMTモデルを反復的にトレーニングする。
論文 参考訳（メタデータ） (2020-01-22T16:42:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。