論文の概要: Tuning LLMs with Contrastive Alignment Instructions for Machine Translation in Unseen, Low-resource Languages

• arxiv url: http://arxiv.org/abs/2401.05811v2
• Date: Sat, 20 Jul 2024 11:13:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 03:02:44.559957
• Title: Tuning LLMs with Contrastive Alignment Instructions for Machine Translation in Unseen, Low-resource Languages
• Title（参考訳）: 低リソース言語における機械翻訳のためのコントラストアライメント命令付きLLMのチューニング
• Authors: Zhuoyuan Mao, Yen Yu,
• Abstract要約: 本稿では,大規模言語モデル (LLM) における機械翻訳 (MT) における2つの課題に対処するために,コントラッシブアライメント命令 (MT Instruct) を導入する。 1つは、サポート対象の言語を、これまで見つからなかった言語に拡張することである。もう1つは、低リソース言語におけるデータの欠如に関連している。 BLOOMZモデルを微調整した結果,(1)LLMはMTInstructを用いて効果的に未確認言語を翻訳できる,(2)識別器に基づく命令は,生成言語を言語間命令として優れ,(4)AlignInstructは30のゼロショット方向のパフォーマンスを改善した。
• 参考スコア（独自算出の注目度）: 3.7445896443192574
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This article introduces contrastive alignment instructions (AlignInstruct) to address two challenges in machine translation (MT) on large language models (LLMs). One is the expansion of supported languages to previously unseen ones. The second relates to the lack of data in low-resource languages. Model fine-tuning through MT instructions (MTInstruct) is a straightforward approach to the first challenge. However, MTInstruct is limited by weak cross-lingual signals inherent in the second challenge. AlignInstruct emphasizes cross-lingual supervision via a cross-lingual discriminator built using statistical word alignments. Our results based on fine-tuning the BLOOMZ models (1b1, 3b, and 7b1) in up to 24 unseen languages showed that: (1) LLMs can effectively translate unseen languages using MTInstruct; (2) AlignInstruct led to consistent improvements in translation quality across 48 translation directions involving English; (3) Discriminator-based instructions outperformed their generative counterparts as cross-lingual instructions; (4) AlignInstruct improved performance in 30 zero-shot directions.
• Abstract（参考訳）: 本稿では,大規模言語モデル(LLM)における機械翻訳(MT)の2つの課題に対処するために,コントラッシブアライメント命令(AlignInstruct)を紹介する。 ひとつは、サポート対象の言語を、これまで見つからなかった言語に拡張することです。 2つ目は、低リソース言語におけるデータの欠如に関するものだ。 MT命令(MT Instruct)によるモデル微調整は、最初の課題に対する簡単なアプローチである。 しかし、MTInstructは第2チャレンジに固有の弱い言語間信号によって制限される。 AlignInstructは、統計的単語アライメントを用いて構築された言語間識別器による言語間監督を強調している。 その結果, BLOOMZ モデル (1b1, 3b, 7b1) を最大24の未知言語で微調整した結果, 1) LLM は MTInstruct を用いて効果的に未確認言語を翻訳できる, (2) AlignInstruct は英語を含む48の翻訳方向の翻訳品質を一貫した改善を実現し, 3) 識別器に基づく指示は, 生成言語を言語間命令として優れ, (4) AlignInstruct は30のゼロショット指示で性能を向上した。

関連論文リスト

• TasTe: Teaching Large Language Models to Translate through Self-Reflection [82.83958470745381]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な性能を示した。 本稿では,自己回帰を通した翻訳を行うTasTeフレームワークを提案する。 WMT22ベンチマークにおける4つの言語方向の評価結果から,既存の手法と比較して,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-06-12T17:21:21Z)
• Building Accurate Translation-Tailored LLMs with Language Aware Instruction Tuning [57.323716555996114]
  オフターゲット翻訳は、特に低リソース言語では未解決の問題である。 最近の研究は、翻訳命令の機能を強調するために高度なプロンプト戦略を設計するか、LLMの文脈内学習能力を活用している。 本研究では,LLMの命令追従能力(特に翻訳方向)を向上させるために,2段階の微調整アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-03-21T13:47:40Z)
• Empowering Cross-lingual Abilities of Instruction-tuned Large Language Models by Translation-following demonstrations [0.8133739801185272]
  We propose CrossAlpaca, a It-LLM with cross-lingual instruction-following and translation-following demonstrations。 我々のモデルは、6つの異なる言語でテストされ、単言語データで調整された It-LLM よりも優れています。
  論文  参考訳（メタデータ） (2023-08-27T19:22:12Z)
• Improving Translation Faithfulness of Large Language Models via Augmenting Instructions [89.76691340615848]
  SWIE(Segment-Weighted Instruction Embedding)と命令追従データセットOVERMISSを提案する。 SWIEは、以下の入力および応答表現に大域的な命令表現を追加することにより、モデル命令理解を改善する。 OVERMISSは、オーバー翻訳とミス翻訳の結果を正しい翻訳と比較することにより、モデルの忠実度を向上させる。
  論文  参考訳（メタデータ） (2023-08-24T09:32:29Z)
• Eliciting the Translation Ability of Large Language Models via Multilingual Finetuning with Translation Instructions [68.01449013641532]
  大規模事前学習言語モデル(LLM)は多言語翻訳において強力な能力を示している。 本稿では,多言語事前学習言語モデルであるXGLM-7Bを微調整して,多言語翻訳を行う方法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T12:00:24Z)
• InstructAlign: High-and-Low Resource Language Alignment via Continual Crosslingual Instruction Tuning [66.31509106146605]
  命令を調整した大規模言語モデル(LLM)は、様々なタスクや言語で顕著な能力を示している。 しかし、利用可能なデータが不足しているため、表現不足の言語に一般化する能力は限られている。 InstructAlignは、LLMが新しい未知の言語を学習済みの高リソース言語と整列できるようにするために、連続的なクロスリンガル命令チューニングを使用する。
  論文  参考訳（メタデータ） (2023-05-23T02:51:34Z)
• ParroT: Translating during Chat using Large Language Models tuned with Human Translation and Feedback [90.20262941911027]
  ParroTはチャット中の翻訳機能を強化し、規制するフレームワークである。 具体的には、ParroTは、翻訳データを命令フォロースタイルに書き換える。 本稿では,ParroTモデルを微調整するための3つの命令タイプを提案する。
  論文  参考訳（メタデータ） (2023-04-05T13:12:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。