論文の概要: Improving Translation Faithfulness of Large Language Models via
Augmenting Instructions
- arxiv url: http://arxiv.org/abs/2308.12674v1
- Date: Thu, 24 Aug 2023 09:32:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-25 14:38:23.431821
- Title: Improving Translation Faithfulness of Large Language Models via
Augmenting Instructions
- Title(参考訳): 拡張命令による大規模言語モデルの翻訳忠実性の向上
- Authors: Yijie Chen, Yijin Liu, Fandong Meng, Yufeng Chen, Jinan Xu, Jie Zhou
- Abstract要約: SWIE(Segment-Weighted Instruction Embedding)と命令追従データセットOVERMISSを提案する。
SWIEは、以下の入力および応答表現に大域的な命令表現を追加することにより、モデル命令理解を改善する。
OVERMISSは、オーバー翻訳とミス翻訳の結果を正しい翻訳と比較することにより、モデルの忠実度を向上させる。
- 参考スコア(独自算出の注目度): 89.76691340615848
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) present strong general capabilities, and a
current compelling challenge is stimulating their specialized capabilities,
such as machine translation, through low-cost instruction tuning. The standard
instruction-following data is sequentially organized as the concatenation of an
instruction, an input, and a response. As the attention mechanism of LLMs has
limitations on local focus, LLMs tend to focus more on the words or sentences
nearby at each position. This leads to a high risk of instruction forgetting
during decoding. To alleviate the above issues, We propose SWIE
(Segment-Weighted Instruction Embedding) and an instruction-following dataset
OVERMISS. SWIE improves the model instruction understanding by adding a global
instruction representation on the following input and response representations.
OVERMISS improves model faithfulness by comparing over-translation and
miss-translation results with the correct translation. We apply our methods to
two main-stream open-source LLMs, BLOOM and LLaMA. The experimental results
demonstrate significant improvements in translation performance with SWIE based
on BLOOMZ-3b, particularly in zero-shot and long text translations due to
reduced instruction forgetting risk. Additionally, OVERMISS outperforms the
baseline in translation performance (e.g. an increase in BLEU scores from 0.69
to 3.12 and an average improvement of 0.48 percentage comet scores for
LLaMA-7b) with further enhancements seen in models combining OVERMISS and SWIE
(e.g. the BLUE scores increase up to 0.56 from English to German across three
different backbones), and both exhibit improvements in the faithfulness metric
based on word alignment.
- Abstract(参考訳): 大規模言語モデル(LLM)は強力な汎用能力を示しており、機械翻訳などの特殊能力を低コストの命令チューニングによって刺激することが現在の課題である。
標準命令追従データは、命令、入力、応答の連結として順次構成される。
LLMの注意機構は局所的な焦点に制限があるため、LLMはそれぞれの位置にある単語や文に集中する傾向にある。
これにより、デコード中に命令を忘れるリスクが高くなる。
上記の問題を緩和するため、SWIE(Segment-Weighted Instruction Embedding)と命令追従データセットOVERMISSを提案する。
SWIEは、以下の入力および応答表現にグローバル命令表現を追加することにより、モデル命令理解を改善する。
OVERMISSは、オーバー翻訳とミス翻訳の結果を正しい翻訳と比較することにより、モデルの忠実度を向上させる。
提案手法を2つのメインストリームオープンソース LLM,BLOOM と LLaMA に適用する。
実験の結果, BLOOMZ-3bをベースとしたSWIEの翻訳性能は, 特にゼロショット, 長文翻訳において, 命令忘れリスクの低減により向上した。
加えて、OVERMISSは翻訳性能のベースライン(例えばBLEUスコアが0.69から3.12に増加し、LLaMA-7bでは平均0.48パーセンテージの彗星スコアが平均的に向上した)を上回り、OVERMISSとSWIE(例えばBLUEスコアは3つの異なるバックボーンで英語からドイツ語に最大0.56まで増加し、どちらも単語アライメントに基づく忠実度メートル法の改善を示している。
関連論文リスト
- RoCoIns: Enhancing Robustness of Large Language Models through
Code-Style Instructions [43.19966425619236]
より構造的であいまいなコードスタイルの命令を使用して、典型的には自然言語命令を置き換える。
そこで本研究では,クリーンサンプルと逆サンプルの両方を用いて,コンテキスト内デモを構成する新しい手法を提案する。
8つのロバスト性データセットの実験により、我々の手法は自然言語命令によるLLMよりも一貫して優れていた。
論文 参考訳(メタデータ) (2024-02-26T09:30:55Z) - Improving LLM-based Machine Translation with Systematic Self-Correction [27.679218053257685]
大規模言語モデル(LLM)は機械翻訳(MT)において印象的な結果を得た
しかし、人間による慎重な評価は、LLMが生成した翻訳には、まだ複数の誤りが含まれていることを明らかにしている。
これらの知見に触発され,系統的なLLMに基づく自己修正翻訳フレームワークであるTERを導入する。
論文 参考訳(メタデータ) (2024-02-26T07:58:12Z) - Lost in the Source Language: How Large Language Models Evaluate the
Quality of Machine Translation [68.43666295024714]
大規模言語モデル (LLM) は機械翻訳評価タスクにおいて顕著な成果を上げている。
本研究は,LLMが翻訳評価においてソース情報と参照情報をどのように活用するかを検討することを目的とする。
論文 参考訳(メタデータ) (2024-01-12T13:23:21Z) - SCALE: Synergized Collaboration of Asymmetric Language Translation
Engines [105.8983433641208]
本稿では,コンパクトな特殊翻訳モデル (STM) と汎用大言語モデル (LLM) を1つの統合翻訳エンジンとして結合する協調フレームワークを提案する。
STMからの翻訳を3重項インコンテキストのデモに導入することで、SCALEはLLMの洗練とピボット能力を解放する。
実験の結果,SCALEは低リソース環境において,少数ショットLLM (GPT-4) と特殊モデル (NLLB) の両方を著しく上回っていることがわかった。
論文 参考訳(メタデータ) (2023-09-29T08:46:38Z) - Instruction Position Matters in Sequence Generation with Large Language
Models [67.87516654892343]
大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。
入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
論文 参考訳(メタデータ) (2023-08-23T12:36:57Z) - BayLing: Bridging Cross-lingual Alignment and Instruction Following
through Interactive Translation for Large Language Models [39.03467441090675]
大規模言語モデル (LLM) は言語理解と生成において顕著な進歩を見せている。
我々は,LLaMAを基礎LLMとして活用し,命令追従型LLMであるBayLingを開発した。
BayLingのデモ、ホームページ、コード、モデルが利用可能だ。
論文 参考訳(メタデータ) (2023-06-19T14:30:52Z) - Multilingual Machine Translation with Large Language Models: Empirical
Results and Analysis [108.37242622164709]
大規模言語モデル(LLM)は多言語機械翻訳(MMT)の処理において顕著な可能性を示した。
本稿では, MMT における LLM の利点と課題を体系的に検討する。
また,ChatGPTとGPT-4を含む8つのLLMを徹底的に評価した。
論文 参考訳(メタデータ) (2023-04-10T15:51:30Z) - Improving Multilingual Translation by Representation and Gradient
Regularization [82.42760103045083]
表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。
提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
論文 参考訳(メタデータ) (2021-09-10T10:52:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。