論文の概要: X-Instruction: Aligning Language Model in Low-resource Languages with Self-curated Cross-lingual Instructions

• arxiv url: http://arxiv.org/abs/2405.19744v1
• Date: Thu, 30 May 2024 06:45:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 15:48:50.671611
• Title: X-Instruction: Aligning Language Model in Low-resource Languages with Self-curated Cross-lingual Instructions
• Title（参考訳）: X-インストラクション:自己計算型言語間インストラクションを用いた低リソース言語における言語モデルの調整
• Authors: Chong Li, Wen Yang, Jiajun Zhang, Jinliang Lu, Shaonan Wang, Chengqing Zong,
• Abstract要約: 大規模な言語モデルは、英語のような高リソース言語ではうまく反応するが、低リソース言語では苦労する。 そこで本研究では,低リソース言語における英語の命令と応答を併用した言語間命令を新たに構築する手法を提案する。
• 参考スコア（独自算出の注目度）: 43.90353059292894
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models respond well in high-resource languages like English but struggle in low-resource languages. It may arise from the lack of high-quality instruction following data in these languages. Directly translating English samples into these languages can be a solution but unreliable, leading to responses with translation errors and lacking language-specific or cultural knowledge. To address this issue, we propose a novel method to construct cross-lingual instruction following samples with instruction in English and response in low-resource languages. Specifically, the language model first learns to generate appropriate English instructions according to the natural web texts in other languages as responses. The candidate cross-lingual instruction tuning samples are further refined and diversified. We have employed this method to build a large-scale cross-lingual instruction tuning dataset on 10 languages, namely X-Instruction. The instruction data built using our method incorporate more language-specific knowledge compared with the naive translation method. Experimental results have shown that the response quality of the model tuned on X-Instruction greatly exceeds the model distilled from a powerful teacher model, reaching or even surpassing the ones of ChatGPT. In addition, we find that models tuned on cross-lingual instruction following samples can follow the instruction in the output language without further tuning.
• Abstract（参考訳）: 大規模な言語モデルは、英語のような高リソース言語ではうまく反応するが、低リソース言語では苦労する。 これらの言語では、データに基づく高品質な命令が欠如していることから生じる可能性がある。 英語のサンプルをこれらの言語に直接翻訳することは、解決法であるが信頼できないものであり、翻訳エラーや言語固有の文化知識の欠如による応答をもたらす。 この問題に対処するために,低リソース言語における英語の命令と応答を用いて,サンプルに追従する言語間命令を構築する手法を提案する。 具体的には、言語モデルはまず、他の言語の自然なウェブテキストに応答して適切な英語の指示を生成することを学習する。 候補言語間命令チューニングサンプルはさらに洗練され、多様化される。 我々は,この手法を用いて10言語,すなわちX-インストラクションを用いた大規模言語間命令チューニングデータセットを構築した。 本手法を用いて構築した命令データには,ナイーブ翻訳法と比較して言語固有の知識が組み込まれている。 実験結果から,X-インストラクションで調整したモデルの応答品質は,ChatGPTのモデルに到達または到達し,強力な教師モデルから抽出したモデルを大きく上回ることがわかった。 さらに, 言語間命令に追従したモデルでは, さらなるチューニングを行なわずに, 出力言語の命令に従うことができることがわかった。

関連論文リスト

• Linguistically-Informed Multilingual Instruction Tuning: Is There an Optimal Set of Languages to Tune? [0.0]
  本研究では,言語情報を用いた指導指導のための言語選択手法を提案する。 簡単なアルゴリズムを用いて、多様な言語を選択し、様々なベンチマークやオープンエンドの質問でそれらの有効性をテストする。 その結果、この慎重な選択は、言語をランダムに選択するよりも、より優れた結果をもたらすことがわかった。
  論文  参考訳（メタデータ） (2024-10-10T10:57:24Z)
• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• xCoT: Cross-lingual Instruction Tuning for Cross-lingual Chain-of-Thought Reasoning [36.34986831526529]
  CoT(Chain-of-Thought)は、大規模言語モデルにおける推論を誘発する強力なテクニックとして登場した。 本稿では,ハイソース言語から低リソース言語へ知識を伝達するための言語間命令微調整フレームワーク(xCOT)を提案する。
  論文  参考訳（メタデータ） (2024-01-13T10:53:53Z)
• PLUG: Leveraging Pivot Language in Cross-Lingual Instruction Tuning [46.153828074152436]
  我々は、低リソース言語における命令チューニングを強化するために、ピボット言語ガイド生成手法を提案する。 モデルを訓練して、まずピボット言語で命令を処理し、次にターゲット言語で応答を生成する。 提案手法は,LLMの命令追従能力が平均29%向上したことを示す。
  論文  参考訳（メタデータ） (2023-11-15T05:28:07Z)
• Improving In-context Learning of Multilingual Generative Language Models with Cross-lingual Alignment [42.624862172666624]
  本稿では,一対の翻訳文を利用する単純な言語間アライメントフレームワークを提案する。 多言語コントラスト学習を通じて、異なる言語にまたがる内部文表現を整合させる。 実験結果から,事前学習トークンが0.1文未満であっても,アライメントフレームワークは生成言語モデルの言語間相互性を大幅に向上させることが明らかとなった。
  論文  参考訳（メタデータ） (2023-11-14T11:24:08Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• InstructAlign: High-and-Low Resource Language Alignment via Continual Crosslingual Instruction Tuning [66.31509106146605]
  命令を調整した大規模言語モデル(LLM)は、様々なタスクや言語で顕著な能力を示している。 しかし、利用可能なデータが不足しているため、表現不足の言語に一般化する能力は限られている。 InstructAlignは、LLMが新しい未知の言語を学習済みの高リソース言語と整列できるようにするために、連続的なクロスリンガル命令チューニングを使用する。
  論文  参考訳（メタデータ） (2023-05-23T02:51:34Z)
• X-FACTR: Multilingual Factual Knowledge Retrieval from Pretrained Language Models [103.75890012041366]
  言語モデル(LM)は、事実の知識を捉えるのに驚くほど成功した。 しかし、LMの実際の表現能力の研究は、ほぼ間違いなく英語で行われている。 我々は23の語型的多様言語に対するクローゼスタイルプローブのベンチマークを作成する。
  論文  参考訳（メタデータ） (2020-10-13T05:29:56Z)
• XCOPA: A Multilingual Dataset for Causal Commonsense Reasoning [68.57658225995966]
  XCOPA (Cross-lingual Choice of Plausible Alternatives) は11言語における因果コモンセンス推論のための多言語データセットである。 提案手法は,翻訳に基づく転送と比較して,現在の手法の性能が低下していることを明らかにする。
  論文  参考訳（メタデータ） (2020-05-01T12:22:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。