論文の概要: EuroAlpaca: Task-Preserving Localisation of Instruction Data for European Languages
- arxiv url: http://arxiv.org/abs/2609.05043v1
- Date: Fri, 04 Sep 2026 12:05:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:24.030123
- Title: EuroAlpaca: Task-Preserving Localisation of Instruction Data for European Languages
- Title(参考訳): EuroAlpaca: 欧州言語における命令データのタスク保存型ローカライゼーション
- Abstract要約: 機械翻訳はタスククリティカルな制約と必要な出力を歪めることができる。
タスク保存型ローカライゼーションパイプラインであるEuroAlpacaを紹介する。
タスクセマンティクスの保存は多言語命令のチューニングに不可欠であることを示す。
- 参考スコア(独自算出の注目度): 2.897376329231807
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine translation (MT) offers a scalable way to extend English instruction-tuning data to multiple languages, but it can distort task-critical constraints and required outputs, creating corrupted training examples and degrading models trained on such data. We introduce EuroAlpaca, a task-preserving localisation pipeline and near-parallel resource covering 50 European languages and regional varieties, together with European-IFEval, a multilingual benchmark for verifiable instruction following. Depending on the example, our pipeline applies field-wise MT while preserving task-critical content or reconstructs a task-equivalent target-language instance, followed by validation of cross-field coherence and target-language consistency. Across LoRA experiments with four LLMs, training on directly translated data improves ROUGE-L and F-BERT on the Aya Evaluation Suite, but reduces accuracy on European-IFEval by 29.8% relative to the unadapted baseline. In contrast, adaptation with EuroAlpaca improves accuracy by 12.9% over the same baseline, reversing the degradation caused by direct MT, while also achieving the highest ROUGE-L and F-BERT scores on Aya. These results show that preserving task semantics is essential for multilingual instruction tuning.
- Abstract(参考訳): 機械翻訳(MT)は、英語の命令チューニングデータを複数の言語に拡張するスケーラブルな方法を提供するが、タスククリティカルな制約や必要な出力を歪め、破損したトレーニング例を作成し、そのようなデータでトレーニングされたモデルを分解することができる。
タスク保存型ローカライゼーションパイプラインであるEuroAlpacaと、50のヨーロッパ言語および地域品種をカバーする準並列リソースと、検証可能な命令に従うための多言語ベンチマークであるEuropean-IFEvalを紹介する。
実例によっては,タスククリティカルなコンテンツを保持しながらフィールドワイズMTを適用したり,タスク等価なターゲット言語インスタンスを再構築した後,クロスフィールドコヒーレンスとターゲット言語一貫性の検証を行う。
LoRAは4つのLLMを用いて実験を行い、直接変換されたデータによるトレーニングにより、Aya Evaluation SuiteのROUGE-LとF-BERTが改善されるが、未適応のベースラインと比較して、European-IFEvalの精度は29.8%低下する。
対照的に、EuroAlpacaへの適応は同じベースライン上で12.9%の精度向上を実現し、直接MTによる劣化を逆転させ、同時にAya上で最高のROUGE-LおよびF-BERTスコアを達成する。
これらの結果から,タスクセマンティクスの保存は多言語命令のチューニングに不可欠であることが示唆された。
関連論文リスト
- Bridging Linguistic Gaps: Cross-Lingual Mapping in Pre-Training and Dataset for Enhanced Multilingual LLM Performance [30.9640918372872]
大規模言語モデル(LLM)は、高リソース言語と低リソース言語の間のデータ不均衡により、言語間タスクに苦しむ。
バイリンガル微調整やコントラストアライメントといった既存の手法は、言語間性能を向上させることができる。
事前学習期間中に言語間マッピングタスクを導入し,言語間アライメントを向上させることで,単言語間の流速を損なうことなく,言語間アライメントを向上させる。
論文 参考訳(メタデータ) (2026-04-12T11:43:25Z) - Think Carefully and Check Again! Meta-Generation Unlocking LLMs for Low-Resource Cross-Lingual Summarization [108.6908427615402]
CLS(Cross-lingual summarization)は、異なるターゲット言語でソーステキストの要約を生成することを目的としている。
現在、インストラクションチューニング付き大規模言語モデル (LLM) は様々な英語タスクで優れている。
近年の研究では、LCSタスクにおけるLCMの性能は、わずかな設定でも満足できないことが示されている。
論文 参考訳(メタデータ) (2024-10-26T00:39:44Z) - Self-supervised Adaptive Pre-training of Multilingual Speech Models for
Language and Dialect Identification [19.893213508284813]
目標領域や下流タスクの言語に事前学習モデルを適用するために,自己教師付き適応型事前学習を提案する。
SPTはFLEURSベンチマークのXLSR性能を向上し、表現不足言語では40.1%まで向上することを示した。
論文 参考訳(メタデータ) (2023-12-12T14:58:08Z) - TaCo: Enhancing Cross-Lingual Transfer for Low-Resource Languages in LLMs through Translation-Assisted Chain-of-Thought Processes [9.254047358707014]
本稿では,Alpaca-52K,Dolly-15K,Vicuna Benchmarkを132言語に翻訳する多言語インストラクション・チューニングデータセット(MITS)を紹介する。
次に,emphTaCo: Translation-Assisted Cross-Lingualityという新たな手法を提案する。
提案手法は,Vicuna Benchmark データセットの低リソース言語に対して 82% のスコアで GPT-4 を圧縮し,命令チューニングと比較して性能を2倍にすることを示す。
論文 参考訳(メタデータ) (2023-11-17T06:55:32Z) - Extrapolating Large Language Models to Non-English by Aligning Languages [109.09051737966178]
既存の大きな言語モデルは、異なる言語間で異なる能力を示す。
本稿では,言語間のセマンティックアライメントを構築することで,英語以外の言語に事前学習したLLMを強化する。
論文 参考訳(メタデータ) (2023-08-09T13:32:06Z) - Efficiently Aligned Cross-Lingual Transfer Learning for Conversational
Tasks using Prompt-Tuning [98.60739735409243]
英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。
並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。
協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
論文 参考訳(メタデータ) (2023-04-03T18:46:01Z) - Bridging Cross-Lingual Gaps During Leveraging the Multilingual
Sequence-to-Sequence Pretraining for Text Generation [80.16548523140025]
プレトレインとファインチューンの間のギャップを埋めるために、コードスイッチングの復元タスクを追加して、バニラプレトレイン-ファインチューンパイプラインを拡張します。
提案手法は,言語間文表現距離を狭くし,簡単な計算コストで低周波語翻訳を改善する。
論文 参考訳(メタデータ) (2022-04-16T16:08:38Z) - Unsupervised Cross-lingual Adaptation for Sequence Tagging and Beyond [58.80417796087894]
多言語事前訓練言語モデル(mPTLM)による言語間適応は、主にゼロショットアプローチと翻訳に基づくアプローチの2行からなる。
本稿では、ゼロショットアプローチと翻訳に基づくアプローチを統合し、適応性能を向上させるための新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2020-10-23T13:47:01Z) - Mixed-Lingual Pre-training for Cross-lingual Summarization [54.4823498438831]
言語間の要約は、ソース言語の記事に対する対象言語の要約を作成することを目的としている。
本稿では,翻訳のような言語間タスクと,マスク付き言語モデルのようなモノリンガルタスクの両方を活用する混合言語事前学習に基づくソリューションを提案する。
本モデルでは,2.82(中国語)と1.15(中国語,英語)のROUGE-1スコアを最先端の結果に対して改善する。
論文 参考訳(メタデータ) (2020-10-18T00:21:53Z) - NLPDove at SemEval-2020 Task 12: Improving Offensive Language Detection
with Cross-lingual Transfer [10.007363787391952]
本稿では,攻撃的言語を多言語で識別する手法について述べる。
本研究では,異なるしきい値を持つ半教師付きラベルの追加と,データ選択による言語間移動という2つのデータ拡張戦略について検討する。
われわれの多言語システムはOffensEval 2020でギリシャ語、デンマーク語、トルコ語で競争の結果を得た。
論文 参考訳(メタデータ) (2020-08-04T06:20:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。