Fugu-MT 論文翻訳(概要): Extracting and Combining Abilities For Building Multi-lingual Ability-enhanced Large Language Models

論文の概要: Extracting and Combining Abilities For Building Multi-lingual Ability-enhanced Large Language Models

arxiv url: http://arxiv.org/abs/2410.07825v3
Date: Sat, 06 Sep 2025 13:29:17 GMT
ステータス: 翻訳完了
システム内更新日: 2025-09-09 14:07:02.757854
Title: Extracting and Combining Abilities For Building Multi-lingual Ability-enhanced Large Language Models
Title（参考訳）: 多言語能力強化大言語モデル構築のための抽出と組み合わせ能力
Authors: Zhipeng Chen, Kun Zhou, Liang Song, Wayne Xin Zhao, Bingning Wang, Weipeng Chen, Ji-Rong Wen,
Abstract要約: 我々は,MAEC という名称の多言語抽出と組み合わせ手法を提案する。我々のキーとなる考え方は、大きな言語モデルから言語に依存しない能力に関する重みを分解し抽出することである。実験の結果,MAECは高度能力の抽出と組み合わせを効果的に効果的に行うことができることがわかった。
参考スコア（独自算出の注目度）: 109.60937659029076
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Multi-lingual ability transfer has become increasingly important for the broad application of large language models (LLMs). Existing work highly relies on training with the multi-lingual ability-related data, which may not be available for low-resource languages. To solve it, we propose a Multi-lingual Abilities Extraction and Combination approach, named as MAEC. Our key idea is to decompose and extract language-agnostic ability-related weights from LLMs, and combine them across different languages by simple addition and subtraction operations without training. Specifically, our MAEC consists of the extraction and combination stages. In the extraction stage, we firstly locate key neurons that are highly related to specific abilities, and then employ them to extract the transferable ability-related weights. In the combination stage, we further select the ability-related tensors that mitigate the linguistic effects, and design a combining strategy based on them and the language-specific weights, to build the multi-lingual ability-enhanced LLM. To assess the effectiveness of our approach, we conduct extensive experiments on LLaMA-3 8B on mathematical and scientific tasks in both high-resource and low-resource lingual scenarios. Experiment results have shown that MAEC can effectively and efficiently extract and combine the advanced abilities, achieving comparable performance with PaLM. Resources are available at https://github.com/RUCAIBox/MAET.
Abstract（参考訳）: 大規模言語モデル(LLM)の幅広い応用において,多言語能力の伝達がますます重要になっている。既存の作業は、低リソース言語では利用できない、多言語能力関連データのトレーニングに大きく依存しています。そこで本研究では,MAECと命名された多言語アビリティ抽出と組み合わせ手法を提案する。我々のキーとなる考え方は、LLMから言語に依存しない能力に関する重みを分解して抽出し、それらを訓練なしで簡単な追加と減算操作によって異なる言語で組み合わせることである。具体的には,MAECは抽出段階と組み合わせ段階から構成される。抽出段階では、まず特定の能力に高い関連性を持つキーニューロンを特定し、それを用いて伝達可能な能力関連重みを抽出する。組み合わせ段階では、言語効果を緩和する能力関連テンソルを更に選択し、それらと言語固有の重みに基づく組み合わせ戦略を設計し、多言語能力強化LLMを構築する。提案手法の有効性を評価するため,LLaMA-3 8Bの高リソースおよび低リソースの言語シナリオにおける数学的および科学的課題について広範な実験を行った。実験の結果,MAECは高度能力の抽出と組み合わせを効果的に行うことができ,PaLMに匹敵する性能を達成できることがわかった。リソースはhttps://github.com/RUCAIBox/MAETで入手できる。

関連論文リスト

Zero-shot Cross-lingual Transfer Learning with Multiple Source and Target Languages for Information Extraction: Language Selection and Adversarial Training [38.19963761398705]
本稿では,近年のIEコーパスにおける多言語多言語変換可能性(多言語間移動学習)に関する詳細な解析を行う。まず、単一言語のパフォーマンスと幅広い言語に基づく距離の相関について検討する。次に,複数の言語が学習・評価プロセスに関与している,より一般的なゼロショット多言語転送設定について検討する。
論文参考訳（メタデータ） (2024-11-13T17:13:25Z)
Lens: Rethinking Multilingual Enhancement for Large Language Models [70.85065197789639]
Lensは、大規模言語モデル(LLM)の多言語機能を強化する新しいアプローチである LLMの上位層から言語に依存しない、言語固有のサブ空間内の隠された表現を操作できる。既存のポストトレーニング手法に比べて計算資源がはるかに少ないため、優れた結果が得られる。
論文参考訳（メタデータ） (2024-10-06T08:51:30Z)
Cross-Lingual Transfer Robustness to Lower-Resource Languages on Adversarial Datasets [4.653113033432781]
多言語言語モデル(MLLM)の言語間伝達能力について検討した。本研究は,言語間移動とそのNLP応用への応用に関する貴重な知見を提供する。
論文参考訳（メタデータ） (2024-03-29T08:47:15Z)
Enhancing Multilingual Capabilities of Large Language Models through Self-Distillation from Resource-Rich Languages [60.162717568496355]
大規模言語モデル(LLM)は多言語コーパスで事前訓練されている。彼らのパフォーマンスは、いくつかのリソース豊富な言語と比較して、ほとんどの言語でまだ遅れています。
論文参考訳（メタデータ） (2024-02-19T15:07:32Z)
UltraLink: An Open-Source Knowledge-Enhanced Multilingual Supervised Fine-tuning Dataset [69.33424532827608]
オープンソースの大規模言語モデル(LLM)は、様々な分野において大きな強みを持っている。本研究では,オープンソースの多言語教師付き微調整データセットを構築する。結果として得られたUltraLinkデータセットは、5つの言語にわたる約100万のサンプルで構成されている。
論文参考訳（メタデータ） (2024-02-07T05:05:53Z)
Self-Augmentation Improves Zero-Shot Cross-Lingual Transfer [92.80671770992572]
言語間移動は多言語NLPにおける中心的なタスクである。このタスクの以前の作業では、並列コーパス、バイリンガル辞書、その他の注釈付きアライメントデータを使用していた。ゼロショットの言語間移動を改善するため, 単純で効果的なSALT法を提案する。
論文参考訳（メタデータ） (2023-09-19T19:30:56Z)
High-resource Language-specific Training for Multilingual Neural Machine Translation [109.31892935605192]
負の干渉を軽減するために,HLT-MT(High-Resource Language-specific Training)を用いた多言語翻訳モデルを提案する。具体的には、まずマルチ言語モデルを高リソースペアでトレーニングし、デコーダの上部にある言語固有のモジュールを選択する。 HLT-MTは、高リソース言語から低リソース言語への知識伝達のために、利用可能なすべてのコーパスでさらに訓練されている。
論文参考訳（メタデータ） (2022-07-11T14:33:13Z)
MergeDistill: Merging Pre-trained Language Models using Distillation [5.396915402673246]
我々は、最小限の依存関係で彼らの資産を最大限に活用できる方法で、事前訓練されたLMをマージするフレームワークであるMergeDistillを提案する。我々は,既存の教師LMと,何桁ものデータと固定モデルキャパシティで訓練された教師LMとの競争力や性能を向上する訓練学生LMを活用して,実践的にフレームワークの適用性を実証する。
論文参考訳（メタデータ） (2021-06-05T08:22:05Z)
A Multilingual Modeling Method for Span-Extraction Reading Comprehension [2.4905424368103444]
XLRCと呼ばれる多言語抽出読解手法を提案する。我々のモデルはCMRC 2018タスクにおいて最先端のベースライン(RoBERTa_Large)よりも優れていることを示す。
論文参考訳（メタデータ） (2021-05-31T11:05:30Z)
MetaXL: Meta Representation Transformation for Low-resource Cross-lingual Learning [91.5426763812547]
言語間移動学習は低リソース言語のための機能的NLPシステムを構築するための最も効果的な方法の1つである。 MetaXLは、メタラーニングベースのフレームワークで、表現を補助言語からターゲット言語にジャッジに変換することを学ぶ。
論文参考訳（メタデータ） (2021-04-16T06:15:52Z)
Multilingual Transfer Learning for QA Using Translation as Data Augmentation [13.434957024596898]
我々は,多言語組込みを意味空間に近づけることで,言語間伝達を改善する戦略を検討する。言語敵対的トレーニングと言語仲裁フレームワークという2つの新しい戦略を提案し、(ゼロリソースの)クロスリンガルトランスファーのパフォーマンスを大幅に改善します。実験により,提案モデルは,最近導入された多言語MLQAデータセットとTyDiQAデータセットにおいて,以前のゼロショットベースラインよりも優れていることを示す。
論文参考訳（メタデータ） (2020-12-10T20:29:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。