論文の概要: MLaKE: Multilingual Knowledge Editing Benchmark for Large Language Models
- arxiv url: http://arxiv.org/abs/2404.04990v1
- Date: Sun, 7 Apr 2024 15:23:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-09 16:22:29.676032
- Title: MLaKE: Multilingual Knowledge Editing Benchmark for Large Language Models
- Title(参考訳): MLaKE: 大規模言語モデルのための多言語知識編集ベンチマーク
- Authors: Zihao Wei, Jingcheng Deng, Liang Pang, Hanxing Ding, Huawei Shen, Xueqi Cheng,
- Abstract要約: MLaKEは5言語にわたる知識編集手法の適応性のベンチマークである。
MLaKEは、ウィキペディアから言語にまたがるファクトチェーンを集約し、フリーフォームとマルチチョイスの両方で質問を生成する。
MLaKEにおける既存手法の多言語知識編集の一般化能力を評価する。
- 参考スコア(独自算出の注目度): 65.10456412127405
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The extensive utilization of large language models (LLMs) underscores the crucial necessity for precise and contemporary knowledge embedded within their intrinsic parameters. Existing research on knowledge editing primarily concentrates on monolingual scenarios, neglecting the complexities presented by multilingual contexts and multi-hop reasoning. To address these challenges, our study introduces MLaKE (Multilingual Language Knowledge Editing), a novel benchmark comprising 4072 multi-hop and 5360 single-hop questions designed to evaluate the adaptability of knowledge editing methods across five languages: English, Chinese, Japanese, French, and German. MLaKE aggregates fact chains from Wikipedia across languages and utilizes LLMs to generate questions in both free-form and multiple-choice. We evaluate the multilingual knowledge editing generalization capabilities of existing methods on MLaKE. Existing knowledge editing methods demonstrate higher success rates in English samples compared to other languages. However, their generalization capabilities are limited in multi-language experiments. Notably, existing knowledge editing methods often show relatively high generalization for languages within the same language family compared to languages from different language families. These results underscore the imperative need for advancements in multilingual knowledge editing and we hope MLaKE can serve as a valuable resource for benchmarking and solution development.
- Abstract(参考訳): 大規模言語モデル(LLM)の広範な活用は、それらの固有のパラメータに埋め込まれた正確かつ現代的な知識にとって重要な必要性を浮き彫りにしている。
知識編集に関する既存の研究は、主に単言語シナリオに焦点を合わせ、多言語コンテキストと多言語推論によって提示される複雑さを無視している。
MLaKE(Multilingual Language Knowledge Editing)は,英語,中国語,日本語,フランス語,ドイツ語の5言語にまたがる知識編集手法の適応性を評価するために,4072のマルチホップと5360のシングルホップ質問からなる新しいベンチマークである。
MLaKEはウィキペディアから言語にまたがるファクトチェーンを集約し、LLMを使ってフリーフォームとマルチチョイスの両方で質問を生成する。
MLaKEにおける既存手法の多言語知識編集の一般化能力を評価する。
既存の知識編集手法は、他の言語と比較して英語のサンプルの方が高い成功率を示している。
しかし、その一般化能力は多言語実験に限られている。
特に、既存の知識編集手法は、異なる言語族に属する言語と比較して、同じ言語族に属する言語に対して比較的高い一般化を示すことが多い。
これらの結果は,MLaKEがベンチマークやソリューション開発に有用な資源になり得ることを願っている。
関連論文リスト
- Evaluating the Elementary Multilingual Capabilities of Large Language
Models with MultiQ [15.844303418745692]
大規模言語モデル(LLM)は、世界中の英語話者の大多数を含むすべての人にサービスを提供する必要がある。
近年の研究では、意図した用途に制限があるにもかかわらず、多くの言語でLSMを促すことが示されている。
我々は、27.4kのテスト質問に答える基本的なオープンエンド質問のための新しい銀標準ベンチマークであるMultiQを紹介する。
論文 参考訳(メタデータ) (2024-03-06T16:01:44Z) - How do Large Language Models Handle Multilingualism? [87.06210331315451]
大規模言語モデル(LLM)は、様々な言語で顕著な性能を示す。
LLMの多言語入力処理を記述したフレームワークを提案する。
さらに,特定の言語処理における言語特異的ニューロンの存在について検討する。
論文 参考訳(メタデータ) (2024-02-29T02:55:26Z) - Decomposed Prompting: Unveiling Multilingual Linguistic Structure
Knowledge in English-Centric Large Language Models [12.700783525558721]
GPT-3やLLaMAのような英語中心のLarge Language Models (LLM)は、多言語タスクを実行する素晴らしい能力を示している。
本稿では,シーケンスラベリングタスクにおいて,これらのLLMの言語構造理解を探索するための分解的プロンプト手法を提案する。
論文 参考訳(メタデータ) (2024-02-28T15:15:39Z) - Retrieval-augmented Multilingual Knowledge Editing [81.6690436581947]
LLM(Large Language Models)で表される知識は、しばしば誤りであり、時間とともに時代遅れになる可能性がある。
知識編集(KE)は、新しい知識を注入するための効果的で経済的な代替手段として発展してきた。
本稿では,LLMの新たな知識を更新するためにRetrieval-augmented Multilingual Knowledge Editor (ReMaKE)を提案する。
論文 参考訳(メタデータ) (2023-12-20T14:08:58Z) - Cross-Lingual Knowledge Editing in Large Language Models [42.300516868372355]
知識編集は、スクラッチから再学習することなく、大きな言語モデルを新しい知識に適応させることが示されている。
ソース言語編集が別のターゲット言語に与える影響は、いまだ不明である。
まず、ZsREを英語から中国語に翻訳することで、大規模な言語間合成データセットを収集する。
そして、異なるパラダイムをカバーする様々な知識編集手法を用いて英語編集を行い、その性能を中国語で評価する。
論文 参考訳(メタデータ) (2023-09-16T11:07:52Z) - Adapters for Enhanced Modeling of Multilingual Knowledge and Text [54.02078328453149]
言語モデルは多言語言語モデル(MLLM)に拡張された。
知識グラフは、注意深いキュレーションを必要とし、少数の高リソース言語でのみ利用可能である、明示的な三重形式で事実を含む。
我々は,MLLMを多言語知識グラフ(MLKG)からの知識で拡張し,言語や知識グラフのタスクに多くの言語で取り組むことを提案する。
論文 参考訳(メタデータ) (2022-10-24T21:33:42Z) - Are Multilingual Models Effective in Code-Switching? [57.78477547424949]
多言語モデルの有効性を検討し,複合言語設定の能力と適応性について検討する。
この結果から,事前学習した多言語モデルでは,コードスイッチングにおける高品質な表現が必ずしも保証されないことが示唆された。
論文 参考訳(メタデータ) (2021-03-24T16:20:02Z) - X-FACTR: Multilingual Factual Knowledge Retrieval from Pretrained
Language Models [103.75890012041366]
言語モデル(LM)は、事実の知識を捉えるのに驚くほど成功した。
しかし、LMの実際の表現能力の研究は、ほぼ間違いなく英語で行われている。
我々は23の語型的多様言語に対するクローゼスタイルプローブのベンチマークを作成する。
論文 参考訳(メタデータ) (2020-10-13T05:29:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。