論文の概要: Cross-Lingual Knowledge Editing in Large Language Models
- arxiv url: http://arxiv.org/abs/2309.08952v1
- Date: Sat, 16 Sep 2023 11:07:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-19 18:24:54.223868
- Title: Cross-Lingual Knowledge Editing in Large Language Models
- Title(参考訳): 大規模言語モデルにおける言語間知識編集
- Authors: Jiaan Wang, Yunlong Liang, Zengkui Sun, Yuxuan Cao, Jiarong Xu
- Abstract要約: 知識編集は、スクラッチから再学習することなく、大きな言語モデルを新しい知識に適応させることが示されている。
ソース言語編集が別のターゲット言語に与える影響は、いまだ不明である。
まず、ZsREを英語から中国語に翻訳することで、大規模な言語間合成データセットを収集する。
そして、異なるパラダイムをカバーする様々な知識編集手法を用いて英語編集を行い、その性能を中国語で評価する。
- 参考スコア(独自算出の注目度): 42.300516868372355
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge editing aims to change language models' performance on several
special cases (i.e., editing scope) by infusing the corresponding expected
knowledge into them. With the recent advancements in large language models
(LLMs), knowledge editing has been shown as a promising technique to adapt LLMs
to new knowledge without retraining from scratch. However, most of the previous
studies neglect the multi-lingual nature of some main-stream LLMs (e.g., LLaMA,
ChatGPT and GPT-4), and typically focus on monolingual scenarios, where LLMs
are edited and evaluated in the same language. As a result, it is still unknown
the effect of source language editing on a different target language. In this
paper, we aim to figure out this cross-lingual effect in knowledge editing.
Specifically, we first collect a large-scale cross-lingual synthetic dataset by
translating ZsRE from English to Chinese. Then, we conduct English editing on
various knowledge editing methods covering different paradigms, and evaluate
their performance in Chinese, and vice versa. To give deeper analyses of the
cross-lingual effect, the evaluation includes four aspects, i.e., reliability,
generality, locality and portability. Furthermore, we analyze the inconsistent
behaviors of the edited models and discuss their specific challenges.
- Abstract(参考訳): 知識編集は、言語モデルの性能をいくつかの特別なケース(すなわち、編集範囲)で変化させることを目的としている。
近年の大規模言語モデル (LLM) の進歩により, 知識編集は, ゼロから再学習することなく, LLMを新しい知識に適応させる有望な手法として示されている。
しかしながら、以前の研究の多くは、LLMの多言語性(LLaMA、ChatGPT、GPT-4など)を無視し、通常、LLMを同じ言語で編集し評価する単言語シナリオに焦点を当てていた。
結果として、異なるターゲット言語におけるソース言語編集の効果はまだ不明である。
本稿では,知識編集におけるこの言語間効果を明らかにすることを目的とする。
具体的には,まずzsreを英語から中国語に翻訳することで,大規模言語間合成データセットを収集した。
そして、異なるパラダイムをカバーする様々な知識編集手法で英語編集を行い、その性能を中国語で評価する。
言語間効果のより深い分析を行うため、評価には4つの側面、すなわち信頼性、汎用性、局所性、可搬性が含まれる。
さらに,編集モデルの不整合挙動を分析し,それらの課題について考察する。
関連論文リスト
- Editing Conceptual Knowledge for Large Language Models [67.8410749469755]
本稿では,Large Language Models(LLMs)における概念知識の編集の先駆者となる。
本研究では,新しいベンチマークデータセットConceptEditを構築し,評価のための新しいメトリクスセットを確立する。
実験の結果,既存の編集手法は概念レベルの定義をある程度効率的に修正できるが,関連する瞬間的知識を歪ませる可能性も示された。
論文 参考訳(メタデータ) (2024-03-10T16:57:10Z) - Cross-lingual Editing in Multilingual Language Models [1.3062731746155414]
本稿では,言語間モデル編集(textbfXME)パラダイムを紹介し,事実を一つの言語で編集し,その後の更新伝搬を他の言語で観察する。
その結果,言語が2つの異なるスクリプトファミリーに属している場合を中心に,XME設定下での最先端のMETの性能制限が顕著に示された。
論文 参考訳(メタデータ) (2024-01-19T06:54:39Z) - Zero-Shot Cross-Lingual Reranking with Large Language Models for
Low-Resource Languages [51.301942056881146]
アフリカ語における言語間情報検索システムにおいて,大規模言語モデル (LLM) がリランカーとしてどのように機能するかを検討する。
私たちの実装は、英語と4つのアフリカの言語(ハウサ語、ソマリ語、スワヒリ語、ヨルバ語)を対象としています。
我々は、英語のクェリとアフリカの言葉の文節による言語横断的な格付けについて検討する。
論文 参考訳(メタデータ) (2023-12-26T18:38:54Z) - Retrieval-augmented Multilingual Knowledge Editing [81.6690436581947]
LLM(Large Language Models)で表される知識は、しばしば誤りであり、時間とともに時代遅れになる可能性がある。
知識編集(KE)は、新しい知識を注入するための効果的で経済的な代替手段として発展してきた。
本稿では,LLMの新たな知識を更新するためにRetrieval-augmented Multilingual Knowledge Editor (ReMaKE)を提案する。
論文 参考訳(メタデータ) (2023-12-20T14:08:58Z) - Cross-Lingual Consistency of Factual Knowledge in Multilingual Language
Models [2.6626950367610402]
本研究では,多言語PLMにおける事実知識の言語間整合性(CLC)について検討する。
本稿では,言語間の知識一貫性を精度から独立して評価するために,ランク付けに基づく一貫性尺度(RankC)を提案する。
論文 参考訳(メタデータ) (2023-10-16T13:19:17Z) - Eva-KELLM: A New Benchmark for Evaluating Knowledge Editing of LLMs [54.22416829200613]
Eva-KELLMは、大規模言語モデルの知識編集を評価するための新しいベンチマークである。
実験結果から, 生文書を用いた知識編集手法は, 良好な結果を得るには有効ではないことが示唆された。
論文 参考訳(メタデータ) (2023-08-19T09:17:19Z) - Don't Trust ChatGPT when Your Question is not in English: A Study of
Multilingual Abilities and Types of LLMs [16.770697902481107]
大規模言語モデル(LLM)は、例外的な自然言語理解能力を示している。
本論文では,多言語環境下でのLLMの性能格差を体系的に評価する方法を提案する。
その結果,GPTは多言語設定において高い翻訳的振る舞いを示すことがわかった。
論文 参考訳(メタデータ) (2023-05-24T02:05:03Z) - Language Anisotropic Cross-Lingual Model Editing [61.51863835749279]
既存の作業はモノリンガルのシナリオのみを研究しており、言語間で同時に編集を行うための言語間転送能力が欠如している。
本稿では,並列コーパスを用いた一言語モデル編集手法を言語間シナリオに適用する枠組みを提案する。
本研究では,複数言語への編集の伝播における単言語ベースラインの失敗と,提案言語異方性モデル編集の有効性を実証的に示す。
論文 参考訳(メタデータ) (2022-05-25T11:38:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。