論文の概要: Cross-Lingual Knowledge Editing in Large Language Models

• arxiv url: http://arxiv.org/abs/2309.08952v1
• Date: Sat, 16 Sep 2023 11:07:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 18:24:54.223868
• Title: Cross-Lingual Knowledge Editing in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける言語間知識編集
• Authors: Jiaan Wang, Yunlong Liang, Zengkui Sun, Yuxuan Cao, Jiarong Xu
• Abstract要約: 知識編集は、スクラッチから再学習することなく、大きな言語モデルを新しい知識に適応させることが示されている。 ソース言語編集が別のターゲット言語に与える影響は、いまだ不明である。 まず、ZsREを英語から中国語に翻訳することで、大規模な言語間合成データセットを収集する。 そして、異なるパラダイムをカバーする様々な知識編集手法を用いて英語編集を行い、その性能を中国語で評価する。
• 参考スコア（独自算出の注目度）: 42.300516868372355
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge editing aims to change language models' performance on several special cases (i.e., editing scope) by infusing the corresponding expected knowledge into them. With the recent advancements in large language models (LLMs), knowledge editing has been shown as a promising technique to adapt LLMs to new knowledge without retraining from scratch. However, most of the previous studies neglect the multi-lingual nature of some main-stream LLMs (e.g., LLaMA, ChatGPT and GPT-4), and typically focus on monolingual scenarios, where LLMs are edited and evaluated in the same language. As a result, it is still unknown the effect of source language editing on a different target language. In this paper, we aim to figure out this cross-lingual effect in knowledge editing. Specifically, we first collect a large-scale cross-lingual synthetic dataset by translating ZsRE from English to Chinese. Then, we conduct English editing on various knowledge editing methods covering different paradigms, and evaluate their performance in Chinese, and vice versa. To give deeper analyses of the cross-lingual effect, the evaluation includes four aspects, i.e., reliability, generality, locality and portability. Furthermore, we analyze the inconsistent behaviors of the edited models and discuss their specific challenges.
• Abstract（参考訳）: 知識編集は、言語モデルの性能をいくつかの特別なケース(すなわち、編集範囲)で変化させることを目的としている。 近年の大規模言語モデル (LLM) の進歩により, 知識編集は, ゼロから再学習することなく, LLMを新しい知識に適応させる有望な手法として示されている。 しかしながら、以前の研究の多くは、LLMの多言語性(LLaMA、ChatGPT、GPT-4など)を無視し、通常、LLMを同じ言語で編集し評価する単言語シナリオに焦点を当てていた。 結果として、異なるターゲット言語におけるソース言語編集の効果はまだ不明である。 本稿では,知識編集におけるこの言語間効果を明らかにすることを目的とする。 具体的には,まずzsreを英語から中国語に翻訳することで,大規模言語間合成データセットを収集した。 そして、異なるパラダイムをカバーする様々な知識編集手法で英語編集を行い、その性能を中国語で評価する。 言語間効果のより深い分析を行うため、評価には4つの側面、すなわち信頼性、汎用性、局所性、可搬性が含まれる。 さらに,編集モデルの不整合挙動を分析し,それらの課題について考察する。

関連論文リスト

• Benchmarking Chinese Knowledge Rectification in Large Language Models [43.9841600678381]
  本稿では,大言語モデルにおける中国語の知識を知識編集により修正するためのベンチマークを提案する。 我々は、古典的なテキスト、イディオム、Baidu Tieba Ruozhibaのコンテンツを含む、様々な情報源から7種類の知識を収集します。 このデータセットの分析を通して、中国語を習得する上で現在LLMが直面している課題を明らかにする。
  論文  参考訳（メタデータ） (2024-09-09T17:11:51Z)
• Cross-Lingual Multi-Hop Knowledge Editing -- Benchmarks, Analysis and a Simple Contrastive Learning based Approach [53.028586843468915]
  言語横断的な設定で様々なSoTA知識編集技術の性能を計測・解析するための多言語多言語知識編集パラダイムを提案する。 具体的には、知識編集能力を測定するために並列言語間ベンチマーク CROLIN-MQUAKE を作成します。 次に,言語間マルチホップ知識編集システムであるCLEVER-CKEを提案する。
  論文  参考訳（メタデータ） (2024-07-14T17:18:16Z)
• MEMLA: Enhancing Multilingual Knowledge Editing with Neuron-Masked Low-Rank Adaptation [18.087144677674786]
  我々は多言語知識編集(MKE)に重点を置いており、複数の言語にまたがる更新の伝播が必要である。 12言語からなる新しいデータセットであるMKEB(Multilingual Knowledge Editing Benchmark)を紹介する。 また,ニューロンマスト型低ランク適応(MEMLA)による知識編集を促進する手法を提案する。
  論文  参考訳（メタデータ） (2024-06-17T14:03:50Z)
• MLaKE: Multilingual Knowledge Editing Benchmark for Large Language Models [65.10456412127405]
  MLaKEは5言語にわたる知識編集手法の適応性のベンチマークである。 MLaKEは、ウィキペディアから言語にまたがるファクトチェーンを集約し、フリーフォームとマルチチョイスの両方で質問を生成する。 MLaKEにおける既存手法の多言語知識編集の一般化能力を評価する。
  論文  参考訳（メタデータ） (2024-04-07T15:23:28Z)
• Retrieval-augmented Multilingual Knowledge Editing [81.6690436581947]
  LLM(Large Language Models)で表される知識は、しばしば誤りであり、時間とともに時代遅れになる可能性がある。 知識編集(KE)は、新しい知識を注入するための効果的で経済的な代替手段として発展してきた。 本稿では,LLMの新たな知識を更新するためにRetrieval-augmented Multilingual Knowledge Editor (ReMaKE)を提案する。
  論文  参考訳（メタデータ） (2023-12-20T14:08:58Z)
• Cross-Lingual Consistency of Factual Knowledge in Multilingual Language Models [2.6626950367610402]
  本研究では,多言語PLMにおける事実知識の言語間整合性(CLC)について検討する。 本稿では,言語間の知識一貫性を精度から独立して評価するために,ランク付けに基づく一貫性尺度(RankC)を提案する。
  論文  参考訳（メタデータ） (2023-10-16T13:19:17Z)
• Eva-KELLM: A New Benchmark for Evaluating Knowledge Editing of LLMs [54.22416829200613]
  Eva-KELLMは、大規模言語モデルの知識編集を評価するための新しいベンチマークである。 実験結果から, 生文書を用いた知識編集手法は, 良好な結果を得るには有効ではないことが示唆された。
  論文  参考訳（メタデータ） (2023-08-19T09:17:19Z)
• Language Anisotropic Cross-Lingual Model Editing [61.51863835749279]
  既存の作業はモノリンガルのシナリオのみを研究しており、言語間で同時に編集を行うための言語間転送能力が欠如している。 本稿では,並列コーパスを用いた一言語モデル編集手法を言語間シナリオに適用する枠組みを提案する。 本研究では,複数言語への編集の伝播における単言語ベースラインの失敗と,提案言語異方性モデル編集の有効性を実証的に示す。
  論文  参考訳（メタデータ） (2022-05-25T11:38:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。