論文の概要: Retrieval-augmented Multilingual Knowledge Editing
- arxiv url: http://arxiv.org/abs/2312.13040v1
- Date: Wed, 20 Dec 2023 14:08:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-21 15:29:39.293981
- Title: Retrieval-augmented Multilingual Knowledge Editing
- Title(参考訳): 検索型多言語知識編集
- Authors: Weixuan Wang, Barry Haddow, Alexandra Birch
- Abstract要約: LLM(Large Language Models)で表される知識は、しばしば誤りであり、時間とともに時代遅れになる可能性がある。
知識編集(KE)は、新しい知識を注入するための効果的で経済的な代替手段として発展してきた。
本稿では,LLMの新たな知識を更新するためにRetrieval-augmented Multilingual Knowledge Editor (ReMaKE)を提案する。
- 参考スコア(独自算出の注目度): 81.6690436581947
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge represented in Large Language Models (LLMs) is quite often
incorrect and can also become obsolete over time. Updating knowledge via
fine-tuning is computationally resource-hungry and not reliable, and so
knowledge editing (KE) has developed as an effective and economical alternative
to inject new knowledge or to fix factual errors in LLMs. Although there has
been considerable interest in this area, current KE research exclusively
focuses on the monolingual setting, typically in English. However, what happens
if the new knowledge is supplied in one language, but we would like to query
the LLM in a different language? To address the problem of multilingual
knowledge editing, we propose Retrieval-augmented Multilingual Knowledge Editor
(ReMaKE) to update new knowledge in LLMs. ReMaKE can perform model-agnostic
knowledge editing in multilingual settings. ReMaKE concatenates the new
knowledge retrieved from a multilingual knowledge base with prompts. Our
experimental results show that ReMaKE outperforms baseline knowledge editing
methods by a significant margin and is the first KE method to work in a
multilingual setting. We provide our multilingual knowledge editing dataset
(MzsRE) in 12 languages, which along with code, and additional project
information is available at https://github.com/Vicky-Wil/ReMaKE.
- Abstract(参考訳): 大規模言語モデル(llm)で表現される知識は、しばしば誤りであり、時間とともに時代遅れになることがある。
微調整による知識の更新は計算量に富み信頼できないため、知識編集(ke)は、新しい知識を注入したり、llmで事実エラーを修正するための効果的で経済的な代替手段として開発された。
この分野にはかなりの関心が寄せられているが、現在のkeの研究は、主に英語の単言語的設定にのみ焦点をあてている。
しかし、もし新しい知識が1つの言語で提供されたらどうなるだろうか。
多言語知識編集の課題に対処するため,LLMの新しい知識を更新するためにRetrieval-augmented Multilingual Knowledge Editor (ReMaKE)を提案する。
ReMaKEは多言語設定でモデルに依存しない知識編集を行うことができる。
ReMaKEは、多言語知識ベースから取得した新しい知識をプロンプトで結合する。
実験結果から,ReMaKEはベースライン知識編集手法よりも有意差があり,多言語環境で作業する最初のKE手法であることがわかった。
コードとともに12言語で多言語知識編集データセット(MzsRE)を提供し、https://github.com/Vicky-Wil/ReMaKEでプロジェクト情報を追加提供しています。
関連論文リスト
- Learning to Edit: Aligning LLMs with Knowledge Editing [104.70586870701922]
本稿では,大規模言語モデルに新たな知識を入力問題に適用する学習 to LTE(Learning to Edit)フレームワークを提案する。
LTEには2段階のプロセスがある: (i) アライメントフェーズ(アライメントフェーズ)。
LTEの知識編集性能の優位性、バッチおよびシーケンシャルな編集の堅牢性、一般的なタスクに対する最小限の干渉、高速な編集速度を示す。
論文 参考訳(メタデータ) (2024-02-19T07:45:17Z) - Cross-Lingual Knowledge Editing in Large Language Models [42.300516868372355]
知識編集は、スクラッチから再学習することなく、大きな言語モデルを新しい知識に適応させることが示されている。
ソース言語編集が別のターゲット言語に与える影響は、いまだ不明である。
まず、ZsREを英語から中国語に翻訳することで、大規模な言語間合成データセットを収集する。
そして、異なるパラダイムをカバーする様々な知識編集手法を用いて英語編集を行い、その性能を中国語で評価する。
論文 参考訳(メタデータ) (2023-09-16T11:07:52Z) - Eva-KELLM: A New Benchmark for Evaluating Knowledge Editing of LLMs [54.22416829200613]
Eva-KELLMは、大規模言語モデルの知識編集を評価するための新しいベンチマークである。
実験結果から, 生文書を用いた知識編集手法は, 良好な結果を得るには有効ではないことが示唆された。
論文 参考訳(メタデータ) (2023-08-19T09:17:19Z) - KnowledGPT: Enhancing Large Language Models with Retrieval and Storage
Access on Knowledge Bases [55.942342665806656]
KnowledGPTは、様々な知識ベースで大きな言語モデルをブリッジするための包括的なフレームワークである。
検索プロセスでは思考プロンプトプログラムを使用し,KBの検索言語をコード形式で生成する。
KnowledGPTは、個々のユーザ要求に合わせて、知識をパーソナライズされたKBに格納する機能を提供する。
論文 参考訳(メタデータ) (2023-08-17T13:07:00Z) - Adapters for Enhanced Modeling of Multilingual Knowledge and Text [54.02078328453149]
言語モデルは多言語言語モデル(MLLM)に拡張された。
知識グラフは、注意深いキュレーションを必要とし、少数の高リソース言語でのみ利用可能である、明示的な三重形式で事実を含む。
我々は,MLLMを多言語知識グラフ(MLKG)からの知識で拡張し,言語や知識グラフのタスクに多くの言語で取り組むことを提案する。
論文 参考訳(メタデータ) (2022-10-24T21:33:42Z) - Knowledge Based Multilingual Language Model [44.70205282863062]
知識に基づく多言語言語モデル(KMLM)を事前学習するための新しいフレームワークを提案する。
我々は、ウィキデータ知識グラフを用いて、大量のコード切替合成文と推論に基づく多言語学習データを生成する。
生成したデータの文内構造と文間構造に基づいて,知識学習を容易にするための事前学習タスクを設計する。
論文 参考訳(メタデータ) (2021-11-22T02:56:04Z) - X-FACTR: Multilingual Factual Knowledge Retrieval from Pretrained
Language Models [103.75890012041366]
言語モデル(LM)は、事実の知識を捉えるのに驚くほど成功した。
しかし、LMの実際の表現能力の研究は、ほぼ間違いなく英語で行われている。
我々は23の語型的多様言語に対するクローゼスタイルプローブのベンチマークを作成する。
論文 参考訳(メタデータ) (2020-10-13T05:29:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。