論文の概要: Can We Edit Factual Knowledge by In-Context Learning?

• arxiv url: http://arxiv.org/abs/2305.12740v1
• Date: Mon, 22 May 2023 06:07:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 18:08:26.586984
• Title: Can We Edit Factual Knowledge by In-Context Learning?
• Title（参考訳）: 文脈学習によるファクチュアル知識の編集は可能か?
• Authors: Ce Zheng, Lei Li, Qingxiu Dong, Yuxuan Fan, Zhiyong Wu, Jingjing Xu and Baobao Chang
• Abstract要約: In-context knowledge editing (IKE) は勾配に基づく手法と比較して競争的な成功率を達成する。 IKEは、類似の事実や無関係な事実に対する過度な編集を減らし、従来記憶されていた知識を忘れる知識を減らしていることを示す。
• 参考スコア（独自算出の注目度）: 38.2498067309258
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Previous studies have shown that large language models (LLMs) like GPTs store massive factual knowledge in their parameters. However, the stored knowledge could be false or out-dated. Traditional knowledge editing methods refine LLMs via fine-tuning on texts containing specific knowledge. However, with the increasing scales of LLMs, these gradient-based approaches bring large computation costs. The trend of model-as-a-service also makes it impossible to modify knowledge in black-box LMs. Inspired by in-context learning (ICL), a new paradigm based on demonstration contexts without parameter updating, we explore whether ICL can edit factual knowledge. To answer this question, we give a comprehensive empirical study of ICL strategies. Experiments show that in-context knowledge editing (IKE), without any gradient and parameter updating, achieves a competitive success rate compared to gradient-based methods on GPT-J (6B) but with much fewer side effects, including less over-editing on similar but unrelated facts and less knowledge forgetting on previously stored knowledge. We also apply the method to larger LMs with tens or hundreds of parameters like OPT-175B, which shows the scalability of our method. The code is available at https://github.com/Zce1112zslx/IKE.
• Abstract（参考訳）: これまでの研究では、GPTのような大規模言語モデル(LLM)が、パラメータに膨大な事実知識を格納していることが示されている。 しかし、記憶された知識は虚偽または時代遅れである可能性がある。 従来の知識編集手法は、特定の知識を含むテキストの微調整によってllmを洗練する。 しかし、LLMの規模が大きくなるにつれて、これらの勾配に基づくアプローチは大きな計算コストをもたらす。 model-as-a-serviceのトレンドは、ブラックボックスのlmsで知識を変更することも不可能にしている。 パラメータ更新のないデモンストレーションコンテキストに基づく新しいパラダイムであるin-context learning(icl)に触発されて、iclが事実知識を編集できるかどうか検討する。 この質問に答えるために、我々はicl戦略に関する包括的な実証研究を行う。 実験により、文脈内知識編集(ike)は、勾配やパラメータ更新を伴わずに、gpt-j (6b) の勾配ベース手法と比較して競争的成功率を達成できるが、類似するが無関係な事実に対する過剰な編集が少なく、以前に記憶された知識を忘れることなど、副作用が少ないことが示されている。 また,OPT-175Bのようなパラメータが数十から数百ある大規模LMにも適用し,本手法のスケーラビリティを示す。 コードはhttps://github.com/zce1112zslx/ikeで入手できる。

関連論文リスト

• Mitigating Heterogeneous Token Overfitting in LLM Knowledge Editing [21.143790515287392]
  大規模言語モデル (LLM) は様々な自然言語処理において顕著な性能を発揮している。 静的コーパスでトレーニングされ、その知識は急速に変化する世界で急速に時代遅れになる。 これは知識編集(KE)の発展を動機付け、無関係な他の知識を変更したり、事前訓練された能力を損なうことなく、LLMの特定の知識を更新する。
  論文  参考訳（メタデータ） (2025-02-02T00:10:51Z)
• Towards Reliable Latent Knowledge Estimation in LLMs: Zero-Prompt Many-Shot Based Factual Knowledge Extraction [15.534647327246239]
  本稿では,大規模言語モデル(LLM)を事実知識として探索する場合に,迅速なエンジニアリングを不要にすることを提案する。 我々のアプローチはZP-LKE(Zero-Prompt Latent Knowledge Estimator)と呼ばれ、LLMの文脈内学習能力を活用している。 我々は,Wikidata の知識ベースから,さまざまなオープンソース LLM の事実知識を,膨大な関連性や事実に対して大規模に評価する。
  論文  参考訳（メタデータ） (2024-04-19T15:40:39Z)
• Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
  LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
  論文  参考訳（メタデータ） (2024-03-26T06:57:23Z)
• See the Unseen: Better Context-Consistent Knowledge-Editing by Noises [73.54237379082795]
  知識編集が大規模言語モデル(LLM)の知識を更新 既存の作業はこの特性を無視し、編集には一般化が欠けている。 実験により、異なる文脈がLLMに与える影響は、同じ知識を思い出す際にガウス的な分布に従うことが判明した。
  論文  参考訳（メタデータ） (2024-01-15T09:09:14Z)
• Distilling Rule-based Knowledge into Large Language Models [90.7765003679106]
  私たちは、人間がルールから学習することで、新しいタスクや知識を別の方法で学習できることにインスピレーションを受けています。 まず, LLMの強い文脈内能力を用いて, テキスト規則から知識を抽出する規則蒸留法を提案する。 実験の結果, LLMをルールから学習させることは, サンプルサイズと一般化能力の両方において, サンプルベース学習よりもはるかに効率的であることがわかった。
  論文  参考訳（メタデータ） (2023-11-15T11:42:41Z)
• Eva-KELLM: A New Benchmark for Evaluating Knowledge Editing of LLMs [54.22416829200613]
  Eva-KELLMは、大規模言語モデルの知識編集を評価するための新しいベンチマークである。 実験結果から, 生文書を用いた知識編集手法は, 良好な結果を得るには有効ではないことが示唆された。
  論文  参考訳（メタデータ） (2023-08-19T09:17:19Z)
• Can LMs Learn New Entities from Descriptions? Challenges in Propagating Injected Knowledge [72.63368052592004]
  我々は、注入された事実に基づいて推論を行う(またはそれらの事実を伝播する)LMの能力について研究する。 既存の知識更新手法では,注入知識の伝播がほとんどないことがわかった。 しかし、LMのコンテキストにおけるエンティティ定義の予測は、すべての設定におけるパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2023-05-02T17:59:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。