論文の概要: Can We Edit Factual Knowledge by In-Context Learning?
- arxiv url: http://arxiv.org/abs/2305.12740v1
- Date: Mon, 22 May 2023 06:07:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-23 18:08:26.586984
- Title: Can We Edit Factual Knowledge by In-Context Learning?
- Title(参考訳): 文脈学習によるファクチュアル知識の編集は可能か?
- Authors: Ce Zheng, Lei Li, Qingxiu Dong, Yuxuan Fan, Zhiyong Wu, Jingjing Xu
and Baobao Chang
- Abstract要約: In-context knowledge editing (IKE) は勾配に基づく手法と比較して競争的な成功率を達成する。
IKEは、類似の事実や無関係な事実に対する過度な編集を減らし、従来記憶されていた知識を忘れる知識を減らしていることを示す。
- 参考スコア(独自算出の注目度): 38.2498067309258
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Previous studies have shown that large language models (LLMs) like GPTs store
massive factual knowledge in their parameters. However, the stored knowledge
could be false or out-dated. Traditional knowledge editing methods refine LLMs
via fine-tuning on texts containing specific knowledge. However, with the
increasing scales of LLMs, these gradient-based approaches bring large
computation costs. The trend of model-as-a-service also makes it impossible to
modify knowledge in black-box LMs. Inspired by in-context learning (ICL), a new
paradigm based on demonstration contexts without parameter updating, we explore
whether ICL can edit factual knowledge. To answer this question, we give a
comprehensive empirical study of ICL strategies. Experiments show that
in-context knowledge editing (IKE), without any gradient and parameter
updating, achieves a competitive success rate compared to gradient-based
methods on GPT-J (6B) but with much fewer side effects, including less
over-editing on similar but unrelated facts and less knowledge forgetting on
previously stored knowledge. We also apply the method to larger LMs with tens
or hundreds of parameters like OPT-175B, which shows the scalability of our
method. The code is available at https://github.com/Zce1112zslx/IKE.
- Abstract(参考訳): これまでの研究では、GPTのような大規模言語モデル(LLM)が、パラメータに膨大な事実知識を格納していることが示されている。
しかし、記憶された知識は虚偽または時代遅れである可能性がある。
従来の知識編集手法は、特定の知識を含むテキストの微調整によってllmを洗練する。
しかし、LLMの規模が大きくなるにつれて、これらの勾配に基づくアプローチは大きな計算コストをもたらす。
model-as-a-serviceのトレンドは、ブラックボックスのlmsで知識を変更することも不可能にしている。
パラメータ更新のないデモンストレーションコンテキストに基づく新しいパラダイムであるin-context learning(icl)に触発されて、iclが事実知識を編集できるかどうか検討する。
この質問に答えるために、我々はicl戦略に関する包括的な実証研究を行う。
実験により、文脈内知識編集(ike)は、勾配やパラメータ更新を伴わずに、gpt-j (6b) の勾配ベース手法と比較して競争的成功率を達成できるが、類似するが無関係な事実に対する過剰な編集が少なく、以前に記憶された知識を忘れることなど、副作用が少ないことが示されている。
また,OPT-175Bのようなパラメータが数十から数百ある大規模LMにも適用し,本手法のスケーラビリティを示す。
コードはhttps://github.com/zce1112zslx/ikeで入手できる。
関連論文リスト
- Editing Conceptual Knowledge for Large Language Models [67.8410749469755]
本稿では,Large Language Models(LLMs)における概念知識の編集の先駆者となる。
本研究では,新しいベンチマークデータセットConceptEditを構築し,評価のための新しいメトリクスセットを確立する。
実験の結果,既存の編集手法は概念レベルの定義をある程度効率的に修正できるが,関連する瞬間的知識を歪ませる可能性も示された。
論文 参考訳(メタデータ) (2024-03-10T16:57:10Z) - See the Unseen: Better Context-Consistent Knowledge-Editing by Noises [73.54237379082795]
知識編集が大規模言語モデル(LLM)の知識を更新
既存の作業はこの特性を無視し、編集には一般化が欠けている。
実験により、異なる文脈がLLMに与える影響は、同じ知識を思い出す際にガウス的な分布に従うことが判明した。
論文 参考訳(メタデータ) (2024-01-15T09:09:14Z) - Enabling Large Language Models to Learn from Rules [99.16680531261987]
私たちは、人間がルールから学習することで、新しいタスクや知識を別の方法で学習できることにインスピレーションを受けています。
まず, LLMの強い文脈内能力を用いて, テキスト規則から知識を抽出する規則蒸留法を提案する。
実験の結果, LLMをルールから学習させることは, サンプルサイズと一般化能力の両方において, サンプルベース学習よりもはるかに効率的であることがわかった。
論文 参考訳(メタデータ) (2023-11-15T11:42:41Z) - Unveiling the Pitfalls of Knowledge Editing for Large Language Models [44.3282173909008]
知識編集が潜在的なリスクをもたらす副作用をもたらすかどうかはまだ不明である。
本稿では,大規模言語モデルの知識編集に伴う潜在的な落とし穴について検討する。
実験結果は、知識編集が意図しない結果の影を必然的に落としてしまうことを鮮明に示している。
論文 参考訳(メタデータ) (2023-10-03T15:10:46Z) - Eva-KELLM: A New Benchmark for Evaluating Knowledge Editing of LLMs [54.22416829200613]
Eva-KELLMは、大規模言語モデルの知識編集を評価するための新しいベンチマークである。
実験結果から, 生文書を用いた知識編集手法は, 良好な結果を得るには有効ではないことが示唆された。
論文 参考訳(メタデータ) (2023-08-19T09:17:19Z) - Can LMs Learn New Entities from Descriptions? Challenges in Propagating
Injected Knowledge [72.63368052592004]
我々は、注入された事実に基づいて推論を行う(またはそれらの事実を伝播する)LMの能力について研究する。
既存の知識更新手法では,注入知識の伝播がほとんどないことがわかった。
しかし、LMのコンテキストにおけるエンティティ定義の予測は、すべての設定におけるパフォーマンスを改善する。
論文 参考訳(メタデータ) (2023-05-02T17:59:46Z) - Calibrating Factual Knowledge in Pretrained Language Models [36.4692831966626]
本稿では,PLMにおける事実知識をスクラッチから再学習することなくキャリブレーションする,シンプルで軽量なCaliNet法を提案する。
知識探索タスクの実験では、校正の有効性と効率が示されている。
さらに,知識キャリブレーション機構の解明と可視化を行う。
論文 参考訳(メタデータ) (2022-10-07T05:14:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。