論文の概要: Robust and Scalable Model Editing for Large Language Models

• arxiv url: http://arxiv.org/abs/2403.17431v1
• Date: Tue, 26 Mar 2024 06:57:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 16:26:20.304198
• Title: Robust and Scalable Model Editing for Large Language Models
• Title（参考訳）: 大規模言語モデルのためのロバストでスケーラブルなモデル編集
• Authors: Yingfa Chen, Zhengyan Zhang, Xu Han, Chaojun Xiao, Zhiyuan Liu, Chen Chen, Kuai Li, Tao Yang, Maosong Sun,
• Abstract要約: LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
• 参考スコア（独自算出の注目度）: 75.95623066605259
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) can make predictions using parametric knowledge--knowledge encoded in the model weights--or contextual knowledge--knowledge presented in the context. In many scenarios, a desirable behavior is that LLMs give precedence to contextual knowledge when it conflicts with the parametric knowledge, and fall back to using their parametric knowledge when the context is irrelevant. This enables updating and correcting the model's knowledge by in-context editing instead of retraining. Previous works have shown that LLMs are inclined to ignore contextual knowledge and fail to reliably fall back to parametric knowledge when presented with irrelevant context. In this work, we discover that, with proper prompting methods, instruction-finetuned LLMs can be highly controllable by contextual knowledge and robust to irrelevant context. Utilizing this feature, we propose EREN (Edit models by REading Notes) to improve the scalability and robustness of LLM editing. To better evaluate the robustness of model editors, we collect a new dataset, that contains irrelevant questions that are more challenging than the ones in existing datasets. Empirical results show that our method outperforms current state-of-the-art methods by a large margin. Unlike existing techniques, it can integrate knowledge from multiple edits, and correctly respond to syntactically similar but semantically unrelated inputs (and vice versa). The source code can be found at https://github.com/thunlp/EREN.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、パラメトリック知識(モデルの重みに符号化された知識)または文脈知識(文脈に提示された知識)を用いて予測を行うことができる。 多くのシナリオにおいて、LLMは、パラメトリック知識と矛盾する場合に文脈知識を優先し、文脈が無関係である場合にはパラメトリック知識を使用することにフォールバックする。 これにより、リトレーニングではなく、コンテキスト内編集によってモデルの知識を更新し、修正することができる。 これまでの研究では、LLMは文脈的知識を無視する傾向があり、無関係な文脈で提示された場合、パラメトリックな知識に確実にフォールバックしないことが示されている。 本研究では、適切なプロンプト法により、命令を微調整したLLMは文脈知識によって高度に制御可能であり、無関係な文脈に対して堅牢であることを示す。 この機能を利用することで、LEM編集のスケーラビリティと堅牢性を向上させるために、EREN(Reading Notesによる編集モデル)を提案する。 モデルエディタの堅牢性をよりよく評価するために、既存のデータセットよりも難しい無関係な質問を含む、新しいデータセットを収集します。 実験の結果,本手法は最先端の手法よりも大きなマージンで優れていることがわかった。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する(逆もまた)。 ソースコードはhttps://github.com/thunlp/ERENで確認できる。

関連論文リスト

• Detecting Edited Knowledge in Language Models [5.260519479124422]
  知識編集手法(KEs)は、事前学習から学んだ言語モデルの古いまたは不正確な知識を更新することができる。 生成されたアウトプットが編集された知識に基づいているか、あるいは事前学習からのファーストハンド知識に基づいているかを知ることは、生成モデルに対するユーザの信頼を高めることができる。 本稿では,言語モデルにおける編集された知識を検出する新しい課題を提案する。
  論文  参考訳（メタデータ） (2024-05-04T22:02:24Z)
• Enhancing Contextual Understanding in Large Language Models through Contrastive Decoding [9.2433070542025]
  大規模言語モデル(LLM)は、テキスト生成時に入力コンテキストを不適切に統合する傾向がある。 本稿では, 逆無関係なパスを負のサンプルとして, コントラストデコーディングを統合する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-04T20:38:41Z)
• Studying Large Language Model Behaviors Under Context-Memory Conflicts With Real Documents [54.953320616069654]
  Retrieval-augmented Generationは、完全なパラメトリック言語モデルの多くの問題を緩和する。 RAGでは、コンテキストで提供される文書からモデルの知識を更新することができる。 本稿では,そのような知識紛争を現実的に研究するための枠組みを提案する。
  論文  参考訳（メタデータ） (2024-04-24T17:59:36Z)
• LLMs' Reading Comprehension Is Affected by Parametric Knowledge and Struggles with Hypothetical Statements [59.71218039095155]
  言語モデルの自然言語理解(NLU)能力を評価するための主要な手段として、読解理解(RC)があげられる。 文脈がモデルの内部知識と一致している場合、モデルの回答がコンテキスト理解に由来するのか、あるいは内部情報から生じるのかを識別することは困難である。 この問題に対処するために、架空の事実や実体に基づいて、想像上のデータにRCを使うことを提案する。
  論文  参考訳（メタデータ） (2024-04-09T13:08:56Z)
• A Glitch in the Matrix? Locating and Detecting Language Model Grounding with Fakepedia [57.31074448586854]
  大規模言語モデル(LLM)は、そのコンテキストで提供される新しい情報を引き出すという印象的な能力を持つ。 しかし、この文脈的基盤のメカニズムはいまだに不明である。 本稿では,Fakepedia を用いたグラウンドディング能力の研究手法を提案する。
  論文  参考訳（メタデータ） (2023-12-04T17:35:42Z)
• Can We Edit Factual Knowledge by In-Context Learning? [38.2498067309258]
  In-context knowledge editing (IKE) は勾配に基づく手法と比較して競争的な成功率を達成する。 IKEは、類似の事実や無関係な事実に対する過度な編集を減らし、従来記憶されていた知識を忘れる知識を減らしていることを示す。
  論文  参考訳（メタデータ） (2023-05-22T06:07:58Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Editing Factual Knowledge in Language Models [51.947280241185]
  本稿では,この知識を編集する手法であるKnowledgeEditorを提案する。 knowledgeeditorは計算効率が高いだけでなく、lm事前トレーニングの修正も必要としない。 2つの一般的なアーキテクチャと知識集約型タスクで、KnowledgeEditorの有効性を示します。
  論文  参考訳（メタデータ） (2021-04-16T15:24:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。