論文の概要: Joint Knowledge Editing for Information Enrichment and Probability Promotion

• arxiv url: http://arxiv.org/abs/2412.17872v1
• Date: Sun, 22 Dec 2024 03:16:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-25 15:56:47.599537
• Title: Joint Knowledge Editing for Information Enrichment and Probability Promotion
• Title（参考訳）: 情報豊か化と確率向上のための共同知識編集
• Authors: Wenhang Shi, Yiren Chen, Shuqing Bian, Xinyi Zhang, Zhe Zhao, Pengfei Hu, Wei Lu, Xiaoyong Du,
• Abstract要約: 大きな言語モデルに格納された知識は、実世界の情報の動的な性質を反映するタイムリーな更新を必要とする。 知識リコールプロセスに関する最近の調査では,回答情報が低層に濃縮されていることが明らかになった。 この矛盾は、プローブアプローチと関連する編集方法の両方が不十分であることを示している。
• 参考スコア（独自算出の注目度）: 25.148643087180304
• License:
• Abstract: Knowledge stored in large language models requires timely updates to reflect the dynamic nature of real-world information. To update the knowledge, most knowledge editing methods focus on the low layers, since recent probes into the knowledge recall process reveal that the answer information is enriched in low layers. However, these probes only and could only reveal critical recall stages for the original answers, while the goal of editing is to rectify model's prediction for the target answers. This inconsistency indicates that both the probe approaches and the associated editing methods are deficient. To mitigate the inconsistency and identify critical editing regions, we propose a contrast-based probe approach, and locate two crucial stages where the model behavior diverges between the original and target answers: Information Enrichment in low layers and Probability Promotion in high layers. Building upon the insights, we develop the Joint knowledge Editing for information Enrichment and probability Promotion (JEEP) method, which jointly edits both the low and high layers to modify the two critical recall stages. Considering the mutual interference and growing forgetting due to dual modifications, JEEP is designed to ensure that updates to distinct regions share the same objectives and are complementary. We rigorously evaluate JEEP by editing up to thousands of facts on various models, i.e., GPT-J (6B) and LLaMA (7B), and addressing diverse editing objectives, i.e., adding factual and counterfactual knowledge. In all tested scenarios, JEEP achieves best performances, validating the effectiveness of the revealings of our probe approach and the designs of our editing method. Our code and data are available at https://github.com/Eric8932/JEEP.
• Abstract（参考訳）: 大きな言語モデルに格納された知識は、実世界の情報の動的な性質を反映するタイムリーな更新を必要とする。 知識を更新するために,ほとんどの知識編集手法は低層に重点を置いている。 しかし、これらのプローブは元の回答に対する重要なリコール段階のみを明らかにすることができ、一方、編集の目的は、対象の回答に対するモデルの予測を正すことである。 この矛盾は、プローブアプローチと関連する編集方法の両方が不十分であることを示している。 不整合を緩和し、重要な編集領域を特定するために、コントラストベースのプローブ手法を提案し、モデル行動が原文と対象の回答の間で分岐する2つの重要な段階、すなわち低層の情報豊か化と高層の確率促進を提案する。 そこで我々は,2つの重要なリコール段階を修正するために,低層と高層の両方を共同で編集するJEEP (Joint Knowledge Editing for Information Enrichment and probability promoted) 法を開発した。 相互干渉と二重修正による忘れの増大を考えると、JEEPは異なる地域への更新が同じ目的を共有し、補完的であることを保証するように設計されている。 我々は, GPT-J (6B) や LLaMA (7B) といった様々なモデル上で数千件の事実を編集してJEEPを厳格に評価する。 全てのテストシナリオにおいて、JEEPは最高のパフォーマンスを達成し、プローブアプローチの露光と編集方法の設計の有効性を検証します。 私たちのコードとデータはhttps://github.com/Eric8932/JEEP.comで公開されています。

関連論文リスト

• Related Knowledge Perturbation Matters: Rethinking Multiple Pieces of Knowledge Editing in Same-Subject [49.559994791305535]
  現在最先端の編集手法は、複数の関連知識を同じ主題に編集する作業で苦労している。 本稿では,textS2textRKE$(Same-Subject Related Knowledge Editing)ベンチマークを紹介する。 実験の結果,ROMやMEMITのような主流の位置情報編集手法だけが「関連する知識の摂動」を示すことがわかった。
  論文  参考訳（メタデータ） (2025-02-08T04:47:17Z)
• Uncovering Overfitting in Large Language Model Editing [35.55260822503773]
  編集対象に不均等に高い確率を割り当てる編集オーバーフィット現象を同定し,検討する。 本稿では,新たな知識を振り返って編集されたモデルをガイドするマルチステージ推論制約モジュールを導入する,Learning to Inference (LTI) と呼ばれる新しいプラグイン・アンド・プレイ戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-10T11:09:00Z)
• Outdated Issue Aware Decoding for Reasoning Questions on Edited Knowledge [93.54427119091174]
  本稿では,従来のISsueを意識した復号化手法を提案する。 元のモデルと編集されたモデルとの確率分布の差を捉える。 我々は、古くなった問題を緩和するために、編集されたモデルにおけるトークン予測の違いを増幅する。
  論文  参考訳（メタデータ） (2024-06-05T03:00:15Z)
• WISE: Rethinking the Knowledge Memory for Lifelong Model Editing of Large Language Models [78.22291694903659]
  大規模言語モデル(LLM)は、成長を続ける世界の事実に適合し、幻覚的応答を修正するために知識更新を必要とする。 更新された知識が記憶にどこに存在するかは、モデル編集の基本的な問題である。 記憶のギャップを埋めるためにWISEを提案する。
  論文  参考訳（メタデータ） (2024-05-23T16:35:52Z)
• Has this Fact been Edited? Detecting Knowledge Edits in Language Models [5.260519479124422]
  知識編集手法(KEs)は、事前学習から学んだ言語モデルの古いまたは不正確な知識を更新することができる。 生成されたアウトプットが編集された知識に基づいているか、あるいは事前学習からのファーストハンド知識に基づいているかを知ることは、生成モデルに対するユーザの信頼を高めることができる。 本稿では,言語モデルにおける編集された知識を検出する新しい課題を提案する。
  論文  参考訳（メタデータ） (2024-05-04T22:02:24Z)
• EVEDIT: Event-based Knowledge Editing with Deductive Editing Boundaries [69.72012539060731]
  大規模言語モデル(LLM)における効率的な知識編集(KE)の理論的枠組みを導入する。 本稿では,事象をイベント記述と組み合わせたイベントベースの知識編集タスクを提案する。 編集モデルにおける不確実性を解消するための既存の設定よりもイベントベースの編集の方が優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-17T16:34:50Z)
• SWEA: Updating Factual Knowledge in Large Language Models via Subject Word Embedding Altering [17.20346072074533]
  近年のモデル編集は,大規模言語モデルの少数の知識を効率的に更新する上で有望な手法である。 本稿では,トークンレベルのマッチングによる埋め込みの編集を行うSWEAフレームワークを提案する。 SWEA$oplus$OSのCounterFactデータセットとzsREデータセット上でのSOTA(State-of-the-art)パフォーマンスを実証する。
  論文  参考訳（メタデータ） (2024-01-31T13:08:45Z)
• Can LMs Learn New Entities from Descriptions? Challenges in Propagating Injected Knowledge [72.63368052592004]
  我々は、注入された事実に基づいて推論を行う(またはそれらの事実を伝播する)LMの能力について研究する。 既存の知識更新手法では,注入知識の伝播がほとんどないことがわかった。 しかし、LMのコンテキストにおけるエンティティ定義の予測は、すべての設定におけるパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2023-05-02T17:59:46Z)
• Memory-Based Model Editing at Scale [102.28475739907498]
  既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。 SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。 SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
  論文  参考訳（メタデータ） (2022-06-13T23:40:34Z)
• Locating and Editing Factual Knowledge in GPT [32.32335311998248]
  我々は,モデルの事実予測を変更可能なニューロン活性化を同定するための因果的介入を開発する。 大きなGPTスタイルのモデルでは、我々が仮定する2つの異なるニューロンの集合が抽象的な事実を知り、具体的な言葉を言うのと一致している。 この洞察は、モデル重みに格納された事実を編集する新しい方法であるROMEの開発を刺激する。
  論文  参考訳（メタデータ） (2022-02-10T18:59:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。