論文の概要: Evaluating the Ripple Effects of Knowledge Editing in Language Models

• arxiv url: http://arxiv.org/abs/2307.12976v2
• Date: Wed, 20 Dec 2023 11:52:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-21 19:16:34.120112
• Title: Evaluating the Ripple Effects of Knowledge Editing in Language Models
• Title（参考訳）: 言語モデルにおける知識編集のリップル効果の評価
• Authors: Roi Cohen, Eden Biran, Ori Yoran, Amir Globerson, Mor Geva
• Abstract要約: 我々は5Kの事実編集の診断ベンチマークを行い、様々な種類のリップル効果を捉えた。 筆者らはRippleEdits上での顕著な編集手法の評価を行い、現在の手法がモデルの知識に一貫した変化を起こさないことを示す。
• 参考スコア（独自算出の注目度）: 47.6531309439867
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern language models capture a large body of factual knowledge. However, some facts can be incorrectly induced or become obsolete over time, resulting in factually incorrect generations. This has led to the development of various editing methods that allow updating facts encoded by the model. Evaluation of these methods has primarily focused on testing whether an individual fact has been successfully injected, and if similar predictions for other subjects have not changed. Here we argue that such evaluation is limited, since injecting one fact (e.g. ``Jack Depp is the son of Johnny Depp'') introduces a ``ripple effect'' in the form of additional facts that the model needs to update (e.g.``Jack Depp is the sibling of Lily-Rose Depp''). To address this issue, we propose a novel set of evaluation criteria that consider the implications of an edit on related facts. Using these criteria, we then construct RippleEdits, a diagnostic benchmark of 5K factual edits, capturing a variety of types of ripple effects. We evaluate prominent editing methods on RippleEdits, showing that current methods fail to introduce consistent changes in the model's knowledge. In addition, we find that a simple in-context editing baseline obtains the best scores on our benchmark, suggesting a promising research direction for model editing.
• Abstract（参考訳）: 現代の言語モデルは、多くの事実知識を捉えている。 しかし、いくつかの事実は誤って引き起こされたり、時代とともに廃れたりし、結果として実際に誤った世代が生まれることがある。 これは、モデルによってエンコードされた事実を更新できる様々な編集方法の開発につながった。 これらの方法の評価は、主に個々の事実がうまく注入されたかどうか、他の被験者に対する同様の予測が変化していないかどうかをテストすることに焦点が当てられている。 ここでは、ある事実(例えば、Jack Deppはジョニー・デップの息子である)を注入すると、モデルが更新する必要があるという追加の事実(例えば、Jack Deppはリリー・ローズ・デップの兄弟である)の形で「リップル効果」を導入するので、そのような評価は限定的であると主張する。 この問題に対処するため,本稿では,関連する事実に対する編集の影響を考慮した評価基準を新たに提案する。 これらの基準を用いて、5Kの事実編集の診断ベンチマークであるRippleEditsを構築し、様々な種類のリップル効果をキャプチャする。 筆者らはRippleEdits上での顕著な編集手法の評価を行い、現在の手法がモデルの知識に一貫した変化を起こさないことを示す。 さらに, 簡単なテキスト内編集ベースラインがベンチマークで最高のスコアを得られることが分かり, モデル編集に有望な研究方向性が示唆された。

関連論文リスト

• Should We Really Edit Language Models? On the Evaluation of Edited Language Models [15.63231238452797]
  既存の編集手法は、一般的なベンチマークで必然的にパフォーマンスが低下する。 インストラクションチューニングされたモデルは、編集がより堅牢で、編集後の一般的な知識に対するパフォーマンス低下が少ない。 その結果,現在の編集手法は,言語モデル内の小規模な知識更新にのみ適していることがわかった。
  論文  参考訳（メタデータ） (2024-10-24T14:36:48Z)
• Fundamental Problems With Model Editing: How Should Rational Belief Revision Work in LLMs? [61.68363765350178]
  本稿では,モデル編集問題の標準的な定式化を批判し,モデル編集研究のための形式的テストベッドを提案する。 まず,(1) 問題の定義,(2) ベンチマークの開発,(3) LLM がそもそも編集可能な信念を持っていることを前提として,モデル編集における12のオープンな問題について述べる。 次に、Wikidataに基づくモデル編集のための半合成データセットを導入し、理想化されたベイズエージェントによって与えられるラベルに対する編集を評価する。
  論文  参考訳（メタデータ） (2024-06-27T17:33:03Z)
• Outdated Issue Aware Decoding for Reasoning Questions on Edited Knowledge [93.54427119091174]
  本稿では,従来のISsueを意識した復号化手法を提案する。 元のモデルと編集されたモデルとの確率分布の差を捉える。 我々は、古くなった問題を緩和するために、編集されたモデルにおけるトークン予測の違いを増幅する。
  論文  参考訳（メタデータ） (2024-06-05T03:00:15Z)
• The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
  単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。 編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。 我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
  論文  参考訳（メタデータ） (2024-02-15T01:50:38Z)
• Propagation and Pitfalls: Reasoning-based Assessment of Knowledge Editing through Counterfactual Tasks [36.292901021210575]
  ReCoE(Reasoning-based Counterfactual Editing dataset)という新しい推論ベースのベンチマークを導入する。 我々は既存の知識編集技術を徹底的に分析し、入力強化、微調整、位置と編集を行う。 全てのモデル編集手法は、特に特定の推論スキームにおいて、このデータセットで顕著に低い性能を示す。
  論文  参考訳（メタデータ） (2024-01-31T04:12:59Z)
• Untying the Reversal Curse via Bidirectional Language Model Editing [41.040662400025184]
  大規模言語モデル(LLM)は、膨大な事実知識をパラメータに格納する。 LLMは、誤ったまたは時代遅れの知識のために意図しないテキストを幻覚させる傾向がある。 本研究では、双方向言語モデル編集について検討し、LLMが双方向で編集知識をリコールできるかどうかを評価する。
  論文  参考訳（メタデータ） (2023-10-16T12:04:13Z)
• Does Localization Inform Editing? Surprising Differences in Causality-Based Localization vs. Knowledge Editing in Language Models [68.03946716358335]
  既存の方法と異なる位置にある重みを編集することで、その事実をモデルに格納する方法を変えることができる。 特定のモデルパラメータに事実をローカライズすることで、モデル内の知識を操作する場所がわかると期待しているからです。 我々の結果は、事前訓練された言語モデルがどのように機能するかのより優れた機械的理解が、必ずしも行動の最良の変更方法に関する洞察に結びつくとは限らないことを示唆している。
  論文  参考訳（メタデータ） (2023-01-10T21:26:08Z)
• Memory-Based Model Editing at Scale [102.28475739907498]
  既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。 SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。 SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
  論文  参考訳（メタデータ） (2022-06-13T23:40:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。