論文の概要: How Well Can Knowledge Edit Methods Edit Perplexing Knowledge?

• arxiv url: http://arxiv.org/abs/2406.17253v1
• Date: Tue, 25 Jun 2024 03:41:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 15:51:17.689704
• Title: How Well Can Knowledge Edit Methods Edit Perplexing Knowledge?
• Title（参考訳）: 知識編集手法はいかにして複雑な知識を編集できるか?
• Authors: Huaizhi Ge, Frank Rudzicz, Zining Zhu,
• Abstract要約: 本研究では,「複雑度」の異なる知識を取り入れた知識編集手法の能力について検討する。 新たな知識の「複雑さ」と12シナリオの編集効率との間に有意な負の相関関係が認められた。 知識階層が編集結果に与える影響のさらなる調査は、より階層的な水準にある知識が、いくつかのシナリオにおいて変更することがより困難であることを示唆している。
• 参考スコア（独自算出の注目度）: 18.022428746019582
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models (LLMs) are widely deployed, targeted editing of their knowledge has become a critical challenge. Recently, advancements in model editing techniques, such as Rank-One Model Editing (ROME), have paved the way for updating LLMs with new knowledge. However, the efficacy of these methods varies across different types of knowledge. This study investigates the capability of knowledge editing methods to incorporate new knowledge with varying degrees of "perplexingness", a term we use to describe the initial difficulty LLMs have in understanding new concepts. We begin by quantifying the "perplexingness" of target knowledge using pre-edit conditional probabilities, and assess the efficacy of edits through post-edit conditional probabilities. Utilizing the widely-used CounterFact dataset, we find significant negative correlations between the "perplexingness" of the new knowledge and the edit efficacy across all 12 scenarios. To dive deeper into this phenomenon, we introduce a novel dataset, HierarchyData, consisting of 99 hyponym-hypernym pairs across diverse categories. Our analysis reveal that more abstract concepts (hypernyms) tend to be more perplexing than their specific counterparts (hyponyms). Further exploration into the influence of knowledge hierarchy on editing outcomes indicates that knowledge positioned at higher hierarchical levels is more challenging to modify in some scenarios. Our research highlights a previously overlooked aspect of LLM editing: the variable efficacy of editing methods in handling perplexing knowledge. By revealing how hierarchical relationships can influence editing outcomes, our findings offer new insights into the challenges of updating LLMs and pave the way for more nuanced approaches to model editing in the future.
• Abstract（参考訳）: 大規模言語モデル(LLM)が広くデプロイされているため、その知識をターゲットとした編集が重要な課題となっている。 近年,ランクワンモデル編集(ROME)などのモデル編集技術の進歩により,LLMを新たな知識で更新する方法が開発されている。 しかし、これらの手法の有効性は知識の種類によって異なる。 本研究は,LLMが新しい概念を理解する上での難易度を説明するために,知識を多種多様な「複雑度」で組み込む知識編集手法の能力について考察する。 まず,前編集条件の確率を用いて,対象知識の「複雑度」を定量化し,後編集条件の確率による編集の有効性を評価する。 広く使われているCounterFactデータセットを利用することで、新しい知識の「複雑さ」と12のシナリオの編集効率との間には、大きな負の相関関係が見つかった。 この現象を深く掘り下げるために、さまざまなカテゴリにまたがる99の低音-高音のペアからなる新しいデータセット、HierarchyDataを紹介します。 我々の分析によると、より抽象的な概念(ハイポニム)は、特定の概念(ハイポニム)よりも複雑である傾向がある。 知識階層が編集結果に与える影響のさらなる調査は、より階層的な水準にある知識が、いくつかのシナリオにおいて変更することがより困難であることを示唆している。 我々の研究は、LLM編集のこれまで見過ごされてきた側面、つまり、難解な知識を扱うための編集方法の変動有効性を強調した。 階層的な関係が編集結果にどのように影響するかを明らかにすることで、我々の発見はLCMを更新する上での課題に対する新たな洞察を与え、将来的なモデル編集へのよりきめ細やかなアプローチの道を開くことができる。

関連論文リスト

• AnyEdit: Edit Any Knowledge Encoded in Language Models [69.30638272162267]
  大規模言語モデル(LLM)のための新しい自動回帰編集パラダイムであるAnyEditを提案する。 長い形式の知識を逐次チャンクに分解し、各チャンク内のキートークンを反復的に編集し、一貫性と正確な出力を保証する。 UnKEBench、AKEW、そして我々の長文の多様な知識のための新しいEditEverythingデータセットを含むベンチマークでは、強いベースラインを21.5%上回っている。
  論文  参考訳（メタデータ） (2025-02-08T16:18:37Z)
• Relation Also Knows: Rethinking the Recall and Editing of Factual Associations in Auto-Regressive Transformer Language Models [15.698183471185066]
  自己回帰変換言語モデル(LM)における事実関連の記憶とリコールが注目されている。 ほとんどの編集作業は、主に主題知識に焦点を当てた既存の知識リコールの解釈の指導の下で知識編集を行う。 本研究では,トランスフォーマーLMの知識リコールを推論中に解釈し,過度な一般化を避けるために単一知識編集に適用する,新たな関係性に着目した視点を見いだす。
  論文  参考訳（メタデータ） (2024-08-27T14:22:02Z)
• Knowledge in Superposition: Unveiling the Failures of Lifelong Knowledge Editing for Large Language Models [19.357663224043534]
  知識編集は、大規模な言語モデルにおいて、時代遅れまたは誤った知識を更新することを目的としている。 現在の知識編集手法は生涯編集のスケーラビリティに限界がある。 本研究は,生涯編集において知識編集が失敗する根本的な理由を考察する。
  論文  参考訳（メタデータ） (2024-08-14T09:43:32Z)
• WISE: Rethinking the Knowledge Memory for Lifelong Model Editing of Large Language Models [78.22291694903659]
  大規模言語モデル(LLM)は、成長を続ける世界の事実に適合し、幻覚的応答を修正するために知識更新を必要とする。 更新された知識が記憶にどこに存在するかは、モデル編集の基本的な問題である。 記憶のギャップを埋めるためにWISEを提案する。
  論文  参考訳（メタデータ） (2024-05-23T16:35:52Z)
• TAXI: Evaluating Categorical Knowledge Editing for Language Models [13.889284093852687]
  知識編集は、言語モデルに新しい事実を注入し、その事実性を改善することを目的としている。 現在のベンチマークでは、効率、正確、一般化可能な編集を保証するために重要な一貫性の評価に失敗している。 分類的知識編集における一貫性を評価するためのベンチマークデータセットであるTAXIを手作業で作成する。
  論文  参考訳（メタデータ） (2024-04-23T13:09:11Z)
• Editing Conceptual Knowledge for Large Language Models [65.38231526537476]
  本稿では,Large Language Models(LLMs)における概念知識の編集の先駆者となる。 本研究では,新しいベンチマークデータセットConceptEditを構築し,評価のための新しいメトリクスセットを確立する。 実験の結果,既存の編集手法は概念レベルの定義をある程度効率的に修正できるが,関連する瞬間的知識を歪ませる可能性も示された。
  論文  参考訳（メタデータ） (2024-03-10T16:57:10Z)
• Editing Factual Knowledge and Explanatory Ability of Medical Large Language Models [89.13883089162951]
  モデル編集は、大きな言語モデル(LLM)の振る舞いを、特定の知識に関連して正確に変更することを目的としている。 このアプローチは、LLMにおける幻覚や時代遅れの情報の問題に対処する上で有効であることが証明されている。 しかし、医療分野における知識の修正にモデル編集を用いることの可能性はほとんど解明されていない。
  論文  参考訳（メタデータ） (2024-02-28T06:40:57Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Can LMs Learn New Entities from Descriptions? Challenges in Propagating Injected Knowledge [72.63368052592004]
  我々は、注入された事実に基づいて推論を行う(またはそれらの事実を伝播する)LMの能力について研究する。 既存の知識更新手法では,注入知識の伝播がほとんどないことがわかった。 しかし、LMのコンテキストにおけるエンティティ定義の予測は、すべての設定におけるパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2023-05-02T17:59:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。