論文の概要: ThinkEval: Practical Evaluation of Knowledge Preservation and Consistency in LLM Editing with Thought-based Knowledge Graphs

• arxiv url: http://arxiv.org/abs/2506.01386v1
• Date: Mon, 02 Jun 2025 07:24:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:34.087049
• Title: ThinkEval: Practical Evaluation of Knowledge Preservation and Consistency in LLM Editing with Thought-based Knowledge Graphs
• Title（参考訳）: ThinkEval:思考に基づく知識グラフを用いたLLM編集における知識保存と一貫性の実践的評価
• Authors: Manit Baser, Dinil Mon Divakaran, Mohan Gurusamy,
• Abstract要約: 本稿では,新しいモデル編集設定,深層編集を提案し,編集手法が接続された事実をどう扱えないかを示す。 ThinkEvalは、モデル編集テクニックを体系的に評価するフレームワークである。
• 参考スコア（独自算出の注目度）: 4.206993135004622
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model editing has become an important tool for addressing privacy, bias, and misinformation in large language models (LLMs) by enabling updates to knowledge without the need for retraining from scratch. However, existing editing techniques often target isolated facts, ignoring ripple effects on related knowledge, allowing edited facts to remain deducible and compromising broader contextual integrity. For example, changing Harry Potter's school from Hogwarts to Ilvermorny requires reassigning his house from Gryffindor to a suitable alternative while preserving Gryffindor's relationship with Hogwarts. In this work, we present a new model-editing setting, deep editing, to show: (1) how editing techniques fail to handle connected facts, evaluating how original knowledge sneaks through unchanged causal links, and (2) their impact on broader contextual knowledge. We introduce ThinkEval, a framework to systematically evaluate model-editing techniques by building model-specific knowledge graphs to analyze pre- and post-edit effects on fact persistence and catastrophic forgetting. We present KnowGIC, a benchmark created with ThinkEval, consisting of sequentially linked queries to measure these effects. We evaluate five editing techniques: AlphaEdit, RECT, ROME, MEMIT, and PRUNE across multiple LLMs. We find that these techniques struggle to balance indirect fact suppression with the preservation of related knowledge. Our dataset is available at: https://anonymous.4open.science/r/KnowGIC.
• Abstract（参考訳）: モデル編集は、大きな言語モデル(LLM)におけるプライバシ、バイアス、誤情報に対処するための重要なツールとなっている。 しかし、既存の編集技術は、しばしば孤立した事実を標的にしており、関連する知識に対する波及効果を無視し、編集された事実は認識可能であり、より広い文脈の整合性を損なう。 例えば、ハリー・ポッターの学校をホグワーツからイルバーモニーに移すには、グリフィンダーとホグワーツとの関係を保ちながら、グリフィンダーから適切な代用として家を建て直す必要がある。 本研究では,(1)コネクテッドな事実を処理できない編集手法,(2)コネクテッドな因果関係を介さずにオリジナルの知識がいかにスニークするか,(2)より広い文脈の知識に与える影響を評価することを目的とした,新しいモデル編集環境,ディープ編集を提案する。 本稿では,モデル固有の知識グラフを構築して,モデル編集手法を体系的に評価するフレームワークであるThinkEvalを紹介した。 本稿では,ThinkEvalで作成したベンチマークであるKnowGICについて述べる。 複数のLLMに対してAlphaEdit, RECT, ROME, MEMIT, PRUNEの5つの編集技術を評価する。 これらの技術は、間接的な事実抑制と関連する知識の保存のバランスをとるのに苦労している。 私たちのデータセットは、https://anonymous.4open.science/r/KnowGICで利用可能です。

関連論文リスト

• AnyEdit: Edit Any Knowledge Encoded in Language Models [69.30638272162267]
  大規模言語モデル(LLM)のための新しい自動回帰編集パラダイムであるAnyEditを提案する。 長い形式の知識を逐次チャンクに分解し、各チャンク内のキートークンを反復的に編集し、一貫性と正確な出力を保証する。 UnKEBench、AKEW、そして我々の長文の多様な知識のための新しいEditEverythingデータセットを含むベンチマークでは、強いベースラインを21.5%上回っている。
  論文  参考訳（メタデータ） (2025-02-08T16:18:37Z)
• Related Knowledge Perturbation Matters: Rethinking Multiple Pieces of Knowledge Editing in Same-Subject [49.559994791305535]
  現在最先端の編集手法は、複数の関連知識を同じ主題に編集する作業で苦労している。 本稿では,textS2textRKE$(Same-Subject Related Knowledge Editing)ベンチマークを紹介する。 実験の結果,ROMやMEMITのような主流の位置情報編集手法だけが「関連する知識の摂動」を示すことがわかった。
  論文  参考訳（メタデータ） (2025-02-08T04:47:17Z)
• How Well Can Knowledge Edit Methods Edit Perplexing Knowledge? [18.022428746019582]
  大規模言語モデル(LLM)は目覚ましい能力を示しているが、トレーニング後の知識の更新は依然として重要な課題である。 我々は,新しい知識がLLMの学習された概念的階層や分類的関係と矛盾する程度であるパープレキシングネスの概念を紹介する。 我々の分析によると、より抽象的な概念(ハイポニム)を含む編集は一般的に、より難易度が高く、特定の概念(ハイポニム)よりも修正に耐性がある。
  論文  参考訳（メタデータ） (2024-06-25T03:41:02Z)
• Outdated Issue Aware Decoding for Reasoning Questions on Edited Knowledge [93.54427119091174]
  本稿では,従来のISsueを意識した復号化手法を提案する。 元のモデルと編集されたモデルとの確率分布の差を捉える。 我々は、古くなった問題を緩和するために、編集されたモデルにおけるトークン予測の違いを増幅する。
  論文  参考訳（メタデータ） (2024-06-05T03:00:15Z)
• Editing the Mind of Giants: An In-Depth Exploration of Pitfalls of Knowledge Editing in Large Language Models [26.516571783335824]
  近年の研究では、知識の歪みや一般的な能力の劣化など、編集後に現れた副作用が特定されている。 本調査では,これらの側面を包括的に研究し,大規模言語モデルにおける知識編集の課題を統一的に考察する。
  論文  参考訳（メタデータ） (2024-06-03T15:28:21Z)
• Unveiling the Pitfalls of Knowledge Editing for Large Language Models [41.83423510576848]
  知識編集が潜在的なリスクをもたらす副作用をもたらすかどうかはまだ不明である。 本稿では,大規模言語モデルの知識編集に伴う潜在的な落とし穴について検討する。 実験結果は、知識編集が意図しない結果の影を必然的に落としてしまうことを鮮明に示している。
  論文  参考訳（メタデータ） (2023-10-03T15:10:46Z)
• Eva-KELLM: A New Benchmark for Evaluating Knowledge Editing of LLMs [54.22416829200613]
  Eva-KELLMは、大規模言語モデルの知識編集を評価するための新しいベンチマークである。 実験結果から, 生文書を用いた知識編集手法は, 良好な結果を得るには有効ではないことが示唆された。
  論文  参考訳（メタデータ） (2023-08-19T09:17:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。