論文の概要: ThinkEval: Practical Evaluation of Knowledge Preservation and Consistency in LLM Editing with Thought-based Knowledge Graphs

• arxiv url: http://arxiv.org/abs/2506.01386v1
• Date: Mon, 02 Jun 2025 07:24:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:34.087049
• Title: ThinkEval: Practical Evaluation of Knowledge Preservation and Consistency in LLM Editing with Thought-based Knowledge Graphs
• Title（参考訳）: ThinkEval:思考に基づく知識グラフを用いたLLM編集における知識保存と一貫性の実践的評価
• Authors: Manit Baser, Dinil Mon Divakaran, Mohan Gurusamy,
• Abstract要約: 本稿では,新しいモデル編集設定,深層編集を提案し,編集手法が接続された事実をどう扱えないかを示す。 ThinkEvalは、モデル編集テクニックを体系的に評価するフレームワークである。
• 参考スコア（独自算出の注目度）: 4.206993135004622
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model editing has become an important tool for addressing privacy, bias, and misinformation in large language models (LLMs) by enabling updates to knowledge without the need for retraining from scratch. However, existing editing techniques often target isolated facts, ignoring ripple effects on related knowledge, allowing edited facts to remain deducible and compromising broader contextual integrity. For example, changing Harry Potter's school from Hogwarts to Ilvermorny requires reassigning his house from Gryffindor to a suitable alternative while preserving Gryffindor's relationship with Hogwarts. In this work, we present a new model-editing setting, deep editing, to show: (1) how editing techniques fail to handle connected facts, evaluating how original knowledge sneaks through unchanged causal links, and (2) their impact on broader contextual knowledge. We introduce ThinkEval, a framework to systematically evaluate model-editing techniques by building model-specific knowledge graphs to analyze pre- and post-edit effects on fact persistence and catastrophic forgetting. We present KnowGIC, a benchmark created with ThinkEval, consisting of sequentially linked queries to measure these effects. We evaluate five editing techniques: AlphaEdit, RECT, ROME, MEMIT, and PRUNE across multiple LLMs. We find that these techniques struggle to balance indirect fact suppression with the preservation of related knowledge. Our dataset is available at: https://anonymous.4open.science/r/KnowGIC.
• Abstract（参考訳）: モデル編集は、大きな言語モデル(LLM)におけるプライバシ、バイアス、誤情報に対処するための重要なツールとなっている。 しかし、既存の編集技術は、しばしば孤立した事実を標的にしており、関連する知識に対する波及効果を無視し、編集された事実は認識可能であり、より広い文脈の整合性を損なう。 例えば、ハリー・ポッターの学校をホグワーツからイルバーモニーに移すには、グリフィンダーとホグワーツとの関係を保ちながら、グリフィンダーから適切な代用として家を建て直す必要がある。 本研究では,(1)コネクテッドな事実を処理できない編集手法,(2)コネクテッドな因果関係を介さずにオリジナルの知識がいかにスニークするか,(2)より広い文脈の知識に与える影響を評価することを目的とした,新しいモデル編集環境,ディープ編集を提案する。 本稿では,モデル固有の知識グラフを構築して,モデル編集手法を体系的に評価するフレームワークであるThinkEvalを紹介した。 本稿では,ThinkEvalで作成したベンチマークであるKnowGICについて述べる。 複数のLLMに対してAlphaEdit, RECT, ROME, MEMIT, PRUNEの5つの編集技術を評価する。 これらの技術は、間接的な事実抑制と関連する知識の保存のバランスをとるのに苦労している。 私たちのデータセットは、https://anonymous.4open.science/r/KnowGICで利用可能です。

関連論文リスト

• Are We Evaluating the Edit Locality of LLM Model Editing Properly? [68.441768731381]
  この目的のために既存の特異性評価プロトコルは不十分であることがわかった。 既存の特異度指標は特異度正規化器の強度と弱い相関関係にある。 また、現在のメトリクスには十分な感度が欠けており、異なるメソッドの特異性性能の区別に効果がないこともわかりました。
  論文  参考訳（メタデータ） (2026-01-24T07:07:21Z)
• Retention analysis of edited knowledge after fine-tuning [5.1877231178075425]
  大規模な言語モデル(LLM)には膨大な量の知識が格納されており、事実の誤りを訂正したり、新たに取得した情報を組み込んだり、モデルの振る舞いを適応させたりする必要があることが多い。 モデル編集手法はこのような更新の効率的な解法として登場し、局所的で正確な知識修正を連続的な訓練よりも大幅に少ない計算コストで提供する。 しかし、これまで編集された知識に対する微調整の効果はよく分かっていない。
  論文  参考訳（メタデータ） (2025-07-14T15:51:19Z)
• Beyond Memorization: A Rigorous Evaluation Framework for Medical Knowledge Editing [72.8373875453882]
  知識編集(KE)は,大規模言語モデル(LLM)の特定の事実を,完全なリトレーニングを必要とせずに更新する,有望なアプローチとして登場した。 本稿では,医療領域における既存のKE手法の有効性を厳格に評価するために,MedEditBenchという新しいフレームワークを提案する。 以上の結果から,現在のKE法は,新たなシナリオへの一般化に失敗し,インジェクションされた情報の表層記憶に留まることが示唆された。
  論文  参考訳（メタデータ） (2025-06-04T02:14:43Z)
• Editing as Unlearning: Are Knowledge Editing Methods Strong Baselines for Large Language Model Unlearning? [14.656572343761153]
  編集とアンラーニングは2つの異なるタスクのようですが、それらの間には密接な関係があることが分かりました。 知識編集技術がLLMアンラーニングの強力なベースラインであるかどうかを評価する。 未学習アプリケーションの編集方法を改善するために,自己改善とクエリマージを含む実践的なレシピを提案する。
  論文  参考訳（メタデータ） (2025-05-26T11:39:56Z)
• Precise Localization of Memories: A Fine-grained Neuron-level Knowledge Editing Technique for LLMs [47.06544781855325]
  本研究では、成功率に影響を与えることなく、局所性を改善するための微粒なニューロンレベルの知識編集(FiNE)手法を提案する。 フィードフォワードネットワーク内の特定のニューロンを正確に識別し、修正することにより、FiNEは知識のローカライゼーションと編集を大幅に改善する。
  論文  参考訳（メタデータ） (2025-03-03T01:30:28Z)
• K-Edit: Language Model Editing with Contextual Knowledge Awareness [71.73747181407323]
  知識に基づくモデル編集は、大きな言語モデルの重みを正確に修正することを可能にする。 我々は、文脈的に一貫した知識編集を生成するための効果的なアプローチであるK-Editを提案する。
  論文  参考訳（メタデータ） (2025-02-15T01:35:13Z)
• AnyEdit: Edit Any Knowledge Encoded in Language Models [69.30638272162267]
  大規模言語モデル(LLM)のための新しい自動回帰編集パラダイムであるAnyEditを提案する。 長い形式の知識を逐次チャンクに分解し、各チャンク内のキートークンを反復的に編集し、一貫性と正確な出力を保証する。 UnKEBench、AKEW、そして我々の長文の多様な知識のための新しいEditEverythingデータセットを含むベンチマークでは、強いベースラインを21.5%上回っている。
  論文  参考訳（メタデータ） (2025-02-08T16:18:37Z)
• Related Knowledge Perturbation Matters: Rethinking Multiple Pieces of Knowledge Editing in Same-Subject [49.559994791305535]
  現在最先端の編集手法は、複数の関連知識を同じ主題に編集する作業で苦労している。 本稿では,textS2textRKE$(Same-Subject Related Knowledge Editing)ベンチマークを紹介する。 実験の結果,ROMやMEMITのような主流の位置情報編集手法だけが「関連する知識の摂動」を示すことがわかった。
  論文  参考訳（メタデータ） (2025-02-08T04:47:17Z)
• AlphaEdit: Null-Space Constrained Knowledge Editing for Language Models [63.209935157623946]
  大型言語モデル(LLM)は、しばしば誤った知識や時代遅れの知識による幻覚を示す。 パラメータに適用する前に、保存された知識のnull空間に摂動を投影する新しいソリューションであるAlphaEditを紹介する。 我々は,この予測が保存知識を問うと,後編集後のLLMの出力が変化しないことを理論的に証明する。
  論文  参考訳（メタデータ） (2024-10-03T10:06:27Z)
• How Well Can Knowledge Edit Methods Edit Perplexing Knowledge? [18.022428746019582]
  大規模言語モデル(LLM)は目覚ましい能力を示しているが、トレーニング後の知識の更新は依然として重要な課題である。 我々は,新しい知識がLLMの学習された概念的階層や分類的関係と矛盾する程度であるパープレキシングネスの概念を紹介する。 我々の分析によると、より抽象的な概念(ハイポニム)を含む編集は一般的に、より難易度が高く、特定の概念(ハイポニム)よりも修正に耐性がある。
  論文  参考訳（メタデータ） (2024-06-25T03:41:02Z)
• Outdated Issue Aware Decoding for Reasoning Questions on Edited Knowledge [93.54427119091174]
  本稿では,従来のISsueを意識した復号化手法を提案する。 元のモデルと編集されたモデルとの確率分布の差を捉える。 我々は、古くなった問題を緩和するために、編集されたモデルにおけるトークン予測の違いを増幅する。
  論文  参考訳（メタデータ） (2024-06-05T03:00:15Z)
• Editing the Mind of Giants: An In-Depth Exploration of Pitfalls of Knowledge Editing in Large Language Models [26.516571783335824]
  近年の研究では、知識の歪みや一般的な能力の劣化など、編集後に現れた副作用が特定されている。 本調査では,これらの側面を包括的に研究し,大規模言語モデルにおける知識編集の課題を統一的に考察する。
  論文  参考訳（メタデータ） (2024-06-03T15:28:21Z)
• Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
  LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
  論文  参考訳（メタデータ） (2024-03-26T06:57:23Z)
• AKEW: Assessing Knowledge Editing in the Wild [79.96813982502952]
  AKEW(Assessing Knowledge Editing in the Wild)は知識編集のための新しい実用的なベンチマークである。 知識更新の編集設定は、構造化された事実、構造化されていない事実としてのテキスト、抽出された三つ組の3つを網羅している。 大規模な実験を通じて、最先端の知識編集手法と実践シナリオの間にかなりのギャップがあることを実証する。
  論文  参考訳（メタデータ） (2024-02-29T07:08:34Z)
• Knowledge Graph Enhanced Large Language Model Editing [37.6721061644483]
  大規模言語モデル(LLM)は、自然言語処理(NLP)タスクの進行において重要な要素である。 既存の編集方法は、編集に関連する知識の変化を追跡し、組み込むのに苦労する。 知識グラフを利用した新しいモデル編集手法を提案し,LLM編集の強化,すなわちGLAMEを提案する。
  論文  参考訳（メタデータ） (2024-02-21T07:52:26Z)
• Propagation and Pitfalls: Reasoning-based Assessment of Knowledge Editing through Counterfactual Tasks [36.292901021210575]
  ReCoE(Reasoning-based Counterfactual Editing dataset)という新しい推論ベースのベンチマークを導入する。 我々は既存の知識編集技術を徹底的に分析し、入力強化、微調整、位置と編集を行う。 全てのモデル編集手法は、特に特定の推論スキームにおいて、このデータセットで顕著に低い性能を示す。
  論文  参考訳（メタデータ） (2024-01-31T04:12:59Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Unveiling the Pitfalls of Knowledge Editing for Large Language Models [41.83423510576848]
  知識編集が潜在的なリスクをもたらす副作用をもたらすかどうかはまだ不明である。 本稿では,大規模言語モデルの知識編集に伴う潜在的な落とし穴について検討する。 実験結果は、知識編集が意図しない結果の影を必然的に落としてしまうことを鮮明に示している。
  論文  参考訳（メタデータ） (2023-10-03T15:10:46Z)
• Eva-KELLM: A New Benchmark for Evaluating Knowledge Editing of LLMs [54.22416829200613]
  Eva-KELLMは、大規模言語モデルの知識編集を評価するための新しいベンチマークである。 実験結果から, 生文書を用いた知識編集手法は, 良好な結果を得るには有効ではないことが示唆された。
  論文  参考訳（メタデータ） (2023-08-19T09:17:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。