論文の概要: Diagnosing Model Editing via Knowledge Spectrum

• arxiv url: http://arxiv.org/abs/2509.17482v1
• Date: Mon, 22 Sep 2025 08:16:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 18:58:16.288089
• Title: Diagnosing Model Editing via Knowledge Spectrum
• Title（参考訳）: 知識スペクトルを用いたモデル編集の診断
• Authors: Tsung-Hsuan Pan, Chung-Chi Chen, Hen-Hsen Huang, Hsin-Hsi Chen,
• Abstract要約: 既存の編集手法はしばしば意図しない副作用を導入し、予測不可能な方法でモデル性能を劣化させる。 本稿では,その現実的な人気,モデルの既知性,および抽出質問の言語的構造に基づいて,知識を分類するための体系的枠組みを提案する。 本稿では,知識項目の難易度を補正する「知識診断フレームワーク」を導入する。
• 参考スコア（独自算出の注目度）: 24.533008164820284
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Model editing, the process of efficiently modifying factual knowledge in pre-trained language models, is critical for maintaining their accuracy and relevance. However, existing editing methods often introduce unintended side effects, degrading model performance in unpredictable ways. While much research has focused on improving editing algorithms, the role of the target knowledge's intrinsic properties remains a significant, underexplored factor. This paper addresses this gap by first proposing the ``Knowledge Spectrum,'' a systematic framework for categorizing knowledge based on its real-world popularity, the model's pre-edit familiarity, and the linguistic structure of the eliciting question. Our empirical analysis reveals that these characteristics are strong predictors of editing success and stability. Informed by these findings, we introduce the ``Knowledge-Diagnostic Framework,'' an adaptive strategy that tailors editing intensity to the diagnosed difficulty of a knowledge item. We demonstrate that this framework significantly improves success rates for challenging edits while optimizing computational resources. Our work provides a more comprehensive understanding of the factors governing model editing.
• Abstract（参考訳）: 事前訓練された言語モデルにおいて、事実知識を効率的に修正するプロセスであるモデル編集は、その正確さと妥当性を維持するために重要である。 しかし、既存の編集手法は意図しない副作用をしばしば導入し、予測不可能な方法でモデル性能を劣化させる。 編集アルゴリズムの改善に多くの研究が注がれているが、対象とする知識の本質的な性質の役割は依然として重要であり、探索されていない要素である。 本稿では,まず,その現実的な人気,モデルの既知性,抽出問題の言語構造に基づいて,知識を分類するための体系的枠組みである'Knowledge Spectrum'を提案する。 実験分析の結果,これらの特徴は編集成功と安定性の強力な予測因子であることが判明した。 これらの知見から,知識項目の難易度を補正する適応的戦略である「知識診断フレームワーク」を導入する。 このフレームワークは、計算資源を最適化しながら、編集に挑戦する成功率を大幅に向上することを示した。 私たちの研究は、モデル編集を管理する要因をより包括的に理解します。

関連論文リスト

• Retention analysis of edited knowledge after fine-tuning [5.440397659472036]
  大規模な言語モデル(LLM)には膨大な量の知識が格納されており、事実の誤りを訂正したり、新たに取得した情報を組み込んだり、モデルの振る舞いを適応させたりする必要があることが多い。 モデル編集手法はこのような更新の効率的な解法として登場し、局所的で正確な知識修正を連続的な訓練よりも大幅に少ない計算コストで提供する。 しかし、これまで編集された知識に対する微調整の効果はよく分かっていない。
  論文  参考訳（メタデータ） (2025-07-14T15:51:19Z)
• Unveiling and Eliminating the Shortcut Learning for Locate-Then-Edit Knowledge Editing via Both Subject and Relation Awareness [15.781679300397562]
  知識編集は、大きな言語モデルによって予測される目標知識を交換することを目的としている。 本稿では,対象特徴と関係特徴の学習のバランスをとる2段階最適化プロセスを提案する。
  論文  参考訳（メタデータ） (2025-06-04T15:06:46Z)
• Revealing the Deceptiveness of Knowledge Editing: A Mechanistic Analysis of Superficial Editing [18.12933371693374]
  本稿では,この現象を説明するために,表層編集の概念を紹介する。 包括的評価の結果,この問題は既存のアルゴリズムに重大な課題をもたらすことが明らかとなった。
  論文  参考訳（メタデータ） (2025-05-19T02:44:57Z)
• EVEDIT: Event-based Knowledge Editing with Deductive Editing Boundaries [69.72012539060731]
  大規模言語モデル(LLM)における効率的な知識編集(KE)の理論的枠組みを導入する。 本稿では,事象をイベント記述と組み合わせたイベントベースの知識編集タスクを提案する。 編集モデルにおける不確実性を解消するための既存の設定よりもイベントベースの編集の方が優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-17T16:34:50Z)
• Propagation and Pitfalls: Reasoning-based Assessment of Knowledge Editing through Counterfactual Tasks [36.292901021210575]
  ReCoE(Reasoning-based Counterfactual Editing dataset)という新しい推論ベースのベンチマークを導入する。 我々は既存の知識編集技術を徹底的に分析し、入力強化、微調整、位置と編集を行う。 全てのモデル編集手法は、特に特定の推論スキームにおいて、このデータセットで顕著に低い性能を示す。
  論文  参考訳（メタデータ） (2024-01-31T04:12:59Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。