論文の概要: STEAM: A Semantic-Level Knowledge Editing Framework for Large Language Models

• arxiv url: http://arxiv.org/abs/2510.10398v1
• Date: Sun, 12 Oct 2025 01:25:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:29.92128
• Title: STEAM: A Semantic-Level Knowledge Editing Framework for Large Language Models
• Title（参考訳）: STEAM: 大規模言語モデルのための意味レベル知識編集フレームワーク
• Authors: Geunyeong Jeong, Juoh Sun, Seonghee Lee, Harksoo Kim,
• Abstract要約: 大規模言語モデルは、大規模な事前訓練中に取得した膨大な事実知識を格納する。 知識編集は、完全に再トレーニングすることなく、時代遅れまたは誤った事実を更新するための有望なソリューションとして登場した。 モデルの知識構造に更新された知識を統合する意味レベルの知識編集フレームワークであるtextscSteamを提案する。
• 参考スコア（独自算出の注目度）: 10.320062273796331
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models store extensive factual knowledge acquired during large-scale pre-training. However, this knowledge is inherently static, reflecting only the state of the world at the time of training. Knowledge editing has emerged as a promising solution for updating outdated or incorrect facts without full retraining. However, most existing locate-and-edit methods primarily focus on token-level likelihood optimization without addressing semantic coherence. Our analysis reveals that such edited knowledge is often encoded as isolated residual streams in the model's latent space, distinct from pre-existing knowledge and bypassing natural reasoning process. To address this, we propose \textsc{Steam}, a semantic-level knowledge editing framework that enhances integration of updated knowledge into the model's knowledge structure. \textsc{Steam} first identifies target representations as semantic anchors for the updated factual association, then guides the internal representation of the edited fact towards these anchors through an alignment loss during optimization. Experimental results demonstrate that \textsc{Steam} improves model's ability to reason with edited knowledge and enhances semantic coherence, underscoring the importance of latent-space alignment for reliable and coherent knowledge editing. The code is available at https://github.com/GY-Jeong/STEAM.
• Abstract（参考訳）: 大規模言語モデルは、大規模な事前訓練中に取得した膨大な事実知識を格納する。 しかし、この知識は本質的に静的であり、訓練時の世界の状態のみを反映している。 知識編集は、完全に再トレーニングすることなく、時代遅れまたは誤った事実を更新するための有望なソリューションとして登場した。 しかし、既存の場所と編集法のほとんどは、意味的コヒーレンスに対処することなく、トークンレベルのオプティマイザ最適化に重点を置いている。 我々の分析では、そのような編集された知識は、しばしばモデルの潜在空間における孤立した残留ストリームとして符号化され、既存の知識とは区別され、自然な推論過程をバイパスする。 そこで本研究では,更新された知識をモデル知識構造に統合する意味レベルの知識編集フレームワークである「textsc{Steam}」を提案する。 \textsc{Steam} は、まずターゲット表現を、更新されたファクトアソシエーションのセマンティックアンカーとして識別し、最適化中のアライメントロスを通じて、編集されたファクトの内部表現をこれらのアンカーへ誘導する。 実験結果から,‘textsc{Steam} は,編集知識による推論能力の向上とセマンティック・コヒーレンスの向上を実現し,信頼性と一貫性のある知識編集における潜在空間アライメントの重要性を浮き彫りにした。 コードはhttps://github.com/GY-Jeong/STEAMで公開されている。

関連論文リスト

• Aligning Language Models with Real-time Knowledge Editing [11.503574001763246]
  本稿では,知識編集のための実世界のベンチマークであるCRAFTを紹介する。 合成推論のためのよく設計されたペア編集を特徴とし、エイリアスポータビリティと時間的、常識的な局所性に関するモデルを評価する。 フレキシブルなリアルタイム編集に向けて,多彩な編集拡張と自己適応的ポストアライメント推論を備えた知識編集アライメントの新たなパラダイムであるKEDASを提案する。
  論文  参考訳（メタデータ） (2025-08-02T10:25:36Z)
• Retention analysis of edited knowledge after fine-tuning [5.440397659472036]
  大規模な言語モデル(LLM)には膨大な量の知識が格納されており、事実の誤りを訂正したり、新たに取得した情報を組み込んだり、モデルの振る舞いを適応させたりする必要があることが多い。 モデル編集手法はこのような更新の効率的な解法として登場し、局所的で正確な知識修正を連続的な訓練よりも大幅に少ない計算コストで提供する。 しかし、これまで編集された知識に対する微調整の効果はよく分かっていない。
  論文  参考訳（メタデータ） (2025-07-14T15:51:19Z)
• Model Merging for Knowledge Editing [53.799891745131724]
  大規模言語モデル(LLM)は、世界が進化するにつれて正確で現在の知識を維持するために継続的な更新を必要とする。 既存の知識編集アプローチは知識更新のための様々なソリューションを提供するが、しばしば連続的な編集シナリオに苦労する。 本稿では,頑健な教師付き微調整(R-SFT)とモデルマージを組み合わせた2段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-14T07:42:39Z)
• K-Edit: Language Model Editing with Contextual Knowledge Awareness [71.73747181407323]
  知識に基づくモデル編集は、大きな言語モデルの重みを正確に修正することを可能にする。 我々は、文脈的に一貫した知識編集を生成するための効果的なアプローチであるK-Editを提案する。
  論文  参考訳（メタデータ） (2025-02-15T01:35:13Z)
• Has this Fact been Edited? Detecting Knowledge Edits in Language Models [5.260519479124422]
  知識編集手法(KEs)は、事前学習から学んだ言語モデルの古いまたは不正確な知識を更新することができる。 生成されたアウトプットが編集された知識に基づいているか、あるいは事前学習からのファーストハンド知識に基づいているかを知ることは、生成モデルに対するユーザの信頼を高めることができる。 本稿では,言語モデルにおける編集された知識を検出する新しい課題を提案する。
  論文  参考訳（メタデータ） (2024-05-04T22:02:24Z)
• Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
  LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
  論文  参考訳（メタデータ） (2024-03-26T06:57:23Z)
• Stable Knowledge Editing in Large Language Models [68.98582618305679]
  本稿では,知識ローカライゼーションではなく,知識増強に基づく知識編集手法であるStableKEを紹介する。 人間のラベル付けのコストを克服するため、StableKEは2つの自動知識増強戦略を統合している。 StableKEは、他の知識編集方法を超え、編集された知識とマルチホップ知識の両方の安定性を示す。
  論文  参考訳（メタデータ） (2024-02-20T14:36:23Z)
• Editing Factual Knowledge in Language Models [51.947280241185]
  本稿では,この知識を編集する手法であるKnowledgeEditorを提案する。 knowledgeeditorは計算効率が高いだけでなく、lm事前トレーニングの修正も必要としない。 2つの一般的なアーキテクチャと知識集約型タスクで、KnowledgeEditorの有効性を示します。
  論文  参考訳（メタデータ） (2021-04-16T15:24:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。