論文の概要: On the Limitations of Rank-One Model Editing in Answering Multi-hop Questions

• arxiv url: http://arxiv.org/abs/2601.04600v1
• Date: Thu, 08 Jan 2026 05:05:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-09 17:01:53.045297
• Title: On the Limitations of Rank-One Model Editing in Answering Multi-hop Questions
• Title（参考訳）: マルチホップ質問に対するランクワンモデル編集の限界について
• Authors: Zhiyuan He, Binghan Chen, Tianxiang Xiong, Ziyang Sun, Mozhao Zhu, Xi Chen,
• Abstract要約: ランクワンモデル編集による知識の編集が層深度に及ぼす影響について検討した。 マルチホップ推論を強化するシンプルかつ効果的な戦略である冗長編集を提案する。
• 参考スコア（独自算出の注目度）: 3.9341289469649543
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in Knowledge Editing (KE), particularly Rank-One Model Editing (ROME), show superior efficiency over fine-tuning and in-context learning for updating single-hop facts in transformers. However, these methods face significant challenges when applied to multi-hop reasoning tasks requiring knowledge chaining. In this work, we study the effect of editing knowledge with ROME on different layer depths and identify three key failure modes. First, the "hopping-too-late" problem occurs as later layers lack access to necessary intermediate representations. Second, generalization ability deteriorates sharply when editing later layers. Third, the model overfits to edited knowledge, incorrectly prioritizing edited-hop answers regardless of context. To mitigate the issues of "hopping-too-late" and generalisation decay, we propose Redundant Editing, a simple yet effective strategy that enhances multi-hop reasoning. Our experiments demonstrate that this approach can improve accuracy on 2-hop questions by at least 15.5 percentage points, representing a 96% increase over the previous single-edit strategy, while trading off some specificity and language naturalness.
• Abstract（参考訳）: 近年の知識編集(KE)、特にランクワンモデル編集(ROME)は、トランスフォーマーにおけるシングルホップ事実の更新において、微調整や文脈内学習よりも優れた効率性を示している。 しかし、これらの手法は知識連鎖を必要とするマルチホップ推論タスクに適用した場合、重大な課題に直面している。 本研究では,ROMEによる知識の編集が異なる層深度に与える影響について検討し,重要な障害モードを3つ同定する。 まず、後続の層は必要な中間表現にアクセスできないため、"ホット・トゥ・レイト"問題が発生する。 第2に、後の層を編集する際に一般化能力が著しく低下する。 第3に、このモデルは編集された知識に過度に適合し、コンテキストに関わらず、誤って編集されたホップの回答を優先順位付けする。 ホットトレート」と一般化崩壊の問題を緩和するために,マルチホップ推論を強化するシンプルかつ効果的な戦略である冗長編集を提案する。 実験により,本手法は,従来のシングルエジット戦略よりも96%,特異性や言語自然性をトレードオフしながら,少なくとも15.5%の精度で2ホップ質問の精度を向上させることができることが示された。

関連論文リスト

• Avoiding Knowledge Edit Skipping in Multi-hop Question Answering with Guided Decomposition [32.73672881869734]
  既存の検索強化世代(RAG)ベースの知識編集手法は,マルチホップ質問応答に苦慮していることがわかった。 本稿では, 誘導分解を用いた反復検索型知識編集手法を提案する。 実験の結果,IRAKEは,編集スキップによる編集の失敗を軽減し,マルチホップ質問応答におけるKEの最先端手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2025-09-09T09:49:23Z)
• Locate-then-edit for Multi-hop Factual Recall under Knowledge Editing [7.9525115640025055]
  location-then-edit パラダイムは知識編集において大きな可能性を秘めている。 従来手法では,知識を新たに編集するマルチホップのファクトリコール作業に苦慮していた。 IFMETは浅い層と深い層の両方を編集する新しい手法である。
  論文  参考訳（メタデータ） (2024-10-08T20:12:11Z)
• Enhancing Multi-hop Reasoning through Knowledge Erasure in Large Language Model Editing [38.590823330865845]
  大規模言語モデル(LLM)は、内部知識の不正確さと時代遅れの情報による課題に直面している。 知識編集はこれらの問題を緩和するための重要なアプローチとして現れてきた。 大規模言語モデル編集(KELE)のための知識消去機構を組み込んだ新しい知識編集手法を提案する。
  論文  参考訳（メタデータ） (2024-08-22T14:53:33Z)
• Outdated Issue Aware Decoding for Reasoning Questions on Edited Knowledge [93.54427119091174]
  本稿では,従来のISsueを意識した復号化手法を提案する。 元のモデルと編集されたモデルとの確率分布の差を捉える。 我々は、古くなった問題を緩和するために、編集されたモデルにおけるトークン予測の違いを増幅する。
  論文  参考訳（メタデータ） (2024-06-05T03:00:15Z)
• On the Robustness of Editing Large Language Models [57.477943944826904]
  大型言語モデル(LLM)はコミュニケーションAIの構築において重要な役割を担っているが、効率的な更新の課題に直面している。 この研究は、編集方法の長所と短所を理解し、コミュニケーション型AIの実践的応用を促進することを目的としている。
  論文  参考訳（メタデータ） (2024-02-08T17:06:45Z)
• MQuAKE: Assessing Knowledge Editing in Language Models via Multi-Hop Questions [75.21713251369225]
  編集されたモデルが正しい解答を行うかどうかを評価するマルチホップ質問を含むベンチマークMQuAKEを提案する。 本稿では,メモリベースのアプローチであるMeLLoを提案する。これは,編集された事実に整合した回答を生成するために,言語モデルを反復的に促しながら,すべての編集された事実を外部に保存する。
  論文  参考訳（メタデータ） (2023-05-24T06:48:41Z)
• Modeling Multi-hop Question Answering as Single Sequence Prediction [88.72621430714985]
  本稿では,単純な生成手法(PathFid)を提案する。 PathFidは、マルチホップ質問に対する回答を解決するための推論プロセスを明示的にモデル化する。 実験の結果,PathFidは2つのマルチホップQAデータセットに対して高い性能向上をもたらすことが示された。
  論文  参考訳（メタデータ） (2022-05-18T21:57:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。