論文の概要: ACE: Attribution-Controlled Knowledge Editing for Multi-hop Factual Recall

• arxiv url: http://arxiv.org/abs/2510.07896v1
• Date: Thu, 09 Oct 2025 07:46:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-10 17:54:14.939789
• Title: ACE: Attribution-Controlled Knowledge Editing for Multi-hop Factual Recall
• Title（参考訳）: ACE:マルチホップファクチュアルリコールのための属性制御型知識編集
• Authors: Jiayu Yang, Yuxuan Fan, Songning Lai, Shengen Wu, Jiaqi Tang, Chun Kang, Zhijiang Guo, Yutao Yue,
• Abstract要約: 大きな言語モデル(LLM)は、事実情報を更新するために効率的な知識編集(KE)を必要とする。 既存の手法は、マルチホップのファクトリコールにおいて顕著な性能低下を示す。 マルチホップファクチュアルリコールのための属性制御型知識編集法を提案する。
• 参考スコア（独自算出の注目度）: 23.127849699141176
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) require efficient knowledge editing (KE) to update factual information, yet existing methods exhibit significant performance decay in multi-hop factual recall. This failure is particularly acute when edits involve intermediate implicit subjects within reasoning chains. Through causal analysis, we reveal that this limitation stems from an oversight of how chained knowledge is dynamically represented and utilized at the neuron level. We discover that during multi hop reasoning, implicit subjects function as query neurons, which sequentially activate corresponding value neurons across transformer layers to accumulate information toward the final answer, a dynamic prior KE work has overlooked. Guided by this insight, we propose ACE: Attribution-Controlled Knowledge Editing for Multi-hop Factual Recall, a framework that leverages neuron-level attribution to identify and edit these critical query-value (Q-V) pathways. ACE provides a mechanistically grounded solution for multi-hop KE, empirically outperforming state-of-the-art methods by 9.44% on GPT-J and 37.46% on Qwen3-8B. Our analysis further reveals more fine-grained activation patterns in Qwen3 and demonstrates that the semantic interpretability of value neurons is orchestrated by query-driven accumulation. These findings establish a new pathway for advancing KE capabilities based on the principled understanding of internal reasoning mechanisms.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、事実情報を更新するために効率的な知識編集 (KE) を必要とするが、既存の手法はマルチホップの事実リコールにおいて大きな性能低下を示す。 この失敗は、編集が推論連鎖の中に中間的な暗黙の主題を含む場合、特に急性である。 因果解析により、この制限は、連鎖した知識がニューロンレベルでどのように動的に表現され、活用されるかの監視に起因していることが明らかとなった。 マルチホップ推論において、暗黙の主題は問合せニューロンとして機能し、トランスフォーマー層にまたがって対応する値ニューロンを順次活性化し、最終回答に向けて情報を蓄積することを発見した。 この知見に基づいて、我々はACE: Attribution-Controlled Knowledge Editing for Multi-hop Factual Recallを提案する。 ACEはマルチホップKEのためのメカニカルグラウンドのソリューションを提供し、GPT-Jでは9.44%、Qwen3-8Bでは37.46%で最先端の手法を実証的に上回っている。 この分析により,Qwen3のよりきめ細かな活性化パターンが明らかになり,Qwen3のニューロンの意味的解釈可能性がクエリによる蓄積によって編成されることが示された。 これらの知見は、内部推論機構の原理的理解に基づいて、KE機能を促進するための新たな経路を確立する。

関連論文リスト

• PropMEND: Hypernetworks for Knowledge Propagation in LLMs [82.99849359892112]
  本稿では,PropMENDという,ハイパーネットワークに基づく知識伝播手法を提案する。 インジェクションされた事実に回答が明記されていないマルチホップ質問に対して,ほぼ2倍の精度で回答を提示する。 我々はまた、ハイパーネットワークの一般化を評価するために、新しいデータセットである Controlled RippleEdit も導入した。
  論文  参考訳（メタデータ） (2025-06-10T15:44:19Z)
• CaKE: Circuit-aware Editing Enables Generalizable Knowledge Learners [109.87058236007907]
  CaKE(Circuit-aware Knowledge Editing)は、大規模言語モデルにおける知識の効果的な統合を強化する新しい手法である。 実験により、CaKEは関連する推論タスク間の編集された知識をより正確かつ一貫した使用を可能にすることが示された。
  論文  参考訳（メタデータ） (2025-03-20T17:14:34Z)
• Allostatic Control of Persistent States in Spiking Neural Networks for perception and computation [79.16635054977068]
  本稿では,アロスタシスの概念を内部表現の制御に拡張することにより,環境に対する知覚的信念を更新するための新しいモデルを提案する。 本稿では,アトラクタネットワークにおける活動の急増を空間的数値表現として利用する数値認識の応用に焦点を当てる。
  論文  参考訳（メタデータ） (2025-03-20T12:28:08Z)
• Neuron Empirical Gradient: Discovering and Quantifying Neurons Global Linear Controllability [14.693407823048478]
  ニューロン実験勾配(NEG)は,活性化の変化が予測にどのように影響するかを捉える。 また, NEGは, スキルニューロン探索により, 多様なプロンプトにまたがる言語スキルを効果的に捉えていることを示す。 さらに分析は、効率性、堅牢性、柔軟性、相互依存といった、NEGベースのスキル表現の重要な特性を強調している。
  論文  参考訳（メタデータ） (2024-12-24T00:01:24Z)
• Enhancing Multi-hop Reasoning through Knowledge Erasure in Large Language Model Editing [38.590823330865845]
  大規模言語モデル(LLM)は、内部知識の不正確さと時代遅れの情報による課題に直面している。 知識編集はこれらの問題を緩和するための重要なアプローチとして現れてきた。 大規模言語モデル編集(KELE)のための知識消去機構を組み込んだ新しい知識編集手法を提案する。
  論文  参考訳（メタデータ） (2024-08-22T14:53:33Z)
• Identifying Query-Relevant Neurons in Large Language Models for Long-Form Texts [14.69046890281591]
  本稿では,大規模言語モデルにおけるクエリ関連ニューロンの同定が可能な,アーキテクチャに依存しない新しいフレームワークを提案する。 検出されたニューロンの知識編集およびニューロンによる予測への応用の可能性を示す。
  論文  参考訳（メタデータ） (2024-06-16T09:36:32Z)
• Understanding, Predicting and Better Resolving Q-Value Divergence in Offline-RL [86.0987896274354]
  まず、オフラインRLにおけるQ値推定のばらつきの主な原因として、基本パターン、自己励起を同定する。 そこで本研究では,Q-network の学習における進化特性を測定するために,SEEM(Self-Excite Eigen Value Measure)尺度を提案する。 われわれの理論では、訓練が早期に発散するかどうかを確実に決定できる。
  論文  参考訳（メタデータ） (2023-10-06T17:57:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。