論文の概要: PropMEND: Hypernetworks for Knowledge Propagation in LLMs

• arxiv url: http://arxiv.org/abs/2506.08920v1
• Date: Tue, 10 Jun 2025 15:44:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:42.762205
• Title: PropMEND: Hypernetworks for Knowledge Propagation in LLMs
• Title（参考訳）: PropMEND: LLMにおける知識伝播のためのハイパーネットワーク
• Authors: Zeyu Leo Liu, Greg Durrett, Eunsol Choi,
• Abstract要約: 本稿では,PropMENDという,ハイパーネットワークに基づく知識伝播手法を提案する。 インジェクションされた事実に回答が明記されていないマルチホップ質問に対して,ほぼ2倍の精度で回答を提示する。 我々はまた、ハイパーネットワークの一般化を評価するために、新しいデータセットである Controlled RippleEdit も導入した。
• 参考スコア（独自算出の注目度）: 82.99849359892112
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge editing techniques for large language models (LLMs) can inject knowledge that is later reproducible verbatim, but they fall short on propagating that knowledge: models cannot answer questions that require reasoning with the injected knowledge. We present a hypernetwork-based approach for knowledge propagation, named PropMEND, where we meta-learn how to modify gradients of a language modeling loss to encourage injected information to propagate. Our approach extends the meta-objective of MEND [29] so that gradient updates on knowledge are transformed to enable answering multi-hop questions involving that knowledge. We show improved performance on the RippleEdit dataset, showing almost 2x accuracy on challenging multi-hop questions whose answers are not explicitly stated in the injected fact. We further introduce a new dataset, Controlled RippleEdit, to evaluate the generalization of our hypernetwork, testing knowledge propagation along relations and entities unseen during hypernetwork training. PropMEND still outperforms existing approaches in unseen entity-relation pairs, yet the performance gap decreases substantially, suggesting future work in propagating knowledge to a wide range of relations.
• Abstract（参考訳）: 大型言語モデル(LLMs)の知識編集技術は、後に再現可能な動詞的知識を注入することができるが、それらはその知識の伝播に不足している。 PropMENDというハイパーネットワークベースの知識伝播手法を提案し,言語モデリング損失の勾配をメタ学習することで,情報伝達の促進を図る。 我々のアプローチは,MEND[29]のメタオブジェクトを拡張して,知識の勾配を変換し,その知識を含むマルチホップ質問への回答を可能にする。 本稿では,RippleEditデータセットの性能向上を示すとともに,インジェクションされた事実に明確な回答が記載されていないマルチホップ質問に対して,ほぼ2倍の精度を示す。 我々はさらに、ハイパーネットワークの一般化を評価し、ハイパーネットワークトレーニング中に見つからない関係やエンティティに沿って知識の伝播をテストするための新しいデータセット、Computled RippleEditを導入する。 PropMENDは、まだ目に見えないエンティティ-リレーションペアの既存のアプローチよりも優れていますが、パフォーマンスの差は大幅に減少し、知識を幅広い関係に広めるための今後の取り組みが示唆されます。

関連論文リスト

• Enhancing Multi-Hop Fact Verification with Structured Knowledge-Augmented Large Language Models [26.023148371263012]
  マルチホップ事実検証のための構造化知識強化LLMベースネットワーク(LLM-SKAN)を提案する。 具体的には、LLM駆動の知識エクストラクタを用いて、エンティティとその複雑な関係を含むきめ細かい情報をキャプチャする。 4つの共通利用データセットに対する実験結果から,本モデルの有効性と優位性を示した。
  論文  参考訳（メタデータ） (2025-03-11T14:47:24Z)
• Systematic Knowledge Injection into Large Language Models via Diverse Augmentation for Domain-Specific RAG [24.660769275714685]
  Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) にドメイン知識を組み込む重要な手法として登場した。 本稿では,学習データを2つの方法で強化することで,微調整プロセスを大幅に強化する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-12T12:39:51Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。