論文の概要: PropMEND: Hypernetworks for Knowledge Propagation in LLMs

• arxiv url: http://arxiv.org/abs/2506.08920v1
• Date: Tue, 10 Jun 2025 15:44:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:42.762205
• Title: PropMEND: Hypernetworks for Knowledge Propagation in LLMs
• Title（参考訳）: PropMEND: LLMにおける知識伝播のためのハイパーネットワーク
• Authors: Zeyu Leo Liu, Greg Durrett, Eunsol Choi,
• Abstract要約: 本稿では,PropMENDという,ハイパーネットワークに基づく知識伝播手法を提案する。 インジェクションされた事実に回答が明記されていないマルチホップ質問に対して,ほぼ2倍の精度で回答を提示する。 我々はまた、ハイパーネットワークの一般化を評価するために、新しいデータセットである Controlled RippleEdit も導入した。
• 参考スコア（独自算出の注目度）: 82.99849359892112
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge editing techniques for large language models (LLMs) can inject knowledge that is later reproducible verbatim, but they fall short on propagating that knowledge: models cannot answer questions that require reasoning with the injected knowledge. We present a hypernetwork-based approach for knowledge propagation, named PropMEND, where we meta-learn how to modify gradients of a language modeling loss to encourage injected information to propagate. Our approach extends the meta-objective of MEND [29] so that gradient updates on knowledge are transformed to enable answering multi-hop questions involving that knowledge. We show improved performance on the RippleEdit dataset, showing almost 2x accuracy on challenging multi-hop questions whose answers are not explicitly stated in the injected fact. We further introduce a new dataset, Controlled RippleEdit, to evaluate the generalization of our hypernetwork, testing knowledge propagation along relations and entities unseen during hypernetwork training. PropMEND still outperforms existing approaches in unseen entity-relation pairs, yet the performance gap decreases substantially, suggesting future work in propagating knowledge to a wide range of relations.
• Abstract（参考訳）: 大型言語モデル(LLMs)の知識編集技術は、後に再現可能な動詞的知識を注入することができるが、それらはその知識の伝播に不足している。 PropMENDというハイパーネットワークベースの知識伝播手法を提案し,言語モデリング損失の勾配をメタ学習することで,情報伝達の促進を図る。 我々のアプローチは,MEND[29]のメタオブジェクトを拡張して,知識の勾配を変換し,その知識を含むマルチホップ質問への回答を可能にする。 本稿では,RippleEditデータセットの性能向上を示すとともに,インジェクションされた事実に明確な回答が記載されていないマルチホップ質問に対して,ほぼ2倍の精度を示す。 我々はさらに、ハイパーネットワークの一般化を評価し、ハイパーネットワークトレーニング中に見つからない関係やエンティティに沿って知識の伝播をテストするための新しいデータセット、Computled RippleEditを導入する。 PropMENDは、まだ目に見えないエンティティ-リレーションペアの既存のアプローチよりも優れていますが、パフォーマンスの差は大幅に減少し、知識を幅広い関係に広めるための今後の取り組みが示唆されます。

関連論文リスト

• Enhancing Multi-Hop Fact Verification with Structured Knowledge-Augmented Large Language Models [26.023148371263012]
  マルチホップ事実検証のための構造化知識強化LLMベースネットワーク(LLM-SKAN)を提案する。 具体的には、LLM駆動の知識エクストラクタを用いて、エンティティとその複雑な関係を含むきめ細かい情報をキャプチャする。 4つの共通利用データセットに対する実験結果から,本モデルの有効性と優位性を示した。
  論文  参考訳（メタデータ） (2025-03-11T14:47:24Z)
• Systematic Knowledge Injection into Large Language Models via Diverse Augmentation for Domain-Specific RAG [24.660769275714685]
  Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) にドメイン知識を組み込む重要な手法として登場した。 本稿では,学習データを2つの方法で強化することで,微調整プロセスを大幅に強化する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-12T12:39:51Z)
• LLM-Based Multi-Hop Question Answering with Knowledge Graph Integration in Evolving Environments [35.3938477255058]
  本稿では,大規模言語モデル(GMeLLo)のためのグラフメモリベースの編集について述べる。 これは、知識グラフの明示的な知識表現と、大規模言語モデルの言語的柔軟性を融合させる、単純で効果的な方法である。 以上の結果から,GMeLLoはマルチホップ質問応答ベンチマークであるMQuAKEにおいて,最先端の知識編集手法をはるかに上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-08-28T16:15:45Z)
• Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
  LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
  論文  参考訳（メタデータ） (2024-03-26T06:57:23Z)
• A Closer Look at the Limitations of Instruction Tuning [52.587607091917214]
  インストラクションチューニング(IT)は,大規模言語モデル(LLM)における知識やスキルの向上に失敗することを示す。 また、一般的なIT改善手法は、シンプルなLoRA微調整モデルよりも性能改善につながるものではないことも示している。 この結果から,事前学習した知識のみから生成した応答は,オープンソースデータセット上でITから新たな知識を学習するモデルによって,一貫した応答性能が向上することが判明した。
  論文  参考訳（メタデータ） (2024-02-03T04:45:25Z)
• Fine-grained Stateful Knowledge Exploration: Effective and Efficient Graph Retrieval with Large Language Models [19.049828741139425]
  大きな言語モデル(LLM)は印象的な能力を示していますが、その知識を更新することは大きな課題です。 既存のほとんどの手法では、知識グラフから関連する知識を漸進的に取り出すために、問題全体を目的として扱うパラダイムを使用している。 本研究では,細粒度ステートフル知識探索のための新しいパラダイムであるFiSKEを提案する。
  論文  参考訳（メタデータ） (2024-01-24T13:36:50Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Can LMs Learn New Entities from Descriptions? Challenges in Propagating Injected Knowledge [72.63368052592004]
  我々は、注入された事実に基づいて推論を行う(またはそれらの事実を伝播する)LMの能力について研究する。 既存の知識更新手法では,注入知識の伝播がほとんどないことがわかった。 しかし、LMのコンテキストにおけるエンティティ定義の予測は、すべての設定におけるパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2023-05-02T17:59:46Z)
• KAT: A Knowledge Augmented Transformer for Vision-and-Language [56.716531169609915]
  我々は、OK-VQAのオープンドメインマルチモーダルタスクにおいて、最先端の強力な結果をもたらす新しいモデルである知識拡張トランスフォーマー(KAT)を提案する。 提案手法は,エンド・ツー・エンドのエンコーダ・デコーダアーキテクチャにおいて暗黙的かつ明示的な知識を統合しつつ,回答生成時に両知識源を共同で推論する。 我々の分析では、モデル予測の解釈可能性の向上に、明示的な知識統合のさらなる利点が見られる。
  論文  参考訳（メタデータ） (2021-12-16T04:37:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。