論文の概要: Commonsense Knowledge Editing Based on Free-Text in LLMs

• arxiv url: http://arxiv.org/abs/2410.23844v1
• Date: Thu, 31 Oct 2024 11:50:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 17:03:27.107206
• Title: Commonsense Knowledge Editing Based on Free-Text in LLMs
• Title（参考訳）: LLMにおける自由テキストに基づくコモンセンス知識編集
• Authors: Xiusheng Huang, Yequan Wang, Jun Zhao, Kang Liu,
• Abstract要約: 本研究では,コモンセンス知識に対応するパラメータ位置を特定するためのDynamics-Aware Moduleを提案し,知識を更新するために知識編集モジュールを用いる。 実験結果から,DEMは優れた編集性能が得られることが示された。
• 参考スコア（独自算出の注目度）: 23.18079655111236
• License:
• Abstract: Knowledge editing technology is crucial for maintaining the accuracy and timeliness of large language models (LLMs) . However, the setting of this task overlooks a significant portion of commonsense knowledge based on free-text in the real world, characterized by broad knowledge scope, long content and non instantiation. The editing objects of previous methods (e.g., MEMIT) were single token or entity, which were not suitable for commonsense knowledge in free-text form. To address the aforementioned challenges, we conducted experiments from two perspectives: knowledge localization and knowledge editing. Firstly, we introduced Knowledge Localization for Free-Text(KLFT) method, revealing the challenges associated with the distribution of commonsense knowledge in MLP and Attention layers, as well as in decentralized distribution. Next, we propose a Dynamics-aware Editing Method(DEM), which utilizes a Dynamics-aware Module to locate the parameter positions corresponding to commonsense knowledge, and uses Knowledge Editing Module to update knowledge. The DEM method fully explores the potential of the MLP and Attention layers, and successfully edits commonsense knowledge based on free-text. The experimental results indicate that the DEM can achieve excellent editing performance.
• Abstract（参考訳）: 知識編集技術は,大規模言語モデル(LLM)の精度とタイムラインを維持する上で重要である。 しかし、このタスクの設定は、広い知識範囲、長い内容、非インスタンス化を特徴とする、現実世界における自由テキストに基づくコモンセンス知識のかなりの部分を見落としている。 従来のメソッド(例えばMEMIT)の編集対象はシングルトークンやエンティティであり、フリーテキスト形式でのコモンセンスの知識には適していなかった。 上記の課題に対処するため,知識のローカライゼーションと知識編集という2つの視点から実験を行った。 まず,自由テキスト(KLFT)手法の知識局在化を導入し,MLPおよび注意層におけるコモンセンス知識の分布と分散分布の課題を明らかにした。 次に、DEM(Dynamics-Aware Editing Method)を提案する。DEM(Dynamics-Aware Editing Method)は、DEM(Dynamics-Aware Module)を用いて、コモンセンス知識に対応するパラメータ位置を特定し、知識を更新するために知識編集モジュールを使用する。 DEM法は,MLP層とアテンション層の可能性を完全に探求し,自由テキストに基づくコモンセンス知識の編集に成功した。 実験結果から,DEMは優れた編集性能が得られることが示された。

関連論文リスト

• Towards Unified Multimodal Editing with Enhanced Knowledge Collaboration [107.31481207855835]
  内在的知識の編集や外部知識の活用といった現在の手法は、それぞれに長所と短所がある。 固有知識編集と外部知識を活用した統一的な視点を確立するための,新しいマルチモーダル編集手法UniKEを提案する。
  論文  参考訳（メタデータ） (2024-09-30T02:13:53Z)
• OneEdit: A Neural-Symbolic Collaboratively Knowledge Editing System [48.261069440429125]
  記号的知識グラフ(KG)とニューラルネットワークモデル(LLM)はどちらも知識を表現することができる。 OneEditは、自然言語を用いた協調的な知識編集のためのニューラルシンボリックなプロトタイプシステムである。
  論文  参考訳（メタデータ） (2024-09-09T16:46:47Z)
• Knowledge Graph-Enhanced Large Language Models via Path Selection [58.228392005755026]
  大規模言語モデル(LLM)は、様々な現実世界のアプリケーションで前例のない性能を示している。 LLMは実際に不正確な出力、すなわち幻覚の問題を発生させることが知られている。 上記の問題に対処する3段階の原理的フレームワークKELPを提案する。
  論文  参考訳（メタデータ） (2024-06-19T21:45:20Z)
• Learning to Edit: Aligning LLMs with Knowledge Editing [101.96620267293731]
  本稿では,大規模言語モデルに新たな知識を入力問題に適用する学習 to LTE(Learning to Edit)フレームワークを提案する。 LTEには2段階のプロセスがある: (i) アライメントフェーズ(アライメントフェーズ)。 LTEの知識編集性能の優位性、バッチおよびシーケンシャルな編集の堅牢性、一般的なタスクに対する最小限の干渉、高速な編集速度を示す。
  論文  参考訳（メタデータ） (2024-02-19T07:45:17Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Eva-KELLM: A New Benchmark for Evaluating Knowledge Editing of LLMs [54.22416829200613]
  Eva-KELLMは、大規模言語モデルの知識編集を評価するための新しいベンチマークである。 実験結果から, 生文書を用いた知識編集手法は, 良好な結果を得るには有効ではないことが示唆された。
  論文  参考訳（メタデータ） (2023-08-19T09:17:19Z)
• EasyEdit: An Easy-to-use Knowledge Editing Framework for Large Language Models [45.70959260613425]
  本稿では,大規模言語モデルのための知識編集フレームワークであるEasyEditを提案する。 様々な最先端の知識編集アプローチをサポートし、よく知られたLLMにも容易に適用できる。 我々はLlaMA-2の知識編集結果をEasyEditで報告し、知識編集が従来の微調整よりも優れていることを示した。
  論文  参考訳（メタデータ） (2023-08-14T16:52:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。