論文の概要: Stable Knowledge Editing in Large Language Models

• arxiv url: http://arxiv.org/abs/2402.13048v1
• Date: Tue, 20 Feb 2024 14:36:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 14:55:14.444418
• Title: Stable Knowledge Editing in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける安定的知識編集
• Authors: Zihao Wei, Liang Pang, Hanxing Ding, Jingcheng Deng, Huawei Shen, Xueqi Cheng
• Abstract要約: 本稿では,知識ローカライゼーションではなく,知識増強に基づく知識編集手法であるStableKEを紹介する。 人間のラベル付けのコストを克服するため、StableKEは2つの自動知識増強戦略を統合している。 StableKEは、他の知識編集方法を超え、編集された知識とマルチホップ知識の両方の安定性を示す。
• 参考スコア（独自算出の注目度）: 68.98582618305679
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Efficient knowledge editing of large language models is crucial for replacing obsolete information or incorporating specialized knowledge on a large scale. However, previous methods implicitly assume that knowledge is localized and isolated within the model, an assumption that oversimplifies the interconnected nature of model knowledge. The premise of localization results in an incomplete knowledge editing, whereas an isolated assumption may impair both other knowledge and general abilities. It introduces instability to the performance of the knowledge editing method. To transcend these assumptions, we introduce StableKE, a method adopts a novel perspective based on knowledge augmentation rather than knowledge localization. To overcome the expense of human labeling, StableKE integrates two automated knowledge augmentation strategies: Semantic Paraphrase Enhancement strategy, which diversifies knowledge descriptions to facilitate the teaching of new information to the model, and Contextual Description Enrichment strategy, expanding the surrounding knowledge to prevent the forgetting of related information. StableKE surpasses other knowledge editing methods, demonstrating stability both edited knowledge and multi-hop knowledge, while also preserving unrelated knowledge and general abilities. Moreover, StableKE can edit knowledge on ChatGPT.
• Abstract（参考訳）: 大規模言語モデルの効率的な知識編集は、時代遅れの情報を置き換えるか、大規模に専門知識を取り入れるために重要である。 しかしながら、従来の手法では、知識が局所化され、モデル内で分離されていると暗黙的に仮定している。 ローカライゼーションの前提は不完全な知識編集をもたらすが、孤立した仮定は他の知識と一般的な能力の両方を損なう可能性がある。 知識編集手法の性能に不安定性を導入する。 このような仮定を超越するために,知識ローカライゼーションではなく,知識増強に基づく新たな視点を取り入れたStableKEを導入する。 人間のラベル付けのコストを克服するために、StableKEは、モデルに新しい情報を教えるための知識記述を多様化するセマンティック・パラフレーズ拡張戦略と、関連する情報の忘れを防止するために周囲の知識を拡張するコンテキスト記述強化戦略の2つの自動知識増強戦略を統合する。 StableKEは、他の知識編集方法を超え、編集された知識とマルチホップ知識の両方の安定性を示しながら、無関係な知識と一般的な能力を保持する。 さらに、StableKEはChatGPTの知識を編集できる。

関連論文リスト

• AKEW: Assessing Knowledge Editing in the Wild [79.96813982502952]
  AKEW(Assessing Knowledge Editing in the Wild)は知識編集のための新しい実用的なベンチマークである。 知識更新の編集設定は、構造化された事実、構造化されていない事実としてのテキスト、抽出された三つ組の3つを網羅している。 大規模な実験を通じて、最先端の知識編集手法と実践シナリオの間にかなりのギャップがあることを実証する。
  論文  参考訳（メタデータ） (2024-02-29T07:08:34Z)
• InfuserKI: Enhancing Large Language Models with Knowledge Graphs via Infuser-Guided Knowledge Integration [61.554209059971576]
  大規模言語モデル(LLM)は、様々な領域にまたがる顕著なオープンジェネレーション機能を示している。 新しい知識を注入すると、以前に獲得した知識を忘れるリスクが生じる。 Infuser-Guided Knowledge Integration フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-18T03:36:26Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• MLRIP: Pre-training a military language representation model with informative factual knowledge and professional knowledge base [11.016827497014821]
  現在の事前学習手順は、通常、知識マスキング、知識融合、知識置換を用いて、外部知識をモデルに注入する。 本研究では,ERNIE-Baidu が提案する知識マスキング戦略を改良した MLRIP を提案する。 包括的な分析による大規模な実験は、軍事知識駆動NLPタスクにおけるBERTモデルよりもMLRIPの方が優れていることを示している。
  論文  参考訳（メタデータ） (2022-07-28T07:39:30Z)
• Kformer: Knowledge Injection in Transformer Feed-Forward Layers [107.71576133833148]
  そこで我々は,Transformerのフィードフォワード層を通じて外部知識を組み込んだ新しい知識融合モデルKformerを提案する。 FFNに単に知識を注入するだけで、事前学習された言語モデルの能力が向上し、現在の知識融合法が促進されることを実証的に見出した。
  論文  参考訳（メタデータ） (2022-01-15T03:00:27Z)
• K-XLNet: A General Method for Combining Explicit Knowledge with Language Model Pretraining [5.178964604577459]
  明示的な知識を活用することで、モデルの事前訓練を改善することに重点を置いています。 具体的には、まず知識グラフ(KG)から知識事実をマッチングし、次に直接変換器に知識命令層を追加する。 実験の結果,変圧器に外部知識を加えるだけで,多くのNLPタスクにおける学習性能が向上することが示された。
  論文  参考訳（メタデータ） (2021-03-25T06:14:18Z)
• Incremental Knowledge Based Question Answering [52.041815783025186]
  人間と同じように学習能力を段階的に拡張できるインクリメンタルKBQA学習フレームワークを提案します。 具体的には、破滅的な忘れ問題を克服するために、マージン希釈損失と協調選択方法からなる。 包括的な実験は、進化する知識ベースに取り組む際にその効果と効率を示す。
  論文  参考訳（メタデータ） (2021-01-18T09:03:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。