論文の概要: UnKE: Unstructured Knowledge Editing in Large Language Models

• arxiv url: http://arxiv.org/abs/2405.15349v1
• Date: Fri, 24 May 2024 08:42:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 15:21:18.299693
• Title: UnKE: Unstructured Knowledge Editing in Large Language Models
• Title（参考訳）: UnKE: 大規模言語モデルにおける非構造化知識編集
• Authors: Jingcheng Deng, Zihao Wei, Liang Pang, Hanxing Ding, Huawei Shen, Xueqi Cheng,
• Abstract要約: 本稿では,非構造化知識編集手法,すなわちUnKEを提案する。 レイヤレベルでキーと値のペアを利用することで、UnKEは複雑で包括的な非構造化知識を効果的に表現し、編集する。 新たに提案された非構造知識編集データセット(UnKE)と従来の構造化データセットの結果は、UnKEが顕著な性能を発揮することを示している。
• 参考スコア（独自算出の注目度）: 65.10456412127405
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent knowledge editing methods have primarily focused on modifying structured knowledge in large language models, heavily relying on the assumption that structured knowledge is stored as key-value pairs locally in MLP layers or specific neurons. However, this task setting overlooks the fact that a significant portion of real-world knowledge is stored in an unstructured format, characterized by long-form content, noise, and a complex yet comprehensive nature. The "knowledge locating" and "term-driven optimization" techniques conducted from the assumption used in previous methods (e.g., MEMIT) are ill-suited for unstructured knowledge. To address these challenges, we propose a novel unstructured knowledge editing method, namely UnKE, which extends previous assumptions in the layer dimension and token dimension. Firstly, in the layer dimension, we discard the "knowledge locating" step and treat first few layers as the key, which expand knowledge storage through layers to break the "knowledge stored locally" assumption. Next, we replace "term-driven optimization" with "cause-driven optimization" across all inputted tokens in the token dimension, directly optimizing the last layer of the key generator to perform editing to generate the required key vectors. By utilizing key-value pairs at the layer level, UnKE effectively represents and edits complex and comprehensive unstructured knowledge, leveraging the potential of both the MLP and attention layers. Results on newly proposed unstructure knowledge editing dataset (UnKEBench) and traditional structured datasets demonstrate that UnKE achieves remarkable performance, surpassing strong baselines.
• Abstract（参考訳）: 近年の知識編集手法は、構造化知識がMLP層や特定のニューロンに局所的にキー-値対として格納されるという仮定に大きく依存しているため、大きな言語モデルにおける構造化知識の修正に重点を置いている。 しかし、このタスク設定は、現実世界の知識のかなりの部分が、長文の内容、ノイズ、複雑で包括的な性質を特徴とする非構造化形式に格納されているという事実を見落としている。 従来の手法(例えば、MEMIT)で用いられた仮定から得られる「知識の配置」と「期間駆動最適化」技術は、構造化されていない知識には不適である。 これらの課題に対処するため、我々は新しい非構造化知識編集手法、すなわちUnKEを提案し、レイヤー次元とトークン次元における以前の仮定を拡張した。 まず、レイヤの次元において、私たちは"知識の配置"のステップを捨て、最初の少数のレイヤをキーとして扱います。 次に、トークン次元の全ての入力トークンに対して「終了駆動最適化」を「原因駆動最適化」に置き換え、キージェネレータの最後の層を直接最適化して編集を行い、必要なキーベクトルを生成する。 レイヤレベルでキーと値のペアを利用することで、UnKEは、複雑で包括的な非構造化知識を効果的に表現し、編集し、MDP層とアテンション層の両方の可能性を活用する。 新たに提案された非構造知識編集データセット(UnKEBench)と従来の構造化データセットの結果は、UnKEが優れたパフォーマンスを発揮し、強力なベースラインを超えたことを示している。

関連論文リスト

• AnyEdit: Edit Any Knowledge Encoded in Language Models [69.30638272162267]
  大規模言語モデル(LLM)のための新しい自動回帰編集パラダイムであるAnyEditを提案する。 長い形式の知識を逐次チャンクに分解し、各チャンク内のキートークンを反復的に編集し、一貫性と正確な出力を保証する。 UnKEBench、AKEW、そして我々の長文の多様な知識のための新しいEditEverythingデータセットを含むベンチマークでは、強いベースラインを21.5%上回っている。
  論文  参考訳（メタデータ） (2025-02-08T16:18:37Z)
• Related Knowledge Perturbation Matters: Rethinking Multiple Pieces of Knowledge Editing in Same-Subject [49.559994791305535]
  現在最先端の編集手法は、複数の関連知識を同じ主題に編集する作業で苦労している。 本稿では,textS2textRKE$(Same-Subject Related Knowledge Editing)ベンチマークを紹介する。 実験の結果,ROMやMEMITのような主流の位置情報編集手法だけが「関連する知識の摂動」を示すことがわかった。
  論文  参考訳（メタデータ） (2025-02-08T04:47:17Z)
• Knowledge Editing through Chain-of-Thought [12.270274049887298]
  大規模言語モデル(LLM)は、幅広い自然言語処理(NLP)タスクにまたがる例外的な機能を示している。 これらのモデルを世界知識の進化とともに最新に保つことは、頻繁な再トレーニングのコストが高いため、依然として大きな課題である。 本研究では,リトレーニングを伴わずに,様々なタスクにまたがるLSMを柔軟かつ効率的に更新する新しい知識編集フレームワークEditCoTを提案する。
  論文  参考訳（メタデータ） (2024-12-23T17:17:50Z)
• StructRAG: Boosting Knowledge Intensive Reasoning of LLMs via Inference-time Hybrid Information Structurization [94.31508613367296]
  Retrieval-augmented Generation(RAG)は、大規模言語モデル(LLM)を効果的に強化する鍵となる手段である。 本稿では,手前のタスクに対して最適な構造型を識別し,元の文書をこの構造化形式に再構成し,その結果に基づいて回答を推測するStructRAGを提案する。 実験の結果、StructRAGは最先端のパフォーマンスを実現し、特に挑戦的なシナリオに優れていた。
  論文  参考訳（メタデータ） (2024-10-11T13:52:44Z)
• StruEdit: Structured Outputs Enable the Fast and Accurate Knowledge Editing for Large Language Models [41.45831411548188]
  StruEditは、他の知識編集方法と比較して、レイテンシの低い最高の精度を提供する。 結果,StruEditは,他の知識編集手法と比較して,低レイテンシで常に高い精度を提供することがわかった。
  論文  参考訳（メタデータ） (2024-09-16T09:48:56Z)
• Structure-aware Domain Knowledge Injection for Large Language Models [38.08691252042949]
  StructTuningは、大規模言語モデル(LLM)をドメインスペシャリストに変換する方法論である。 従来の知識注入性能の100パーセントを達成しながら、トレーニングコーパスに必要なトレーニングコーパスをわずか5%削減します。
  論文  参考訳（メタデータ） (2024-07-23T12:38:48Z)
• EVEDIT: Event-based Knowledge Editing with Deductive Editing Boundaries [69.72012539060731]
  大規模言語モデル(LLM)における効率的な知識編集(KE)の理論的枠組みを導入する。 本稿では,事象をイベント記述と組み合わせたイベントベースの知識編集タスクを提案する。 編集モデルにおける不確実性を解消するための既存の設定よりもイベントベースの編集の方が優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-17T16:34:50Z)
• SWEA: Updating Factual Knowledge in Large Language Models via Subject Word Embedding Altering [17.20346072074533]
  近年のモデル編集は,大規模言語モデルの少数の知識を効率的に更新する上で有望な手法である。 本稿では,トークンレベルのマッチングによる埋め込みの編集を行うSWEAフレームワークを提案する。 SWEA$oplus$OSのCounterFactデータセットとzsREデータセット上でのSOTA(State-of-the-art)パフォーマンスを実証する。
  論文  参考訳（メタデータ） (2024-01-31T13:08:45Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。