論文の概要: Everything is Editable: Extend Knowledge Editing to Unstructured Data in Large Language Models

• arxiv url: http://arxiv.org/abs/2405.15349v2
• Date: Fri, 18 Oct 2024 04:32:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:22:35.328127
• Title: Everything is Editable: Extend Knowledge Editing to Unstructured Data in Large Language Models
• Title（参考訳）: すべてが編集可能:大規模言語モデルにおける非構造化データへの知識編集の拡張
• Authors: Jingcheng Deng, Zihao Wei, Liang Pang, Hanxing Ding, Huawei Shen, Xueqi Cheng,
• Abstract要約: 現実世界の知識の大部分は、構造化されていない形式で保存される。 ローカル層キーバリューストレージや項駆動最適化のような技術は、構造化されていない知識を扱うのに有効ではない。 本研究では,非構造化知識編集手法,すなわちUnKEを提案する。
• 参考スコア（独自算出の注目度）: 65.10456412127405
• License:
• Abstract: Recent knowledge editing methods have primarily focused on modifying structured knowledge in large language models. However, this task setting overlooks the fact that a significant portion of real-world knowledge is stored in an unstructured format, characterized by long-form content, noise, and a complex yet comprehensive nature. Techniques like local layer key-value storage and term-driven optimization, as used in previous methods like MEMIT, are not effective for handling unstructured knowledge. To address these challenges, we propose a novel Unstructured Knowledge Editing method, namely UnKE, which extends previous assumptions in the layer dimension and token dimension. Firstly, in the layer dimension, we propose non-local block key-value storage to replace local layer key-value storage, increasing the representation ability of key-value pairs and incorporating attention layer knowledge. Secondly, in the token dimension, we replace term-driven optimization with cause-driven optimization, which edits the last token directly while preserving context, avoiding the need to locate terms and preventing the loss of context information. Results on newly proposed unstructured knowledge editing dataset (UnKEBench) and traditional structured datasets demonstrate that UnKE achieves remarkable performance, surpassing strong baselines. In addition, UnKE has robust batch editing and sequential editing capabilities.
• Abstract（参考訳）: 近年の知識編集手法は,大規模言語モデルにおける構造化知識の変更に重点を置いている。 しかし、このタスク設定は、現実世界の知識のかなりの部分が、長文の内容、ノイズ、複雑で包括的な性質を特徴とする非構造化形式に格納されているという事実を見落としている。 ローカルレイヤのキーバリューストレージや、MEMITのような従来の手法のように、項駆動の最適化のような手法は、構造化されていない知識を扱うのに効果的ではない。 これらの課題に対処するため,新しいUnstructured Knowledge Editing法,すなわちUnKEを提案する。 まず,非局所ブロック鍵値ストレージを提案し,鍵値ペアの表現能力を高め,注意層知識を取り入れた。 第二に、トークンの次元において、項駆動の最適化を原因駆動の最適化に置き換え、コンテキストを保存しながら最後のトークンを直接編集し、用語の特定やコンテキスト情報の喪失を回避する。 新たに提案された非構造化知識編集データセット(UnKEBench)と従来の構造化データセットの結果は、UnKEが優れたパフォーマンスを発揮し、強力なベースラインを超えていることを示している。 さらに、UnKEは堅牢なバッチ編集とシーケンシャル編集機能を備えている。

関連論文リスト

• AnyEdit: Edit Any Knowledge Encoded in Language Models [69.30638272162267]
  大規模言語モデル(LLM)のための新しい自動回帰編集パラダイムであるAnyEditを提案する。 長い形式の知識を逐次チャンクに分解し、各チャンク内のキートークンを反復的に編集し、一貫性と正確な出力を保証する。 UnKEBench、AKEW、そして我々の長文の多様な知識のための新しいEditEverythingデータセットを含むベンチマークでは、強いベースラインを21.5%上回っている。
  論文  参考訳（メタデータ） (2025-02-08T16:18:37Z)
• Related Knowledge Perturbation Matters: Rethinking Multiple Pieces of Knowledge Editing in Same-Subject [49.559994791305535]
  現在最先端の編集手法は、複数の関連知識を同じ主題に編集する作業で苦労している。 本稿では,textS2textRKE$(Same-Subject Related Knowledge Editing)ベンチマークを紹介する。 実験の結果,ROMやMEMITのような主流の位置情報編集手法だけが「関連する知識の摂動」を示すことがわかった。
  論文  参考訳（メタデータ） (2025-02-08T04:47:17Z)
• Knowledge Editing through Chain-of-Thought [12.270274049887298]
  大規模言語モデル(LLM)は、幅広い自然言語処理(NLP)タスクにまたがる例外的な機能を示している。 これらのモデルを世界知識の進化とともに最新に保つことは、頻繁な再トレーニングのコストが高いため、依然として大きな課題である。 本研究では,リトレーニングを伴わずに,様々なタスクにまたがるLSMを柔軟かつ効率的に更新する新しい知識編集フレームワークEditCoTを提案する。
  論文  参考訳（メタデータ） (2024-12-23T17:17:50Z)
• StructRAG: Boosting Knowledge Intensive Reasoning of LLMs via Inference-time Hybrid Information Structurization [94.31508613367296]
  Retrieval-augmented Generation(RAG)は、大規模言語モデル(LLM)を効果的に強化する鍵となる手段である。 本稿では,手前のタスクに対して最適な構造型を識別し,元の文書をこの構造化形式に再構成し,その結果に基づいて回答を推測するStructRAGを提案する。 実験の結果、StructRAGは最先端のパフォーマンスを実現し、特に挑戦的なシナリオに優れていた。
  論文  参考訳（メタデータ） (2024-10-11T13:52:44Z)
• StruEdit: Structured Outputs Enable the Fast and Accurate Knowledge Editing for Large Language Models [41.45831411548188]
  StruEditは、他の知識編集方法と比較して、レイテンシの低い最高の精度を提供する。 結果,StruEditは,他の知識編集手法と比較して,低レイテンシで常に高い精度を提供することがわかった。
  論文  参考訳（メタデータ） (2024-09-16T09:48:56Z)
• Structure-aware Domain Knowledge Injection for Large Language Models [38.08691252042949]
  StructTuningは、大規模言語モデル(LLM)をドメインスペシャリストに変換する方法論である。 従来の知識注入性能の100パーセントを達成しながら、トレーニングコーパスに必要なトレーニングコーパスをわずか5%削減します。
  論文  参考訳（メタデータ） (2024-07-23T12:38:48Z)
• EVEDIT: Event-based Knowledge Editing with Deductive Editing Boundaries [69.72012539060731]
  大規模言語モデル(LLM)における効率的な知識編集(KE)の理論的枠組みを導入する。 本稿では,事象をイベント記述と組み合わせたイベントベースの知識編集タスクを提案する。 編集モデルにおける不確実性を解消するための既存の設定よりもイベントベースの編集の方が優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-17T16:34:50Z)
• SWEA: Updating Factual Knowledge in Large Language Models via Subject Word Embedding Altering [17.20346072074533]
  近年のモデル編集は,大規模言語モデルの少数の知識を効率的に更新する上で有望な手法である。 本稿では,トークンレベルのマッチングによる埋め込みの編集を行うSWEAフレームワークを提案する。 SWEA$oplus$OSのCounterFactデータセットとzsREデータセット上でのSOTA(State-of-the-art)パフォーマンスを実証する。
  論文  参考訳（メタデータ） (2024-01-31T13:08:45Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。