論文の概要: Everything is Editable: Extend Knowledge Editing to Unstructured Data in Large Language Models

• arxiv url: http://arxiv.org/abs/2405.15349v2
• Date: Fri, 18 Oct 2024 04:32:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:22:35.328127
• Title: Everything is Editable: Extend Knowledge Editing to Unstructured Data in Large Language Models
• Title（参考訳）: すべてが編集可能:大規模言語モデルにおける非構造化データへの知識編集の拡張
• Authors: Jingcheng Deng, Zihao Wei, Liang Pang, Hanxing Ding, Huawei Shen, Xueqi Cheng,
• Abstract要約: 現実世界の知識の大部分は、構造化されていない形式で保存される。 ローカル層キーバリューストレージや項駆動最適化のような技術は、構造化されていない知識を扱うのに有効ではない。 本研究では,非構造化知識編集手法,すなわちUnKEを提案する。
• 参考スコア（独自算出の注目度）: 65.10456412127405
• License:
• Abstract: Recent knowledge editing methods have primarily focused on modifying structured knowledge in large language models. However, this task setting overlooks the fact that a significant portion of real-world knowledge is stored in an unstructured format, characterized by long-form content, noise, and a complex yet comprehensive nature. Techniques like local layer key-value storage and term-driven optimization, as used in previous methods like MEMIT, are not effective for handling unstructured knowledge. To address these challenges, we propose a novel Unstructured Knowledge Editing method, namely UnKE, which extends previous assumptions in the layer dimension and token dimension. Firstly, in the layer dimension, we propose non-local block key-value storage to replace local layer key-value storage, increasing the representation ability of key-value pairs and incorporating attention layer knowledge. Secondly, in the token dimension, we replace term-driven optimization with cause-driven optimization, which edits the last token directly while preserving context, avoiding the need to locate terms and preventing the loss of context information. Results on newly proposed unstructured knowledge editing dataset (UnKEBench) and traditional structured datasets demonstrate that UnKE achieves remarkable performance, surpassing strong baselines. In addition, UnKE has robust batch editing and sequential editing capabilities.
• Abstract（参考訳）: 近年の知識編集手法は,大規模言語モデルにおける構造化知識の変更に重点を置いている。 しかし、このタスク設定は、現実世界の知識のかなりの部分が、長文の内容、ノイズ、複雑で包括的な性質を特徴とする非構造化形式に格納されているという事実を見落としている。 ローカルレイヤのキーバリューストレージや、MEMITのような従来の手法のように、項駆動の最適化のような手法は、構造化されていない知識を扱うのに効果的ではない。 これらの課題に対処するため,新しいUnstructured Knowledge Editing法,すなわちUnKEを提案する。 まず,非局所ブロック鍵値ストレージを提案し,鍵値ペアの表現能力を高め,注意層知識を取り入れた。 第二に、トークンの次元において、項駆動の最適化を原因駆動の最適化に置き換え、コンテキストを保存しながら最後のトークンを直接編集し、用語の特定やコンテキスト情報の喪失を回避する。 新たに提案された非構造化知識編集データセット(UnKEBench)と従来の構造化データセットの結果は、UnKEが優れたパフォーマンスを発揮し、強力なベースラインを超えていることを示している。 さらに、UnKEは堅牢なバッチ編集とシーケンシャル編集機能を備えている。

関連論文リスト

• StructRAG: Boosting Knowledge Intensive Reasoning of LLMs via Inference-time Hybrid Information Structurization [94.31508613367296]
  Retrieval-augmented Generation(RAG)は、大規模言語モデル(LLM)を効果的に強化する鍵となる手段である。 本稿では,手前のタスクに対して最適な構造型を識別し,元の文書をこの構造化形式に再構成し,その結果に基づいて回答を推測するStructRAGを提案する。 実験の結果、StructRAGは最先端のパフォーマンスを実現し、特に挑戦的なシナリオに優れていた。
  論文  参考訳（メタデータ） (2024-10-11T13:52:44Z)
• StruEdit: Structured Outputs Enable the Fast and Accurate Knowledge Editing for Large Language Models [41.45831411548188]
  StruEditは、他の知識編集方法と比較して、レイテンシの低い最高の精度を提供する。 結果,StruEditは,他の知識編集手法と比較して,低レイテンシで常に高い精度を提供することがわかった。
  論文  参考訳（メタデータ） (2024-09-16T09:48:56Z)
• Structure-aware Domain Knowledge Injection for Large Language Models [37.089378357827826]
  本稿では,基礎言語モデル(LLM)をドメインスペシャリストに効率的に変換する手法であるStructTuningを紹介する。 従来の知識注入性能の50%を達成しながら、トレーニングコーパスの要求をわずか0.3%まで大幅に削減する。 本手法は,MMedBench の最先端 MMedLM2 に対して,トレーニングコストが5% に大幅に削減される可能性を示した。
  論文  参考訳（メタデータ） (2024-07-23T12:38:48Z)
• Detecting Edited Knowledge in Language Models [5.260519479124422]
  知識編集手法(KEs)は、事前学習から学んだ言語モデルの古いまたは不正確な知識を更新することができる。 生成されたアウトプットが編集された知識に基づいているか、あるいは事前学習からのファーストハンド知識に基づいているかを知ることは、生成モデルに対するユーザの信頼を高めることができる。 本稿では,言語モデルにおける編集された知識を検出する新しい課題を提案する。
  論文  参考訳（メタデータ） (2024-05-04T22:02:24Z)
• Stable Knowledge Editing in Large Language Models [68.98582618305679]
  本稿では,知識ローカライゼーションではなく,知識増強に基づく知識編集手法であるStableKEを紹介する。 人間のラベル付けのコストを克服するため、StableKEは2つの自動知識増強戦略を統合している。 StableKEは、他の知識編集方法を超え、編集された知識とマルチホップ知識の両方の安定性を示す。
  論文  参考訳（メタデータ） (2024-02-20T14:36:23Z)
• EVEDIT: Event-based Knowledge Editing with Deductive Editing Boundaries [69.72012539060731]
  大規模言語モデル(LLM)における効率的な知識編集(KE)の理論的枠組みを導入する。 本稿では,事象をイベント記述と組み合わせたイベントベースの知識編集タスクを提案する。 編集モデルにおける不確実性を解消するための既存の設定よりもイベントベースの編集の方が優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-17T16:34:50Z)
• SWEA: Updating Factual Knowledge in Large Language Models via Subject Word Embedding Altering [17.20346072074533]
  最近のモデル編集は、大規模言語モデル(LLM)の少量の知識を効率的に更新するための有望な手法である 本稿では,トークンレベルのマッチングによる埋め込みの編集を行うSWEAフレームワークを提案する。 我々は、textscCounterFactおよびzsREデータセット上でSWEA$oplus$OSのSOTA(State-of-the-art)パフォーマンスを実証する。
  論文  参考訳（メタデータ） (2024-01-31T13:08:45Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Open-Vocabulary Camouflaged Object Segmentation [66.94945066779988]
  OVCOS(Open-vocabulary camouflaged Object segmentation)を導入した。 我々は11,483個の手選択画像とそれに対応するオブジェクトクラスを含む大規模複合シーンデータセット(textbfOVCamo)を構築した。 クラスセマンティック知識の指導とエッジ情報と深度情報からの視覚構造的手がかりの補足を統合することにより、提案手法は効率よくカモフラージュされたオブジェクトを捕捉できる。
  論文  参考訳（メタデータ） (2023-11-19T06:00:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。