Fugu-MT 論文翻訳(概要): A Comprehensive Study of Knowledge Editing for Large Language Models

論文の概要: A Comprehensive Study of Knowledge Editing for Large Language Models

arxiv url: http://arxiv.org/abs/2401.01286v1
Date: Tue, 2 Jan 2024 16:54:58 GMT
ステータス: 処理完了
システム内更新日: 2024-01-03 13:25:57.107406
Title: A Comprehensive Study of Knowledge Editing for Large Language Models
Title（参考訳）: 大規模言語モデルの知識編集に関する総合的研究
Authors: Ningyu Zhang, Yunzhi Yao, Bozhong Tian, Peng Wang, Shumin Deng, Mengru Wang, Zekun Xi, Shengyu Mao, Jintian Zhang, Yuansheng Ni, Siyuan Cheng, Ziwen Xu, Xin Xu, Jia-Chen Gu, Yong Jiang, Pengjun Xie, Fei Huang, Lei Liang, Zhiqiang Zhang, Xiaowei Zhu, Jun Zhou, Huajun Chen
Abstract要約: 大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
参考スコア（独自算出の注目度）: 83.73538305784763
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large Language Models (LLMs) have shown extraordinary capabilities in understanding and generating text that closely mirrors human communication. However, a primary limitation lies in the significant computational demands during training, arising from their extensive parameterization. This challenge is further intensified by the dynamic nature of the world, necessitating frequent updates to LLMs to correct outdated information or integrate new knowledge, thereby ensuring their continued relevance. Note that many applications demand continual model adjustments post-training to address deficiencies or undesirable behaviors. There is an increasing interest in efficient, lightweight methods for on-the-fly model modifications. To this end, recent years have seen a burgeoning in the techniques of knowledge editing for LLMs, which aim to efficiently modify LLMs' behaviors within specific domains while preserving overall performance across various inputs. In this paper, we first define the knowledge editing problem and then provide a comprehensive review of cutting-edge approaches. Drawing inspiration from educational and cognitive research theories, we propose a unified categorization criterion that classifies knowledge editing methods into three groups: resorting to external knowledge, merging knowledge into the model, and editing intrinsic knowledge. Furthermore, we introduce a new benchmark, KnowEdit, for a comprehensive empirical evaluation of representative knowledge editing approaches. Additionally, we provide an in-depth analysis of knowledge location, which can provide a deeper understanding of the knowledge structures inherent within LLMs. Finally, we discuss several potential applications of knowledge editing, outlining its broad and impactful implications.
Abstract（参考訳）: 大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。しかしながら、主な制限はトレーニング中の重要な計算要求であり、その広範なパラメータ化が原因である。この課題は世界のダイナミックな性質によってさらに強化され、古い情報を修正したり、新しい知識を統合するためにllmの頻繁な更新が必要である。多くのアプリケーションは、欠陥や望ましくない振る舞いに対処するために、訓練後のモデル調整を要求している。オンザフライモデル修正のための効率的で軽量な手法への関心が高まっている。この目的のために, 近年, LLM の知識編集技術が盛んになり, 様々な入力の全体的な性能を保ちながら, 特定の領域内での LLM の振る舞いを効率的に修正することを目指している。本稿ではまず,知識編集の問題を定義し,最先端アプローチの総合的なレビューを行う。教育・認知研究理論から着想を得て,外部知識への依存,モデルへの知識の融合,内在知識の編集という,知識編集手法を3つのグループに分類する統一分類基準を提案する。さらに,代表的知識編集手法の包括的評価のために,新しいベンチマークであるnoweditを導入する。さらに,LLMに含まれる知識構造をより深く理解することのできる,知識位置の詳細な分析を行う。最後に,知識編集の潜在的な応用について検討し,その広範かつ影響の大きい影響について概説する。

関連論文リスト

Bring Your Own Knowledge: A Survey of Methods for LLM Knowledge Expansion [45.36686217199313]
大規模言語モデル(LLM)を新しい多様な知識に適応させることは、現実世界のアプリケーションにおける持続的な有効性に不可欠である。本調査は, 事実情報, ドメイン知識, 言語習熟度, ユーザの嗜好など, さまざまな知識タイプを統合することに焦点を当てる。
論文参考訳（メタデータ） (2025-02-18T07:15:28Z)
ConceptEdit: Conceptualization-Augmented Knowledge Editing in Large Language Models for Commonsense Reasoning [47.98788315789392]
ConceptEditは、概念化とインスタンス化をKnowledge Editingパイプラインに統合するフレームワークである。その結果,コンセプション編集は,他のベースラインに比べて信頼性が向上し,コモンセンスの知識を生み出すことができた。
論文参考訳（メタデータ） (2024-12-16T03:34:40Z)
Uncovering Overfitting in Large Language Model Editing [35.55260822503773]
編集対象に不均等に高い確率を割り当てる編集オーバーフィット現象を同定し,検討する。本稿では,新たな知識を振り返って編集されたモデルをガイドするマルチステージ推論制約モジュールを導入する,Learning to Inference (LTI) と呼ばれる新しいプラグイン・アンド・プレイ戦略を提案する。
論文参考訳（メタデータ） (2024-10-10T11:09:00Z)
Editing the Mind of Giants: An In-Depth Exploration of Pitfalls of Knowledge Editing in Large Language Models [26.516571783335824]
近年の研究では、知識の歪みや一般的な能力の劣化など、編集後に現れた副作用が特定されている。本調査では,これらの側面を包括的に研究し,大規模言語モデルにおける知識編集の課題を統一的に考察する。
論文参考訳（メタデータ） (2024-06-03T15:28:21Z)
Editing Conceptual Knowledge for Large Language Models [65.38231526537476]
本稿では,Large Language Models(LLMs)における概念知識の編集の先駆者となる。本研究では,新しいベンチマークデータセットConceptEditを構築し,評価のための新しいメトリクスセットを確立する。実験の結果,既存の編集手法は概念レベルの定義をある程度効率的に修正できるが,関連する瞬間的知識を歪ませる可能性も示された。
論文参考訳（メタデータ） (2024-03-10T16:57:10Z)
InfuserKI: Enhancing Large Language Models with Knowledge Graphs via Infuser-Guided Knowledge Integration [58.61492157691623]
知識を統合する手法が開発され、外部モジュールを通してLLMをドメイン固有の知識グラフに拡張した。本研究は,未知の知識をLLMに効率的に統合することで,未知の知識を不要に重複させるという,新たな問題に焦点をあてる。新しい知識を導入するリスクは、既存の知識を忘れることである。
論文参考訳（メタデータ） (2024-02-18T03:36:26Z)
Online Continual Knowledge Learning for Language Models [3.654507524092343]
大規模言語モデル(LLM)は、幅広い世界の知識のリポジトリとして機能し、質問応答やファクトチェックなどのタスクを実行できる。オンライン連続知識学習(OCKL)は,実時間制約下での世界知識の動的性質を管理することを目的としている。
論文参考訳（メタデータ） (2023-11-16T07:31:03Z)
Knowledge Editing for Large Language Models: A Survey [51.01368551235289]
大規模言語モデル(LLM)の大きな欠点の1つは、事前学習に要する計算コストである。知識に基づくモデル編集(KME)が注目を集めており、特定の知識を組み込むためにLLMを正確に修正することを目的としている。
論文参考訳（メタデータ） (2023-10-24T22:18:13Z)
Beyond Factuality: A Comprehensive Evaluation of Large Language Models as Knowledge Generators [78.63553017938911]
大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
論文参考訳（メタデータ） (2023-10-11T08:22:37Z)
Eva-KELLM: A New Benchmark for Evaluating Knowledge Editing of LLMs [54.22416829200613]
Eva-KELLMは、大規模言語モデルの知識編集を評価するための新しいベンチマークである。実験結果から, 生文書を用いた知識編集手法は, 良好な結果を得るには有効ではないことが示唆された。
論文参考訳（メタデータ） (2023-08-19T09:17:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。