Fugu-MT 論文翻訳(概要): GeoEdit: Geometric Knowledge Editing for Large Language Models

論文の概要: GeoEdit: Geometric Knowledge Editing for Large Language Models

arxiv url: http://arxiv.org/abs/2502.19953v1
Date: Thu, 27 Feb 2025 10:27:48 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-28 14:58:12.597492
Title: GeoEdit: Geometric Knowledge Editing for Large Language Models
Title（参考訳）: GeoEdit: 大規模言語モデルのための幾何学的知識編集
Authors: Yujie Feng, Liming Zhan, Zexin Lu, Yongxin Xu, Xu Chu, Yasha Wang, Jiannong Cao, Philip S. Yu, Xiao-Ming Wu,
Abstract要約: 大規模言語モデル(LLM)における最新の知識を維持するためには、定期的な更新が不可欠である。幾何学的知識編集(GeoEdit)と呼ばれる新しいフレームワークを提案する。 GeoEditは、新しい知識更新に関連するニューロンと、一般的な知識摂動に関連するニューロンを区別する。残りのニューロンに対しては、整列方向の古知識と新知識を統合し、反対方向の「forget-then-learn」編集戦略を適用した。
参考スコア（独自算出の注目度）: 52.37408324849593
License:
Abstract: Regular updates are essential for maintaining up-to-date knowledge in large language models (LLMs). Consequently, various model editing methods have been developed to update specific knowledge within LLMs. However, training-based approaches often struggle to effectively incorporate new knowledge while preserving unrelated general knowledge. To address this challenge, we propose a novel framework called Geometric Knowledge Editing (GeoEdit). GeoEdit utilizes the geometric relationships of parameter updates from fine-tuning to differentiate between neurons associated with new knowledge updates and those related to general knowledge perturbations. By employing a direction-aware knowledge identification method, we avoid updating neurons with directions approximately orthogonal to existing knowledge, thus preserving the model's generalization ability. For the remaining neurons, we integrate both old and new knowledge for aligned directions and apply a "forget-then-learn" editing strategy for opposite directions. Additionally, we introduce an importance-guided task vector fusion technique that filters out redundant information and provides adaptive neuron-level weighting, further enhancing model editing performance. Extensive experiments on two publicly available datasets demonstrate the superiority of GeoEdit over existing state-of-the-art methods.
Abstract（参考訳）: 大規模な言語モデル(LLM)における最新の知識を維持するためには、定期的な更新が不可欠である。その結果、LLM内の特定の知識を更新する様々なモデル編集手法が開発された。しかし、トレーニングベースのアプローチは、無関係な一般知識を維持しながら、新しい知識を効果的に取り入れることに苦慮することが多い。この課題に対処するため,GeoEdit(Geometric Knowledge Editing)と呼ばれる新しいフレームワークを提案する。 GeoEditは、パラメータ更新の幾何学的関係を利用して、新しい知識更新に関連するニューロンと一般的な知識摂動に関連するニューロンを区別する。方向認識型知識識別手法を用いることで、既存の知識とほぼ直交する方向のニューロンの更新を回避し、モデルの一般化能力を維持する。残りのニューロンに対しては、整列方向の古知識と新知識を統合し、反対方向の「forget-then-learn」編集戦略を適用した。さらに、冗長な情報をフィルタリングし、適応的なニューロンレベルの重み付けを提供する重要誘導タスクベクトル融合手法を導入し、モデル編集性能をさらに向上する。公開された2つのデータセットに対する大規模な実験は、既存の最先端メソッドよりもGeoEditの方が優れていることを示している。

関連論文リスト

Knowledge Editing for Large Language Model with Knowledge Neuronal Ensemble [13.608354678065222]
我々は知識神経アンサンブル(KNE)と呼ばれる新しい知識編集手法を提案する。知識ニューロンアンサンブルは、特定の知識をコードするニューロンのグループを表しており、頻繁なパラメータ修正の問題を軽減する。 3つの広く使われている知識編集データセットの実験結果から,KNE法は知識編集の精度を大幅に向上させることが示された。
論文参考訳（メタデータ） (2024-12-30T00:58:00Z)
Everything is Editable: Extend Knowledge Editing to Unstructured Data in Large Language Models [65.10456412127405]
本稿では,非構造化知識編集手法,すなわちUnKEを提案する。そこで本研究では,非局所ブロック鍵値記憶方式を提案する。トークンのディメンションでは、コンテキストを保存しながら最後のトークンを直接編集する"期間駆動最適化"を"原因駆動最適化"に置き換えます。
論文参考訳（メタデータ） (2024-05-24T08:42:40Z)
Stable Knowledge Editing in Large Language Models [68.98582618305679]
本稿では,知識ローカライゼーションではなく,知識増強に基づく知識編集手法であるStableKEを紹介する。人間のラベル付けのコストを克服するため、StableKEは2つの自動知識増強戦略を統合している。 StableKEは、他の知識編集方法を超え、編集された知識とマルチホップ知識の両方の安定性を示す。
論文参考訳（メタデータ） (2024-02-20T14:36:23Z)
A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
論文参考訳（メタデータ） (2024-01-02T16:54:58Z)
History Matters: Temporal Knowledge Editing in Large Language Model [42.74144542674756]
本稿では,時間的知識編集(TKE)の課題を紹介し,現在のモデル編集手法を評価するためのベンチマークATOKeを確立する。既存のモデル編集手法は、モデルに新しい知識を記憶させるのに有効であるが、編集されたモデルは歴史的知識を破滅的に忘れてしまう。このギャップに対処するため,既存の編集モデルを改善するためのMulti-Editing with Time Objective (METO) という,シンプルで汎用的なフレームワークを提案する。
論文参考訳（メタデータ） (2023-12-09T07:51:56Z)
Assessing Knowledge Editing in Language Models via Relation Perspective [21.64869056276927]
本稿では,関係に基づく知識編集に焦点を当てたRaKEという新しいベンチマークを構築した。我々は,様々な知識編集ベースラインを含む総合的な実験を評価・実施するための,革新的な指標のセットを構築した。本研究結果は,関係に関する知識がFFNネットワークだけでなく,注目層にも蓄積されていることを確認する。
論文参考訳（メタデータ） (2023-11-15T15:44:42Z)
Forgetting before Learning: Utilizing Parametric Arithmetic for Knowledge Updating in Large Language Models [53.52344131257681]
本稿では,F-Learningと呼ばれるファインチューニングのための新しいパラダイムを提案する。これはパラメトリック算術を用いて,古い知識の忘れと新しい知識の学習を容易にする。 2つの公開データセットによる実験結果から、提案したFラーニングは、完全な微調整とLoRA微調整の両方の知識更新性能を向上させることが明らかに示されている。
論文参考訳（メタデータ） (2023-11-14T09:12:40Z)
Continual Learning for Natural Language Generation in Task-oriented Dialog Systems [72.92029584113676]
自然言語生成(NLG)はタスク指向対話システムにおいて重要な要素である。我々は,NLGの知識を新たなドメインや機能に段階的に拡張する"継続的学習"環境で研究する。この目標に対する大きな課題は、破滅的な忘れことであり、継続的に訓練されたモデルは、以前に学んだ知識を忘れがちである。
論文参考訳（メタデータ） (2020-10-02T10:32:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。