論文の概要: Resolving Editing-Unlearning Conflicts: A Knowledge Codebook Framework for Large Language Model Updating

• arxiv url: http://arxiv.org/abs/2502.00158v1
• Date: Fri, 31 Jan 2025 20:48:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:00:38.156287
• Title: Resolving Editing-Unlearning Conflicts: A Knowledge Codebook Framework for Large Language Model Updating
• Title（参考訳）: 編集-学習の衝突を解決する:大規模言語モデルの更新のための知識コードブックフレームワーク
• Authors: Binchi Zhang, Zhengzhang Chen, Zaiyi Zheng, Jundong Li, Haifeng Chen,
• Abstract要約: 大きな言語モデル(LLM)は、人間の知識を符号化することで自然言語処理に優れる。 LLMの更新には、不要な知識を取り除くための学習と、新しい情報を統合するための編集という、2つの重要なタスクが同時に行われる。 知識コードブックに基づく LLM 更新のためのコンフリクトフリーフレームワーク Loka を提案する。
• 参考スコア（独自算出の注目度）: 61.70705744491162
• License:
• Abstract: Large Language Models (LLMs) excel in natural language processing by encoding extensive human knowledge, but their utility relies on timely updates as knowledge evolves. Updating LLMs involves two key tasks simultaneously: unlearning to remove unwanted knowledge and editing to incorporate new information. Existing methods face two major challenges: ineffective knowledge storage (either too sparse or too dense) and task conflicts between editing and unlearning, as validated through our theoretical and experimental results. To address these issues, we propose LOKA, a conflict-free framework for LLM updating based on a knowledge codebook. During training, updated knowledge is stored in multiple codebook memories. To optimize knowledge storage, a similarity-aware knowledge mapping ensures that related knowledge pieces are clustered and allocated to the same memory. Additionally, LOKA resolves task conflicts by employing task-specific and multi-task memories guided by a conflict score. In the inference stage, LOKA retrieves the most relevant memory from the codebook and plugs it into the original LLM to apply the updated knowledge. A learning-based router controls codebook activation to further improve knowledge utilization. Extensive experiments demonstrate the effectiveness of LOKA in LLM knowledge updating tasks.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、人間の知識を符号化することで自然言語処理に優れるが、その用途は知識が進化するにつれてタイムリーな更新に依存する。 LLMの更新には、不要な知識を取り除くための学習と、新しい情報を統合するための編集という、2つの重要なタスクが同時に行われる。 既存の方法は2つの大きな課題に直面している: 理論的および実験的結果から検証されるように、非効率な知識記憶(疎度すぎるか高密度すぎるかのどちらか)と、編集と未学習の間のタスクの衝突である。 これらの問題に対処するため,知識コードブックに基づく LLM 更新のためのコンフリクトフリーフレームワーク Loka を提案する。 トレーニング中、更新された知識は複数のコードブックメモリに保存される。 知識記憶を最適化するために、類似性を認識した知識マッピングは、関連する知識がクラスタ化され、同じメモリに割り当てられることを保証する。 さらに、Lokaは、コンフリクトスコアで導かれるタスク固有メモリとマルチタスクメモリを採用することで、タスクコンフリクトを解決する。 推論段階では、Lokaはコードブックから最も関連性の高いメモリを取得し、それを元のLLMにプラグインして更新された知識を適用します。 学習ベースのルータは、コードブックのアクティベーションを制御し、知識利用をさらに改善する。 LLM知識更新タスクにおけるLokaの有効性を示す大規模な実験を行った。

関連論文リスト

• Lifelong Knowledge Editing for LLMs with Retrieval-Augmented Continuous Prompt Learning [30.554641380670315]
  本稿では,生涯学習における編集効率と推論効率を向上させるために,ContInuous Prompt lEarning法であるRECIPEを紹介する。 RECIPEはまず、知識文をLLMの入力クエリの埋め込みにプレフィックスした、短くて情報的な連続的なプロンプトに変換する。 さらに、動的しきい値を計算するために仲介役として機能する知識センチネル(KS)を統合する。 我々のレトリバーとプロンプトエンコーダは、信頼性、一般性、局所性といった編集特性を達成するために共同で訓練されている。
  論文  参考訳（メタデータ） (2024-05-06T08:52:11Z)
• Untangle the KNOT: Interweaving Conflicting Knowledge and Reasoning Skills in Large Language Models [51.72963030032491]
  大規模言語モデル(LLM)の知識文書は、時代遅れや誤った知識のためにLLMの記憶と矛盾する可能性がある。 我々は,知識紛争解決のための新しいデータセットKNOTを構築した。
  論文  参考訳（メタデータ） (2024-04-04T16:40:11Z)
• Learning to Edit: Aligning LLMs with Knowledge Editing [101.96620267293731]
  本稿では,大規模言語モデルに新たな知識を入力問題に適用する学習 to LTE(Learning to Edit)フレームワークを提案する。 LTEには2段階のプロセスがある: (i) アライメントフェーズ(アライメントフェーズ)。 LTEの知識編集性能の優位性、バッチおよびシーケンシャルな編集の堅牢性、一般的なタスクに対する最小限の干渉、高速な編集速度を示す。
  論文  参考訳（メタデータ） (2024-02-19T07:45:17Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Knowledge Solver: Teaching LLMs to Search for Domain Knowledge from Knowledge Graphs [19.0797968186656]
  大規模言語モデル(LLM)は汎用的であり、その創発的能力と一般化性のために異なるタスクを解くことができる。 以前の研究では、グラフニューラルネットワーク(GNN)のような追加モジュールは、外部の知識ベースから取得した知識に基づいて訓練されている。
  論文  参考訳（メタデータ） (2023-09-06T15:55:01Z)
• Eva-KELLM: A New Benchmark for Evaluating Knowledge Editing of LLMs [54.22416829200613]
  Eva-KELLMは、大規模言語モデルの知識編集を評価するための新しいベンチマークである。 実験結果から, 生文書を用いた知識編集手法は, 良好な結果を得るには有効ではないことが示唆された。
  論文  参考訳（メタデータ） (2023-08-19T09:17:19Z)
• Knowledge Infused Decoding [46.09844215234235]
  Knowledge Infused Decoding (KID)は、生成言語モデル(LM)のための新しい復号アルゴリズムである。 KIDはLMデコーディングの各ステップに外部知識を動的に注入する。 人間の評価は、入力コンテキストに対してより関連性があり、現実的な言語を生成するKIDの能力を確認する。
  論文  参考訳（メタデータ） (2022-04-06T20:58:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。