論文の概要: Adaptive Token Biaser: Knowledge Editing via Biasing Key Entities

• arxiv url: http://arxiv.org/abs/2406.12468v1
• Date: Tue, 18 Jun 2024 10:18:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 19:27:22.548330
• Title: Adaptive Token Biaser: Knowledge Editing via Biasing Key Entities
• Title（参考訳）: Adaptive Token Biaser: Biasing Key Entitiesによる知識編集
• Authors: Baolong Bi, Shenghua Liu, Yiwei Wang, Lingrui Mei, Hongcheng Gao, Yilong Xu, Xueqi Cheng,
• Abstract要約: ATBiasはICEを強化するために設計された新しいデコード技術である。 ATBiasはICEのパフォーマンスを大幅に向上させ、最先端のICEメソッドよりも最大32.3%向上した。
• 参考スコア（独自算出の注目度）: 40.80018182698191
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The parametric knowledge memorized by large language models (LLMs) becomes outdated quickly. In-context editing (ICE) is currently the most effective method for updating the knowledge of LLMs. Recent advancements involve enhancing ICE by modifying the decoding strategy, obviating the need for altering internal model structures or adjusting external prompts. However, this enhancement operates across the entire sequence generation, encompassing a plethora of non-critical tokens. In this work, we introduce $\textbf{A}$daptive $\textbf{T}$oken $\textbf{Bias}$er ($\textbf{ATBias}$), a new decoding technique designed to enhance ICE. It focuses on the tokens that are mostly related to knowledge during decoding, biasing their logits by matching key entities related to new and parametric knowledge. Experimental results show that ATBias significantly enhances ICE performance, achieving up to a 32.3% improvement over state-of-the-art ICE methods while incurring only half the latency. ATBias not only improves the knowledge editing capabilities of ICE but can also be widely applied to LLMs with negligible cost.
• Abstract（参考訳）: 大規模言語モデル(LLM)によって記憶されるパラメトリック知識は、急速に時代遅れになる。 インテキスト編集(ICE)は現在、LLMの知識を更新する最も効果的な方法である。 近年の進歩には、デコード戦略の変更、内部モデル構造の変更や外部プロンプトの調整の必要性の回避によるICEの強化が含まれる。 しかし、この拡張はシーケンス生成全体にわたって機能し、多くの非臨界トークンを含んでいる。 本稿では、ICEを強化するために設計された新しいデコード技術である、$\textbf{A}$daptive $\textbf{T}$oken $\textbf{Bias}$er$\textbf{ATBias}$er$を紹介する。 これは、デコーディング中に主に知識に関連するトークンに焦点を当て、新しいおよびパラメトリックな知識に関連する重要なエンティティをマッチングすることによって、それらのロジットをバイアスする。 実験の結果、ABBiasはICE性能を著しく向上させ、最先端のICE法よりも最大32.3%向上し、レイテンシを半分に抑えることができた。 ATBias は ICE の知識編集能力を向上するだけでなく,LLM にも低コストで広く適用することができる。

関連論文リスト

• DIEKAE: Difference Injection for Efficient Knowledge Augmentation and Editing of Large Language Models [0.39684397182496267]
  効率的な知識向上・編集のための差分注入法(DIEKAE)について紹介する。 PLMによるバックプロパゲーションを必要としないエンコーダのための新しいトレーニング手法を提案する。 本研究は,学習と推論の双方において,知識向上と編集の複数のベースラインと比較して,我々の手法がより速く,より効率的であることを示すものである。
  論文  参考訳（メタデータ） (2024-06-15T14:57:39Z)
• Decoding by Contrasting Knowledge: Enhancing LLMs' Confidence on Edited Facts [41.03991506580652]
  インテキスト編集(ICE)は現在、知識編集(KE)において最も効果的な方法である。 本研究の目的は,トークン単位の分布に対する文脈内知識の影響を分析することで,KEにおけるICEの優れた性能を解明することである。 我々は、$textbfC$ontrasting $textbfK$nowledge (DeCK) という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-19T17:08:31Z)
• Lifelong Knowledge Editing for LLMs with Retrieval-Augmented Continuous Prompt Learning [30.554641380670315]
  本稿では,生涯学習における編集効率と推論効率を向上させるために,ContInuous Prompt lEarning法であるRECIPEを紹介する。 RECIPEはまず、知識文をLLMの入力クエリの埋め込みにプレフィックスした、短くて情報的な連続的なプロンプトに変換する。 さらに、動的しきい値を計算するために仲介役として機能する知識センチネル(KS)を統合する。 我々のレトリバーとプロンプトエンコーダは、信頼性、一般性、局所性といった編集特性を達成するために共同で訓練されている。
  論文  参考訳（メタデータ） (2024-05-06T08:52:11Z)
• Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
  LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
  論文  参考訳（メタデータ） (2024-03-26T06:57:23Z)
• Learning to Edit: Aligning LLMs with Knowledge Editing [101.96620267293731]
  本稿では,大規模言語モデルに新たな知識を入力問題に適用する学習 to LTE(Learning to Edit)フレームワークを提案する。 LTEには2段階のプロセスがある: (i) アライメントフェーズ(アライメントフェーズ)。 LTEの知識編集性能の優位性、バッチおよびシーケンシャルな編集の堅牢性、一般的なタスクに対する最小限の干渉、高速な編集速度を示す。
  論文  参考訳（メタデータ） (2024-02-19T07:45:17Z)
• SWEA: Updating Factual Knowledge in Large Language Models via Subject Word Embedding Altering [17.20346072074533]
  最近のモデル編集は、大規模言語モデル(LLM)の少量の知識を効率的に更新するための有望な手法である 本稿では,トークンレベルのマッチングによる埋め込みの編集を行うSWEAフレームワークを提案する。 我々は、textscCounterFactおよびzsREデータセット上でSWEA$oplus$OSのSOTA(State-of-the-art)パフォーマンスを実証する。
  論文  参考訳（メタデータ） (2024-01-31T13:08:45Z)
• Eva-KELLM: A New Benchmark for Evaluating Knowledge Editing of LLMs [54.22416829200613]
  Eva-KELLMは、大規模言語モデルの知識編集を評価するための新しいベンチマークである。 実験結果から, 生文書を用いた知識編集手法は, 良好な結果を得るには有効ではないことが示唆された。
  論文  参考訳（メタデータ） (2023-08-19T09:17:19Z)
• Editing Factual Knowledge in Language Models [51.947280241185]
  本稿では,この知識を編集する手法であるKnowledgeEditorを提案する。 knowledgeeditorは計算効率が高いだけでなく、lm事前トレーニングの修正も必要としない。 2つの一般的なアーキテクチャと知識集約型タスクで、KnowledgeEditorの有効性を示します。
  論文  参考訳（メタデータ） (2021-04-16T15:24:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。