論文の概要: Persuasion Tokens for Editing Factual Knowledge in LLMs

• arxiv url: http://arxiv.org/abs/2601.16781v2
• Date: Mon, 26 Jan 2026 07:21:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-27 15:23:06.998739
• Title: Persuasion Tokens for Editing Factual Knowledge in LLMs
• Title（参考訳）: LLMにおけるファクチュアル知識の編集のための説得トークン
• Authors: Paul Youssef, Christin Seifert, Jörg Schlötterer,
• Abstract要約: In-context Knowledge Editor (IKE) は、Large Language Models (LLM) を更新するための有望な技術である。 IKEは、重要なコンテキストウィンドウ空間を作成し、消費するのにコストがかかる、長く、事実固有のデモに依存している。 IKEデモの効果を再現するために訓練された特別なトークンである説得トークン(P-Tokens)を導入します。
• 参考スコア（独自算出の注目度）: 12.933506326251674
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In-context knowledge editing (IKE) is a promising technique for updating Large Language Models (LLMs) with new information. However, IKE relies on lengthy, fact-specific demonstrations which are costly to create and consume significant context window space. In this paper, we introduce persuasion tokens (P-Tokens) -- special tokens trained to replicate the effect of IKE demonstrations, enabling efficient knowledge editing without requiring fact-specific demonstrations. We evaluate P-Tokens across two editing datasets and three LLMs, demonstrating performance comparable to, and often exceeding, IKE. We further find that editing performance is robust to distractors with small negative effects to neighboring facts, and that increasing the number of P-Tokens improves performance. Our work addresses key limitations of IKE and provides a more practical and scalable alternative for editing LLMs.
• Abstract（参考訳）: In-context knowledge editing (IKE)は、LLM(Large Language Models)を新しい情報で更新するための有望なテクニックである。 しかし、IKEは、重要なコンテキストウィンドウ空間を作成し、消費するのにコストがかかる、長く、事実固有のデモに依存している。 本稿では,IKEデモの効果を再現するために訓練された特別なトークンである説得トークン(P-Tokens)を導入する。 2つの編集データセットと3つのLLMでP-Tokenを評価し、IKEに匹敵する性能を示す。 さらに, P-Tokensの増加により, 編集性能が低下し, 近隣の事実に対する否定的な影響が小さいため, 処理性能が向上することが示唆された。 我々の研究はIKEの重要な制限に対処し、LLMを編集するためのより実用的でスケーラブルな代替手段を提供する。

関連論文リスト

• Disentangling Knowledge Representations for Large Language Model Editing [38.244171146682206]
  我々は,LLM編集のための知識表現を分割する新しいアプローチであるDiKEを提案する。 DiKEは2つの主要なコンポーネントから構成される: 対象表現を対象知識関連および非関連コンポーネントに分解する知識表現(KRD)モジュールと、対象コンポーネントのみを更新する知識編集(DKE)モジュールである。 本研究では, 微粒な無関係知識の保存を厳密に評価するため, FINE-KEDという, 微粒な無関係知識を, 編集された知識と異なるレベルの類似度で構成した新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2025-05-24T16:24:04Z)
• How to Make LLMs Forget: On Reversing In-Context Knowledge Edits [5.260519479124422]
  In-context knowledge editing (IKE) は、パラメータの変更なしに、かつゼロコストで、大規模言語モデル(LLM)出力の効率的な修正を可能にする。 誤った情報や攻撃的な内容の挿入など、不適切な応答を操作するために誤用することができる。 特別に調整された逆転トークンを用いたIKE-editsの逆転タスクについて紹介する。
  論文  参考訳（メタデータ） (2024-10-16T14:04:26Z)
• Learning to Edit: Aligning LLMs with Knowledge Editing [101.96620267293731]
  本稿では,大規模言語モデルに新たな知識を入力問題に適用する学習 to LTE(Learning to Edit)フレームワークを提案する。 LTEには2段階のプロセスがある: (i) アライメントフェーズ(アライメントフェーズ)。 LTEの知識編集性能の優位性、バッチおよびシーケンシャルな編集の堅牢性、一般的なタスクに対する最小限の干渉、高速な編集速度を示す。
  論文  参考訳（メタデータ） (2024-02-19T07:45:17Z)
• Identifying and Analyzing Performance-Critical Tokens in Large Language Models [52.404072802235234]
  我々は大規模な言語モデルがいかに実演からタスクを実行するかを研究する。 私たちの仕事は、大規模な言語モデルがデモからタスクを実行するための学習方法に光を当て、さまざまな種類のトークンが大きな言語モデルで果たす役割についての理解を深めます。
  論文  参考訳（メタデータ） (2024-01-20T20:55:21Z)
• ICL-D3IE: In-Context Learning with Diverse Demonstrations Updating for Document Information Extraction [56.790794611002106]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて、文脈内学習による顕著な結果を示している。 ICL-D3IEと呼ばれるシンプルだが効果的なテキスト内学習フレームワークを提案する。 具体的には、ハードトレーニング文書から最も困難で独特なセグメントをハードデモとして抽出する。
  論文  参考訳（メタデータ） (2023-03-09T06:24:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。