論文の概要: Towards Reliable, Generalizable, and Specific In-Context Knowledge Editing via Multi-Objective Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2608.25100v1
- Date: Tue, 25 Aug 2026 19:50:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.424982
- Title: Towards Reliable, Generalizable, and Specific In-Context Knowledge Editing via Multi-Objective Reinforcement Learning
- Title（参考訳）: 多目的強化学習による信頼性・一般化・具体的インテクスト知識編集に向けて
- Abstract要約: 大規模言語モデル(LLM)は強力だが、事前学習が終わると時代遅れになる静的パラメトリック知識によって制限される。
テキスト内知識の編集は、トレーニング不要で、ブラックボックスのLSMにも容易に適用できるため注目されている。
In-context Knowledge Editing (MO-IKE) を提案する。
- 参考スコア（独自算出の注目度）: 9.974276015624378
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) are powerful but limited by static parametric knowledge that becomes outdated once pretraining ends. Knowledge editing addresses this problem by updating model behavior on target facts without full retraining. In particular, in-context knowledge editing has gained attention because it is training-free and readily applicable to black-box LLMs. Recent reinforcement learning (RL)-based approaches improve over fixed retrieval strategies by adapting prompt construction to the quantity-quality trade-off. Despite initial success, they fail to model the prompt as a structured entity under the distinct and often competing objectives of reliability, generality, and specificity. Previous methods largely optimize a single objective and make decisions over only part of the prompt construction process, thereby overlooking both the balance of different objectives and the global organization of demonstrations. We propose Multi-Objective In-context Knowledge Editing (MO-IKE), a multi-objective RL algorithm that formulates prompt construction for in-context knowledge editing as a Constrained Markov Decision Process. MO-IKE trains a dynamic retriever to optimize competing objectives in knowledge editing, enabling more balanced and globally coherent prompt construction. On Llama-3.2, MO-IKE improves edit success (reliability) from 85.0% to 92.0%, paraphrase consistency (generality) from 77% to 79%, while increasing retention rate (specificity) by 23.0% compared to prior RL-based methods.
- Abstract（参考訳）: 大規模言語モデル(LLM)は強力だが、事前学習が終わると時代遅れになる静的パラメトリック知識によって制限される。
知識編集は、対象の事実に対するモデル動作を、完全なリトレーニングなしで更新することで、この問題に対処する。
特に文脈内知識の編集は、トレーニング不要で、ブラックボックスのLCMにも容易に適用できるため注目されている。
近年の強化学習(RL)に基づくアプローチは, 迅速な構築を質の高いトレードオフに適応させることにより, 一定の検索戦略よりも改善されている。
初期の成功にもかかわらず、彼らはそのプロンプトを、信頼性、一般性、特異性の区別され、しばしば競合する目的の下で構造化された実体としてモデル化することができなかった。
従来の手法は、主に1つの目的を最適化し、迅速な建設プロセスの一部だけに決定を下し、異なる目的のバランスとグローバルなデモンストレーションの組織の両方を見落としている。
本稿では,制約付きマルコフ決定プロセスとして,テキスト内知識編集を高速化する多目的RLアルゴリズムであるMO-IKEを提案する。
MO-IKEは動的レトリバーを訓練し、知識編集における競合する目的を最適化し、よりバランスよくグローバルに一貫性のあるプロンプト構築を可能にする。
Llama-3.2では、MO-IKEは編集成功率(信頼性)を85.0%から92.0%に改善し、パラフレーズ一貫性(一般性)は77%から79%に向上した。
関連論文リスト
- Are We Evaluating the Edit Locality of LLM Model Editing Properly? [68.441768731381]
この目的のために既存の特異性評価プロトコルは不十分であることがわかった。
既存の特異度指標は特異度正規化器の強度と弱い相関関係にある。
また、現在のメトリクスには十分な感度が欠けており、異なるメソッドの特異性性能の区別に効果がないこともわかりました。
論文 参考訳（メタデータ） (2026-01-24T07:07:21Z) - Consistency-Aware Editing for Entity-level Unlearning in Language Models [53.522931419965424]
本稿では,エンティティレベルのアンラーニングのための新しい一貫性対応編集(CAE)フレームワークを提案する。
CAEは、その属性、関係、および敵のパラフレーズを含む、ターゲットエンティティに関連する多様なプロンプトの集合を集約する。
次に、一貫性レギュレータによってガイドされる低ランクの更新を共同で学習し、プロンプトをまたいだ編集方向を調整する。
論文 参考訳（メタデータ） (2025-12-19T15:18:07Z) - EtCon: Edit-then-Consolidate for Reliable Knowledge Editing [85.20993502078899]
本稿では,理論的知識編集手法と実世界の応用性とのギャップを埋めることを目的とした知識編集パラダイムであるEdit-then-Consolidateを提案する。
本フレームワークは,実環境評価における編集信頼性と一般化を継続的に改善するとともに,局所性と事前学習能力の保存を向上する。
論文 参考訳（メタデータ） (2025-12-04T12:43:50Z) - Structured Uncertainty guided Clarification for LLM Agents [126.26213027785813]
LLMエージェントは、ツールコール機能を備えた大きな言語モデルを拡張するが、曖昧なユーザ命令は、しばしば誤った呼び出しやタスクの失敗につながる。
本稿では,ツールコールパラメータに対する構造的不確かさの定式化,完全情報の期待値(EVPI)を目標としたPOMDPのモデル化,冗長性防止のためのアスペクトベースコストモデルを提案する。
我々のSAGE-Agentは、この構造化された不確実性を活用し、より優れた効率を達成するために、曖昧なタスクのカバレッジを7～39%増加させ、明確な質問を1.5～2.7$times$に減らした。
論文 参考訳（メタデータ） (2025-11-11T21:50:44Z) - TRAIL: Joint Inference and Refinement of Knowledge Graphs with Large Language Models [5.678291291711662]
TRAILは思考、推論、インクリメンタルラーニングのための、新しく統合されたフレームワークである。
共同推論と動的KG精製を大きな言語モデルと組み合わせる。
複数のベンチマークでの大規模な実験により、TRAILは既存のKG拡張および検索拡張LDMベースラインを3%から13%上回った。
論文 参考訳（メタデータ） (2025-08-06T14:25:05Z) - Enhancing LLM Knowledge Learning through Generalization [73.16975077770765]
我々は,LLMが様々な言い換えの文脈に与えられた同じ事実的知識トークンを継続的に予測する能力は,質問応答によってその知識を抽出する能力と正の相関性を示す。
そこで本稿では,LLMの知識獲得能力を高めるための2つの戦略を提案する。
論文 参考訳（メタデータ） (2025-03-05T17:56:20Z) - KIF: Knowledge Identification and Fusion for Language Model Continual Learning [41.28933724210434]
言語モデルのための新しいフレームワーク、Knowledge Identification and Fusion (KIF)を紹介する。
KIFはパラメータ依存に基づいてモデルを'スキルユニット'に分離し、より正確な制御を可能にする。
新たな課題に対するスキルユニットの重要性の分布を確認するために,新しいグループ単位の知識識別技術を採用している。
その結果、KIFは、事前知識の保持と、新しいタスクの卓越とを最適なバランスで達成する。
論文 参考訳（メタデータ） (2024-08-09T17:44:45Z) - CEM: A Data-Efficient Method for Large Language Models to Continue Evolving From Mistakes [36.14056870453356]
大きな言語モデルを維持し、その欠点に対処するためには、継続的な学習が不可欠です。
本稿では,CPTデータ収集を目的としたデータ効率の高い手法であるCEM法を提案する。
実験の結果、CEMはドメイン内QAタスクとドメイン外QAタスクの両方で複数のモデルの性能を大幅に向上させ、最大29.63%のゲインを達成している。
論文 参考訳（メタデータ） (2024-04-11T17:44:56Z) - A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。
本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。
我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
論文 参考訳（メタデータ） (2024-01-02T16:54:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。