論文の概要: Hybrid-Policy Self-Editing for Composable Unstructured Knowledge Editing
- arxiv url: http://arxiv.org/abs/2608.11660v1
- Date: Wed, 12 Aug 2026 05:06:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 19:07:54.47145
- Title: Hybrid-Policy Self-Editing for Composable Unstructured Knowledge Editing
- Title（参考訳）: 構成不可能な知識編集のためのハイブリッドポリティ自己編集
- Abstract要約: 大規模言語モデル(LLM)は、自然言語タスク全体にわたって顕著なパフォーマンスを達成するが、静的コーパスで訓練される。
これは知識編集(KE)のモチベーションであり、無関係な知識を変更せずにLLM内の特定の知識を更新する。
最近の研究は構造化知識から構造化されていないKE(UKE)へと移行し、編集は複数の事実を同時に記述する自由形式の通路である。
我々はHPSEを提案する。HPSEは、欠落した事実を生徒自身の軌道に配置するハイブリッドなロールアウトを構築する。
- 参考スコア（独自算出の注目度）: 29.04093718139423
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) achieve remarkable performance across natural language tasks, yet they are trained on static corpora and their knowledge quickly becomes outdated in a fast-changing world. This motivates knowledge editing (KE), which updates specific knowledge in an LLM without changing unrelated others. Recent works move from structured knowledge triples toward unstructured KE (UKE), where the edit is a free-form passage that may state multiple facts at once. Nonetheless, existing editors inject such a passage yet fail to use it: the edited model can recall the passage, but can neither answer atomic questions about its facts nor compose them into multi-hop reasoning. We attribute this missing property, which we term composability, to editors' passive reliance on the fixed passage as the sole learning source. In response, we cast editing as a proactive self-distillation from a privileged in-context state of the same model, which requires no external supervision. We further reveal that due to the novelty of the injected knowledge, the pre-edited model's own rollouts rarely cover it, which limits the effectiveness of pure on-policy distillation. To close this gap, we propose HPSE, which builds a hybrid rollout that steps in to place missing facts onto the student's own trajectory precisely where its coverage fails, while staying on-policy elsewhere. We theoretically analyze HPSE's advantage over pure on-policy distillation, and empirically establish its plug-and-play improvements across four LLM backbones and two KE editors under various scenarios.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、自然言語タスク全体にわたって顕著なパフォーマンスを達成するが、静的コーパスで訓練され、その知識は急速に変化する世界で急速に時代遅れになる。
これは知識編集(KE)のモチベーションであり、無関係な知識を変更せずにLLM内の特定の知識を更新する。
最近の研究は構造化知識から構造化されていないKE(UKE)へと移行し、編集は複数の事実を同時に記述する自由形式の通路である。
編集されたモデルは、このパスを思い出すことができるが、その事実に関するアトミックな質問に答えることはできないし、それらをマルチホップ推論に構成することもできない。
コンポーザビリティ(composability)と呼ぶこの欠落した特性は、編集者が定型パスを唯一の学習源として受動的に依存していることに起因している。
これに対し,同モデルの特権的インコンテキスト状態からプロアクティブな自己蒸留法として,外部の監督を必要としない編集をキャストした。
さらに, インジェクトされた知識の新規性から, プリ編集されたモデル自体のロールアウトがほとんどカバーしないことが明らかとなり, 純粋なオン・ポリケート蒸留の有効性が制限された。
このギャップを埋めるために、我々はHPSEを提案する。HPSEは、欠落した事実を生徒自身の軌道に配置するハイブリッドなロールアウトを構築する。
理論上は,HPSEの純粋なオンライン蒸留に対する優位性を解析し,様々なシナリオ下で4つのLCMバックボーンと2つのKEエディタでプラグアンドプレイの改善を実証的に確立する。
関連論文リスト
- Consistency-Aware Editing for Entity-level Unlearning in Language Models [53.522931419965424]
本稿では,エンティティレベルのアンラーニングのための新しい一貫性対応編集(CAE)フレームワークを提案する。
CAEは、その属性、関係、および敵のパラフレーズを含む、ターゲットエンティティに関連する多様なプロンプトの集合を集約する。
次に、一貫性レギュレータによってガイドされる低ランクの更新を共同で学習し、プロンプトをまたいだ編集方向を調整する。
論文 参考訳（メタデータ） (2025-12-19T15:18:07Z) - EvoEdit: Lifelong Free-Text Knowledge Editing through Latent Perturbation Augmentation and Knowledge-driven Parameter Fusion [31.09201415423854]
LF-Edit(Lifelong Free-text Knowledge Editing)を提案する。
自然言語で表現された更新をモデルに組み込むことができ、時間の経過とともに連続的な編集をサポートする。
その約束にもかかわらず、LF-Editは、以前の情報の忘れを軽減しつつ、新しい知識を統合するという2つの課題に直面している。
論文 参考訳（メタデータ） (2025-12-04T07:55:36Z) - MolEdit: Knowledge Editing for Multimodal Molecule Language Models [57.85765246726558]
MolEditは分子対カプセル生成とキャプション対分子生成のためのフレームワークである。
MolEditにはMulti-Expert Knowledge Adapterが組み込まれており、異なる分子ファセットの専門の専門家に、Expertise-Aware Editing Switcherで編集をルーティングする。
MolEditは信頼性を最大18.8%向上し、効率を保ちながらベースラインよりも12.0%良いローカリティを提供する。
論文 参考訳（メタデータ） (2025-11-16T20:48:37Z) - Avoiding Knowledge Edit Skipping in Multi-hop Question Answering with Guided Decomposition [32.73672881869734]
既存の検索強化世代(RAG)ベースの知識編集手法は,マルチホップ質問応答に苦慮していることがわかった。
本稿では, 誘導分解を用いた反復検索型知識編集手法を提案する。
実験の結果,IRAKEは,編集スキップによる編集の失敗を軽減し,マルチホップ質問応答におけるKEの最先端手法よりも優れていることがわかった。
論文 参考訳（メタデータ） (2025-09-09T09:49:23Z) - WINELL: Wikipedia Never-Ending Updating with LLM Agents [72.14647217009066]
WiNELLはウィキペディアの記事を継続的に更新するためのエージェントフレームワークである。
提案手法では,オンライン情報を集約し,ウィキペディアのターゲットエンティティに対する新たな重要な知識を選択し,人間のレビューのための正確な編集提案を生成する。
論文 参考訳（メタデータ） (2025-07-30T07:51:42Z) - ThinkEval: Practical Evaluation of Knowledge Leakage in LLM Editing using Thought-based Knowledge Graphs [3.9295613363026174]
モデル編集における間接的知識漏洩とリップル効果を定量化するフレームワークであるThinkEvalを提案する。
ThinkEvalは、編集前後の事実の因果構造を分析するために、専門知識グラフを構築し、採用する。
我々はAlphaEdit, RECT, ROME, MEMIT, PRUNEの5つの編集技術を評価する。
論文 参考訳（メタデータ） (2025-06-02T07:24:12Z) - Unlocking Efficient, Scalable, and Continual Knowledge Editing with Basis-Level Representation Fine-Tuning [29.20378857521518]
大規模言語モデル (LLM) は様々な自然言語処理において顕著な性能を発揮している。
静的コーパスでトレーニングされ、その知識は急速に変化する世界で急速に時代遅れになる。
以前の取り組みでは、LLMの特定の層に少量のパラメータを更新しようと試みていた。
本研究では,様々な種類の知識を適応的に管理し,より優れた編集・局所性トレードオフを実現するため,BaFTを提案する。
論文 参考訳（メタデータ） (2025-03-01T02:34:44Z) - AnyEdit: Edit Any Knowledge Encoded in Language Models [76.28789588247659]
大規模言語モデル(LLM)のための新しい自動回帰編集パラダイムであるAnyEditを提案する。
長い形式の知識を逐次チャンクに分解し、各チャンク内のキートークンを反復的に編集し、一貫性と正確な出力を保証する。
UnKEBench、AKEW、そして我々の長文の多様な知識のための新しいEditEverythingデータセットを含むベンチマークでは、強いベースラインを21.5%上回っている。
論文 参考訳（メタデータ） (2025-02-08T16:18:37Z) - Has this Fact been Edited? Detecting Knowledge Edits in Language Models [5.260519479124422]
知識編集手法(KEs)は、事前学習から学んだ言語モデルの古いまたは不正確な知識を更新することができる。
生成されたアウトプットが編集された知識に基づいているか、あるいは事前学習からのファーストハンド知識に基づいているかを知ることは、生成モデルに対するユーザの信頼を高めることができる。
本稿では,言語モデルにおける編集された知識を検出する新しい課題を提案する。
論文 参考訳（メタデータ） (2024-05-04T22:02:24Z) - AKEW: Assessing Knowledge Editing in the Wild [79.96813982502952]
AKEW(Assessing Knowledge Editing in the Wild)は知識編集のための新しい実用的なベンチマークである。
知識更新の編集設定は、構造化された事実、構造化されていない事実としてのテキスト、抽出された三つ組の3つを網羅している。
大規模な実験を通じて、最先端の知識編集手法と実践シナリオの間にかなりのギャップがあることを実証する。
論文 参考訳（メタデータ） (2024-02-29T07:08:34Z) - EVEDIT: Event-based Knowledge Editing with Deductive Editing Boundaries [69.72012539060731]
大規模言語モデル(LLM)における効率的な知識編集(KE)の理論的枠組みを導入する。
本稿では,事象をイベント記述と組み合わせたイベントベースの知識編集タスクを提案する。
編集モデルにおける不確実性を解消するための既存の設定よりもイベントベースの編集の方が優れていることを実証的に示す。
論文 参考訳（メタデータ） (2024-02-17T16:34:50Z) - On the Robustness of Editing Large Language Models [57.477943944826904]
大型言語モデル(LLM)はコミュニケーションAIの構築において重要な役割を担っているが、効率的な更新の課題に直面している。
この研究は、編集方法の長所と短所を理解し、コミュニケーション型AIの実践的応用を促進することを目的としている。
論文 参考訳（メタデータ） (2024-02-08T17:06:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。