論文の概要: Representation Interventions Enable Lifelong Unstructured Knowledge Control

• arxiv url: http://arxiv.org/abs/2511.20892v1
• Date: Tue, 25 Nov 2025 22:15:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-27 18:37:58.88193
• Title: Representation Interventions Enable Lifelong Unstructured Knowledge Control
• Title（参考訳）: 生涯的非構造的知識制御を可能にする表現介入
• Authors: Xuyuan Liu, Zhengzhang Chen, Xinshuai Dong, Yanchi Liu, Xujiang Zhao, Shengyu Chen, Haoyu Wang, Yujun Yan, Haifeng Chen,
• Abstract要約: 大規模言語モデル(LLM)は、しばしば誤った、または時代遅れのコンテンツを生成します。その知識を効率的に正確に更新し、コストのかかる再トレーニングなしにするというのは、大きな課題です。 本稿では,モデル表現空間内の介入として知識制御を扱う,堅牢でスケーラブルな手法であるRILKEを紹介する。 トレーニング中、RILKEはパラフレーズロバストと編集局所化モジュールを学び、低次元のサブスペースへの更新を制限し、クロスディジット干渉を最小限に抑える。 推論において、クエリ適応ルータは、モデル生成をガイドする適切なモジュールを選択する。
• 参考スコア（独自算出の注目度）: 54.86207134539453
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) often produce incorrect or outdated content. Updating their knowledge efficiently and accurately without costly retraining is a major challenge. This problem is especially hard for complex, unstructured knowledge in a lifelong setting, where many edits must coexist without interference. We introduce RILKE (Representation Intervention for Lifelong KnowledgE Control), a robust and scalable method that treats knowledge control as interventions within the model's representation space. Leveraging representation-space expressiveness, we identify two properties enabling RILKE to deliver fine-grained control over complex, unstructured knowledge while maintaining general utility with frozen base weights. During training, RILKE learns paraphrase-robust and edit-localized modules that limit each update to a low-dimensional subspace to minimize cross-edit interference. In inference, a query-adaptive router selects the appropriate module to guide the model's generation. In evaluation on knowledge editing benchmarks with LLaMA and Qwen models, RILKE is scalable to large-scale datasets, demonstrating high edit success, strong paraphrase generalization, and preserving general utility with modest memory overhead. These results show RILKE is an effective and scalable solution for lifelong knowledge control in LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、しばしば誤ったまたは時代遅れのコンテンツを生成する。 コストのかかるリトレーニングなしに、知識を効率的かつ正確に更新することは、大きな課題です。 この問題は、多くの編集が干渉なく共存しなければならない生涯的環境では、複雑で非構造的な知識にとって特に困難である。 RILKE(Representation Intervention for Lifelong KnowledgE Control)は,知識制御をモデル表現空間内の介入として扱う,堅牢でスケーラブルな手法である。 表現空間表現性を活用することで、RILKEが複雑な非構造的知識に対してきめ細かな制御を可能とし、凍結したベースウェイトで汎用性を維持できる2つの特性を同定する。 トレーニング中、RILKEはパラフレーズロバストと編集局所化モジュールを学び、低次元のサブスペースへの更新を制限し、クロスディジット干渉を最小限に抑える。 推論において、クエリ適応ルータは、モデル生成をガイドする適切なモジュールを選択する。 LLaMAとQwenモデルによる知識編集ベンチマークの評価において、RILKEは大規模データセットにスケーラブルであり、高い編集成功、強力なパラフレーズの一般化、メモリオーバーヘッドの緩やかな汎用性を維持している。 これらの結果から,ILKEはLLMの生涯的知識制御に有効かつスケーラブルなソリューションであることが示された。

関連論文リスト

• Consistency-Aware Editing for Entity-level Unlearning in Language Models [53.522931419965424]
  本稿では,エンティティレベルのアンラーニングのための新しい一貫性対応編集(CAE)フレームワークを提案する。 CAEは、その属性、関係、および敵のパラフレーズを含む、ターゲットエンティティに関連する多様なプロンプトの集合を集約する。 次に、一貫性レギュレータによってガイドされる低ランクの更新を共同で学習し、プロンプトをまたいだ編集方向を調整する。
  論文  参考訳（メタデータ） (2025-12-19T15:18:07Z)
• An Information-Theoretic Framework for Robust Large Language Model Editing [17.984683741974063]
  大規模言語モデル(LLM)は、科学、技術、社会において欠かせない道具となっている。 これらのモデル内のエラーや時代遅れの情報は、その正確性を損なう可能性があり、安全なデプロイメントを制限することができる。 本稿では,情報ボトルネック理論に基づくLLMの編集フレームワークを提案する。 Information Bottleneck Knowledge Editor (IBKE) を提案する。
  論文  参考訳（メタデータ） (2025-12-18T06:21:17Z)
• RECALL: REpresentation-aligned Catastrophic-forgetting ALLeviation via Hierarchical Model Merging [33.22889542330089]
  大規模言語モデル(LLM)の内部表現は、学習知識の信頼できるプロキシとして機能する。 本稿では,過去データにアクセスせずに連続的な学習を行うための表現認識モデル統合フレームワークRECALLを提案する。
  論文  参考訳（メタデータ） (2025-10-23T12:17:37Z)
• MEMOIR: Lifelong Model Editing with Minimal Overwrite and Informed Retention for LLMs [76.28901550926021]
  寿命の長いモデル編集のための既存の方法は、妥協の一般化、過去の編集の妨害、長い編集シーケンスへのスケールの失敗である。 我々は,学習済みモデルのコア能力を保ちながら,残メモリを介して知識を注入する,新しいスケーラブルなフレームワークMEMOIRを提案する。 MeMOIRは信頼性、一般化、ローカリティのメトリクスにまたがる最先端のパフォーマンスを実現し、最小限の忘れ物で数千のシーケンシャルな編集にスケールする。
  論文  参考訳（メタデータ） (2025-06-09T16:16:42Z)
• Prompting is not Enough: Exploring Knowledge Integration and Controllable Generation [89.65955788873532]
  オープンドメイン質問応答(OpenQA)は自然言語処理(NLP)の基盤である。 我々は,知識統合と制御可能生成を探求し,OpenQAの性能向上を目的としたGenKIという新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-26T08:18:33Z)
• KBM: Delineating Knowledge Boundary for Adaptive Retrieval in Large Language Models [69.99274367773997]
  大規模言語モデル(LLM)は知識を動的に変化させ、未知の静的情報を扱うのにしばしば苦労する。 Retrieval-Augmented Generation (RAG) はこれらの課題に対処するために使われ、LLMの性能向上に大きな影響を与えている。 本稿では,ある質問の既知/未知を表現し,RAGを起動する必要があるかどうかを判断するための知識境界モデル(KBM)を提案する。
  論文  参考訳（メタデータ） (2024-11-09T15:12:28Z)
• ELDER: Enhancing Lifelong Model Editing with Mixture-of-LoRA [55.697627106315004]
  大規模言語モデル(LLM)は、特定の知識を効率的に更新し、事実の誤りを避けるためにモデル編集を必要とする。 従来のアプローチでは、元のパラメータを凍結し、知識更新毎に新しいパラメータを個別に割り当てることで、シーケンシャルな編集を管理する。 本稿では,データとアダプタを連続的に関連付ける新しい手法であるELDERを提案する。
  論文  参考訳（メタデータ） (2024-08-19T02:27:00Z)
• Lifelong Knowledge Editing for LLMs with Retrieval-Augmented Continuous Prompt Learning [30.554641380670315]
  本稿では,生涯学習における編集効率と推論効率を向上させるために,ContInuous Prompt lEarning法であるRECIPEを紹介する。 RECIPEはまず、知識文をLLMの入力クエリの埋め込みにプレフィックスした、短くて情報的な連続的なプロンプトに変換する。 さらに、動的しきい値を計算するために仲介役として機能する知識センチネル(KS)を統合する。 我々のレトリバーとプロンプトエンコーダは、信頼性、一般性、局所性といった編集特性を達成するために共同で訓練されている。
  論文  参考訳（メタデータ） (2024-05-06T08:52:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。