論文の概要: LOKI: Memory-Free Null-Space Constrained Lifelong Knowledge Editing

• arxiv url: http://arxiv.org/abs/2606.19679v1
• Date: Thu, 18 Jun 2026 01:08:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:39.596441
• Title: LOKI: Memory-Free Null-Space Constrained Lifelong Knowledge Editing
• Title（参考訳）: LOKI: メモリフリーのNull-Space Constrained Lifelong Knowledge Editing
• Authors: Masih Eskandar, Miquel Sirera Perelló, Stratis Ioannidis, Jennifer Dy,
• Abstract要約: 生涯の知識編集は、言語モデルを時間とともに効率的かつシーケンシャルに更新することを目的としている。 既存の手法では、すべての新しい知識サンプルのための固定されたレイヤのセットを変更し、柔軟性を減らし、破滅的な忘れ物を増やす。 我々は、Hilbert-Schmidt Independence Criterionに基づく動的層選択を用いた新しいアプローチLOKIを導入し、モデルの重みのnull空間への勾配更新を計画する。
• 参考スコア（独自算出の注目度）: 9.224412302963726
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Lifelong knowledge editing aims to efficiently and sequentially update language models over time, as new knowledge becomes available or when the model makes mistakes, while preserving acceptable performance on past knowledge. One unresolved challenge is that existing methods modify a fixed set of layers for all new knowledge samples, reducing flexibility and increasing catastrophic forgetting. Another is requiring access to previous knowledge and extensive pre-processing to obtain data statistics. To address these challenges, we introduce LOKI, a novel approach that uses dynamic layer selection based on the Hilbert-Schmidt Independence Criterion and projects gradient updates onto the null-space of the model weights, bypassing the requirement for previous knowledge access. We show that LOKI achieves superior performance to existing approaches across a wide variety of experiments, achieving up to a 14\% improvement in average accuracy.
• Abstract（参考訳）: 生涯的知識編集は、新しい知識が利用可能になったり、モデルがミスを犯した時に、過去の知識で許容されるパフォーマンスを維持しながら、言語モデルを効率的かつシーケンシャルに更新することを目的としている。 未解決の課題の1つは、既存のメソッドがすべての新しい知識サンプルの固定されたレイヤを変更し、柔軟性を減らし、破滅的な忘れ物を増やすことである。 もうひとつは、データ統計を得るために、以前の知識と広範な事前処理へのアクセスが必要であることだ。 これらの課題に対処するために,Hilbert-Schmidt Independence Criterionに基づく動的層選択を用いた新しいアプローチLOKIを導入する。 LOKIは、様々な実験において既存の手法よりも優れた性能を示し、平均精度を最大14倍に向上させる。

関連論文リスト

• Towards Scalable Lifelong Knowledge Editing with Selective Knowledge Suppression [23.273954918352903]
  大きな言語モデル(LLM)は、変化する事実や幻覚を反映するために頻繁に知識を更新する必要がある。 既存のパラメータ編集手法は、破滅的な忘れ込みによる逐次的な編集において安定性に苦しむ。 本フレームワークは,検索した情報から関連知識を選択し,クエリを効果的に修正する。 次に、モデルの本来の知識確率を抑えるためのデコード戦略を組み込む。
  論文  参考訳（メタデータ） (2026-04-21T05:02:29Z)
• Forget Less, Retain More: A Lightweight Regularizer for Rehearsal-Based Continual Learning [51.07663354001582]
  ディープニューラルネットワークは破滅的な忘れ込みに悩まされ、新しいタスクのトレーニング後に以前のタスクのパフォーマンスが低下する。 本稿では,メモリベースの手法と正規化手法の交わりに着目し,この問題に対処する新しいアプローチを提案する。 我々は、メモリベース連続学習法において、情報最大化(IM)正則化と呼ばれる正規化戦略を定式化する。
  論文  参考訳（メタデータ） (2025-12-01T15:56:00Z)
• Comparing Knowledge Injection Methods for LLMs in a Low-Resource Regime [13.230760040927496]
  大規模言語モデルに小さな非構造化情報を注入する作業について検討する。 制限されたデータに対する事前トレーニングを継続するだけで、控えめな改善が得られます。 私たちは、小さなデータ体制における忘れる現象に光を当て、新しいコンテンツ学習と既存の能力維持の微妙なバランスを図った。
  論文  参考訳（メタデータ） (2025-08-08T09:48:32Z)
• Model Merging for Knowledge Editing [53.799891745131724]
  大規模言語モデル(LLM)は、世界が進化するにつれて正確で現在の知識を維持するために継続的な更新を必要とする。 既存の知識編集アプローチは知識更新のための様々なソリューションを提供するが、しばしば連続的な編集シナリオに苦労する。 本稿では,頑健な教師付き微調整(R-SFT)とモデルマージを組み合わせた2段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-14T07:42:39Z)
• CaKE: Circuit-aware Editing Enables Generalizable Knowledge Learners [109.87058236007907]
  CaKE(Circuit-aware Knowledge Editing)は、大規模言語モデルにおける知識の効果的な統合を強化する新しい手法である。 実験により、CaKEは関連する推論タスク間の編集された知識をより正確かつ一貫した使用を可能にすることが示された。
  論文  参考訳（メタデータ） (2025-03-20T17:14:34Z)
• AnchorInv: Few-Shot Class-Incremental Learning of Physiological Signals via Representation Space Guided Inversion [5.925645104028447]
  ディープラーニングモデルは、様々な現実世界のアプリケーションで例外的なパフォーマンスを示してきた。 これらの結果は、大量の高品質なデータが利用可能であることに基づいている。 本稿では,特徴空間のアンカーポイントによって誘導される合成サンプルを生成するAnchorInvを提案する。
  論文  参考訳（メタデータ） (2024-12-18T10:53:30Z)
• Beyond Prompt Learning: Continual Adapter for Efficient Rehearsal-Free Continual Learning [22.13331870720021]
  C-ADA (Continuous Adapter) という,RFCL タスクに対する超高速学習手法を提案する。 C-ADAは、CALの特定の重みを柔軟に拡張し、各タスクの新たな知識を学び、古い重みを凍結して以前の知識を保存する。 提案手法は,現状のSOTA(State-of-the-art)法よりも優れ,性能とトレーニング速度を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-07-14T17:40:40Z)
• Fine-Grained Knowledge Selection and Restoration for Non-Exemplar Class Incremental Learning [64.14254712331116]
  非典型的なクラスインクリメンタル学習は、過去のトレーニングデータにアクセスすることなく、新しいタスクと古いタスクの両方を学ぶことを目的としている。 本稿では, きめ細かい知識選択と復元のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-12-20T02:34:11Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Overcoming Generic Knowledge Loss with Selective Parameter Update [48.240683797965005]
  基礎モデルを継続的に更新する新しい手法を提案する。 すべてのパラメータを均等に更新する代わりに、学習しているタスクに関連するパラメータのスパースセットにアップデートをローカライズします。 提案手法は,学習済みのタスクの精度を最大7%向上すると同時に,学習前知識を0.9%減少させることなく,代表制御セットの精度を低下させる。
  論文  参考訳（メタデータ） (2023-08-23T22:55:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。