論文の概要: Stop Marginalizing My Dreams: Model Inversion via Laplace Kernel for Continual Learning

• arxiv url: http://arxiv.org/abs/2605.11804v1
• Date: Tue, 12 May 2026 08:59:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.736612
• Title: Stop Marginalizing My Dreams: Model Inversion via Laplace Kernel for Continual Learning
• Title（参考訳）: 夢の合理化をやめる - 継続的な学習のためのラプラスカーネルによるモデルインバージョン
• Authors: Patryk Krukowski, Jacek Tabor, Przemysław Spurek, Marek Śmieja, Łukasz Struski,
• Abstract要約: データのない連続学習は、擬似サンプルを合成し、破滅的な忘れを忘れるモデル逆転に依存している。 既存の反転法は単純化された仮定によって制限される。 本稿では,DFCILの有効成分として,機能依存のモデル化が重要であることを示す。
• 参考スコア（独自算出の注目度）: 8.71890550161683
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data-free continual learning (DFCIL) relies on model inversion to synthesize pseudo-samples and mitigate catastrophic forgetting. However, existing inversion methods are fundamentally limited by a simplifying assumption: they model feature distributions using diagonal covariance, effectively ignoring correlations that define the geometry of learned representations. As a result, synthesized samples often lack fidelity, limiting knowledge retention. In this work, we show that modeling feature dependencies is a key ingredient for effective DFCIL. We introduce REMIX, a structured covariance modeling framework that enables scalable full-covariance modeling without the prohibitive cost of dense matrix inversion and log-determinant computation. By leveraging a Laplace kernel parameterization, REMIX captures structured feature dependencies using memory that scales linearly with the feature dimensionality, while requiring only an additional logarithmic factor in computation. Modeling these correlations produces more coherent synthetic samples and consistently improves performance across standard DFCIL benchmarks. Our results demonstrate that moving beyond diagonal assumptions is essential for effective and scalable data-free continual learning. Our code is available at https://github. com/pkrukowski1/REMIX-Model-Inversion-via-Laplace-Kernel.
• Abstract（参考訳）: データフリー連続学習(DFCIL)は、擬似サンプルを合成し、破滅的な忘れを和らげるためにモデル反転に依存する。 それらは対角共分散を用いて特徴分布をモデル化し、学習された表現の幾何学を定義する相関を効果的に無視する。 その結果、合成されたサンプルは、しばしば忠実さが欠如し、知識の保持が制限される。 本稿では,DFCILの有効成分として,機能依存のモデリングが重要であることを示す。 本稿では,高密度行列逆転と対数行列計算の禁止コストを伴わずに,スケーラブルなフル共分散モデリングを可能にする構造化共分散モデリングフレームワーク REMIX を紹介する。 Laplaceカーネルのパラメータ化を活用することで、REMIXは、メモリを使用して構造化された機能依存関係をキャプチャし、特徴次元と線形にスケールすると同時に、計算に追加の対数係数しか必要としない。 これらの相関関係をモデル化すると、よりコヒーレントな合成サンプルが生成され、標準DFCILベンチマークのパフォーマンスが一貫して向上する。 この結果から, 対角的仮定を超越した移動は, 効率的かつスケーラブルなデータフリー連続学習に不可欠であることが示唆された。 私たちのコードはhttps://github.orgで公開されています。 ReMIX-Model-Inversion-via-Laplace-Kernel.com/pkrukowski1/REMIX-Model-Inversion-via-Laplace-Kernel。

関連論文リスト

• COREY: Entropy-Guided Runtime Chunk Scheduling for Selective Scan Kernels [11.316541559874864]
  プロトタイプスケジューラは、固定幅ヒストグラムを用いて推定したアクティベーションエントロピーを、チャンクサイズ選択のランタイム信号として利用する。 COREYはConcept and Feasibilityのコントリビューションとして位置づけられている。 この作業には、Tier 2aとTier 2bを接続する完全なエンドツーエンド実行が含まれていない。
  論文  参考訳（メタデータ） (2026-04-12T12:07:48Z)
• Model Inversion with Layer-Specific Modeling and Alignment for Data-Free Continual Learning [19.12792297140574]
  継続的な学習は、以前のタスクのパフォーマンスを維持しながら、一連のタスクでモデルを漸進的にトレーニングすることを目的としています。 データの保存と再生は、プライバシやセキュリティ上の制約によって不可能になることが多い。 単層最適化における高速収束にインスパイアされたPMI(Per-layer Model Inversion)を提案する。
  論文  参考訳（メタデータ） (2025-10-30T09:58:48Z)
• Nonparametric Data Attribution for Diffusion Models [57.820618036556084]
  生成モデルのデータ属性は、個々のトレーニング例がモデル出力に与える影響を定量化する。 生成画像とトレーニング画像のパッチレベルの類似性によって影響を測定する非パラメトリック属性法を提案する。
  論文  参考訳（メタデータ） (2025-10-16T03:37:16Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Scalable Spatiotemporally Varying Coefficient Modelling with Bayesian Kernelized Tensor Regression [17.158289775348063]
  カーネル化されたテンソル回帰(BKTR)は、低ランクの時間構造を持つモデリングプロセスに対する新しいスケーラブルなアプローチと考えられる。 そこで本研究では,BKTRのモデル推定と推定において,BKTRの優れた性能と効率性を確認した。
  論文  参考訳（メタデータ） (2021-08-31T19:22:23Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。