論文の概要: Stop Marginalizing My Dreams: Model Inversion via Laplace Kernel for Continual Learning

• arxiv url: http://arxiv.org/abs/2605.11804v1
• Date: Tue, 12 May 2026 08:59:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.736612
• Title: Stop Marginalizing My Dreams: Model Inversion via Laplace Kernel for Continual Learning
• Title（参考訳）: 夢の合理化をやめる - 継続的な学習のためのラプラスカーネルによるモデルインバージョン
• Abstract要約: データのない連続学習は、擬似サンプルを合成し、破滅的な忘れを忘れるモデル逆転に依存している。 既存の反転法は単純化された仮定によって制限される。 本稿では,DFCILの有効成分として,機能依存のモデル化が重要であることを示す。
• 参考スコア（独自算出の注目度）: 8.71890550161683
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data-free continual learning (DFCIL) relies on model inversion to synthesize pseudo-samples and mitigate catastrophic forgetting. However, existing inversion methods are fundamentally limited by a simplifying assumption: they model feature distributions using diagonal covariance, effectively ignoring correlations that define the geometry of learned representations. As a result, synthesized samples often lack fidelity, limiting knowledge retention. In this work, we show that modeling feature dependencies is a key ingredient for effective DFCIL. We introduce REMIX, a structured covariance modeling framework that enables scalable full-covariance modeling without the prohibitive cost of dense matrix inversion and log-determinant computation. By leveraging a Laplace kernel parameterization, REMIX captures structured feature dependencies using memory that scales linearly with the feature dimensionality, while requiring only an additional logarithmic factor in computation. Modeling these correlations produces more coherent synthetic samples and consistently improves performance across standard DFCIL benchmarks. Our results demonstrate that moving beyond diagonal assumptions is essential for effective and scalable data-free continual learning. Our code is available at https://github. com/pkrukowski1/REMIX-Model-Inversion-via-Laplace-Kernel.
• Abstract（参考訳）: データフリー連続学習(DFCIL)は、擬似サンプルを合成し、破滅的な忘れを和らげるためにモデル反転に依存する。 それらは対角共分散を用いて特徴分布をモデル化し、学習された表現の幾何学を定義する相関を効果的に無視する。 その結果、合成されたサンプルは、しばしば忠実さが欠如し、知識の保持が制限される。 本稿では,DFCILの有効成分として,機能依存のモデリングが重要であることを示す。 本稿では,高密度行列逆転と対数行列計算の禁止コストを伴わずに,スケーラブルなフル共分散モデリングを可能にする構造化共分散モデリングフレームワーク REMIX を紹介する。 Laplaceカーネルのパラメータ化を活用することで、REMIXは、メモリを使用して構造化された機能依存関係をキャプチャし、特徴次元と線形にスケールすると同時に、計算に追加の対数係数しか必要としない。 これらの相関関係をモデル化すると、よりコヒーレントな合成サンプルが生成され、標準DFCILベンチマークのパフォーマンスが一貫して向上する。 この結果から, 対角的仮定を超越した移動は, 効率的かつスケーラブルなデータフリー連続学習に不可欠であることが示唆された。 私たちのコードはhttps://github.orgで公開されています。 ReMIX-Model-Inversion-via-Laplace-Kernel.com/pkrukowski1/REMIX-Model-Inversion-via-Laplace-Kernel。

関連論文リスト

• DIFF-ERO: A Conformance-Aware Loss for Deep Learning in Process Mining [8.304025820176394]
  本稿では,プロセスデータ上でのディープラーニングモデルに対する適合性を考慮した損失関数DIFF-EROを紹介する。 DIFF-EROは、トレーニング中に制御フロー情報を含むエントロピーベースの適合性の微分可能な定式化である。 構造がもっとも重要でありながら、他の場所での同等性を維持しながら、予測性能の向上を示す。
  論文  参考訳（メタデータ） (2026-06-12T09:06:05Z)
• COREY: Entropy-Guided Runtime Chunk Scheduling for Selective Scan Kernels [11.316541559874864]
  プロトタイプスケジューラは、固定幅ヒストグラムを用いて推定したアクティベーションエントロピーを、チャンクサイズ選択のランタイム信号として利用する。 COREYはConcept and Feasibilityのコントリビューションとして位置づけられている。 この作業には、Tier 2aとTier 2bを接続する完全なエンドツーエンド実行が含まれていない。
  論文  参考訳（メタデータ） (2026-04-12T12:07:48Z)
• Model Inversion with Layer-Specific Modeling and Alignment for Data-Free Continual Learning [19.12792297140574]
  継続的な学習は、以前のタスクのパフォーマンスを維持しながら、一連のタスクでモデルを漸進的にトレーニングすることを目的としています。 データの保存と再生は、プライバシやセキュリティ上の制約によって不可能になることが多い。 単層最適化における高速収束にインスパイアされたPMI(Per-layer Model Inversion)を提案する。
  論文  参考訳（メタデータ） (2025-10-30T09:58:48Z)
• Nonparametric Data Attribution for Diffusion Models [57.820618036556084]
  生成モデルのデータ属性は、個々のトレーニング例がモデル出力に与える影響を定量化する。 生成画像とトレーニング画像のパッチレベルの類似性によって影響を測定する非パラメトリック属性法を提案する。
  論文  参考訳（メタデータ） (2025-10-16T03:37:16Z)
• Simulation-based inference via telescoping ratio estimation for trawl processes [0.0]
  本稿では,高速で高精度なMarkovベースの推論フレームワークを提案する。 チェビシェフ近似を用いて独立な後続サンプルを効率よく生成し,連鎖モンテカルロ法が混在しても正確な推論を可能にする。 エネルギー需要データに適用した柔軟な無限分割可能なモデルのクラスであるトロールプロセスにおいて,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2025-10-05T05:26:46Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Scalable Spatiotemporally Varying Coefficient Modelling with Bayesian Kernelized Tensor Regression [17.158289775348063]
  カーネル化されたテンソル回帰(BKTR)は、低ランクの時間構造を持つモデリングプロセスに対する新しいスケーラブルなアプローチと考えられる。 そこで本研究では,BKTRのモデル推定と推定において,BKTRの優れた性能と効率性を確認した。
  論文  参考訳（メタデータ） (2021-08-31T19:22:23Z)
• Solving weakly supervised regression problem using low-rank manifold regularization [77.34726150561087]
  我々は弱い教師付き回帰問題を解く。 weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。 数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
  論文  参考訳（メタデータ） (2021-04-13T23:21:01Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。