論文の概要: Sparse Autoencoders Can Induce Local Geometry for Mitigating Catastrophic Forgetting

• arxiv url: http://arxiv.org/abs/2610.22439v1
• Date: Thu, 15 Oct 2026 14:42:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.59586
• Title: Sparse Autoencoders Can Induce Local Geometry for Mitigating Catastrophic Forgetting
• Title（参考訳）: スパースオートエンコーダは、破滅的形成を緩和するための局所幾何学を誘導できる
• Abstract要約: Sparse Autoencoder Geometric Anchoring (SAGA)を紹介する。 各タスク境界で訓練されたスパースオートエンコーダ(SAE)を、表現ドリフトの局所的、低ランクな制約に変換する。 これは、評価されたER、DER++、ER-ACE、SGDベースラインの中で、最も平均的なClass-IL精度と最小平均忘れを実現する。
• 参考スコア（独自算出の注目度）: 2.4851820343103035
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Catastrophic forgetting remains a challenge in supervised continual learning, as adapting to new tasks causes representation drift and loss of previously learned information. This raises the question of which representational changes should be constrained while preserving plasticity. We therefore introduce Sparse Autoencoder Geometric Anchoring (SAGA), which converts a Sparse Autoencoder (SAE) trained at each task boundary into local, low-rank constraints on representation drift. Replay examples specify where the constraints apply, while leading right singular directions of the encoder Jacobian specify which changes are penalized. The resulting geometry is input dependent and can be retained without keeping the SAE for subsequent tasks' training. We establish its local relation to latent code matching, define its spectral truncation error, and derive a conditional bound on frozen-readout drift. With replay and snapshot history, the method achieves the highest mean Class-IL accuracy and lowest mean forgetting among the evaluated ER, DER++, ER-ACE, and SGD baselines on three pretrained ViT-B/16 benchmarks, with accuracy gains of 12.15, 4.79, and 3.22 percentage points over the strongest conventional baseline on CIFAR-100, CUB-200, and ImageNet-R, respectively. From scratch results are more mixed, while rank ablations and geometry controls show that SAE-induced low-rank geometry offers useful stability-plasticity trade-offs.
• Abstract（参考訳）: 破滅的な忘れは、教師付き連続学習における課題であり、新しいタスクへの適応は、以前に学習された情報の表現の漂流と損失を引き起こす。 このことは、塑性を保ちながら、どの表現的変化を制限すべきなのかという疑問を提起する。 そこで,Sparse Autoencoder Geometric Anchoring (SAGA)を導入し,各タスク境界で訓練されたSparse Autoencoder (SAE) を表現ドリフトの局所的低ランク制約に変換する。 リプレイ例は制約が適用される場所を指定し、エンコーダの右特異方向を導いたヤコビアンはどの変更が罰せられるかを指定する。 結果として得られる幾何は入力に依存しており、その後のタスクのトレーニングのためにSAEを保持することなく維持することができる。 我々は、遅延符号マッチングと局所的関係を確立し、そのスペクトルトランケーション誤差を定義し、フリーズアウトドリフト上の条件付き境界を導出する。 リプレイとスナップショット履歴により、評価されたER, DER++, ER-ACE, SGDベースラインの3つの事前訓練されたViT-B/16ベンチマークでは、CIFAR-100, CUB-200, ImageNet-Rで最上位のベースラインに対して12.15, 4.79, 3.22ポイントの精度向上が達成される。 スクラッチの結果はより混合されるが、ランクの短縮と幾何制御は、SAEによって誘導される低ランク幾何学が、安定性と塑性のトレードオフに有用なものであることを示している。

関連論文リスト

• Escaping Parameter Space: Tight Generalization Bounds via Representation Quality [1.8024332526232831]
  我々は、その最後の隠蔽層表現に基づいて、決定論的ニューラルネットワークの一般化を導出する。 我々の証明は、従来のパラメータ空間の複雑さ対策、KLが後部、重みノルム、圧縮に発散することを避ける。
  論文  参考訳（メタデータ） (2026-10-16T16:43:57Z)
• Hard, Yet Reducible: Controlled Forward Transfer for Synthetic Degradation Curation [57.17927491453242]
  クリーンで劣化した双子は、コンテンツとラベルを共有し、短いトレーニングが劣化に起因する過度なエラーをどれだけ減らすかに基づくスコアを示唆する。 劣化タイプと重大度によって定義される領域に対して,textbf 制御による還元性劣化ギャップ (cRDG) を提案する。 cRDGは、劣化のトレーニングが利用可能な予算の下で高い制御利得をもたらす、修正可能な重大帯域を明らかにする。
  論文  参考訳（メタデータ） (2026-10-07T11:07:36Z)
• Hierarchical Adaptive Feature Refinement Network for VHR Remote Sensing Image Segmentation [15.24999553337715]
  本稿では,階層的表現を適応的に整理・洗練する進歩的改良フレームワークHAFR-Netを提案する。 マッチしたSwin-Bトレーニングとシングルスケール推論プロトコルの下で、HAFR-Netは84.12%、87.86%、55.17%、67.70%mIoUを達成した。
  論文  参考訳（メタデータ） (2026-08-16T09:26:58Z)
• Internalizing Geometric Law: Learning from Solver Residuals for Precision-Critical Generation [2.459492253868525]
  自然言語からのオープンエンド幾何合成について検討する。 私たちは、宣言的制約を微分可能な損失にコンパイルするプログラマブルな幾何学的DSLであるPyGeoXをリリースします。 本稿では,SAR(Saturating Additive Rewards)を提案する。
  論文  参考訳（メタデータ） (2026-06-08T09:44:31Z)
• SphereVAD: Training-Free Video Anomaly Detection via Geodesic Inference on the Unit Hypersphere [90.85001795656633]
  ビデオ異常検出(VAD)は、トリミングされていない監視ビデオの通常のパターンから逸脱するイベントを自動的に識別することを目的としている。 SphereVADはトレーニング不要でゼロショットのVADフレームワークで、単位超球面上の準比測地線推定をvon Mises-Fisher (vMF) と再放送する。
  論文  参考訳（メタデータ） (2026-05-08T16:57:38Z)
• Improving Search Agent with One Line of Code [68.58667107354253]
  ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。 textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-10T04:07:39Z)
• Weak-SIGReg: Covariance Regularization for Stable Deep Learning [0.0]
  この研究は、最近LeJEPAの自己教師型フレームワークで導入されたSketched Isotropic Gaussian Regularization (SIGReg)を採用し、教師付き学習のための一般的な最適化安定化器として再利用している。 SIGRegは表現密度を等方性ガウスに対して制限し、このドリフトを緩和する。 SIGRegはアーキテクチャハックなしで20.73%から72.02%の精度でCIFAR-100上でのViTトレーニングを回復し、純粋なSGDでトレーニングされた深いバニラの収束を大幅に改善する。
  論文  参考訳（メタデータ） (2026-03-06T05:32:40Z)
• Curvature-Regularized Variational Autoencoder for 3D Scene Reconstruction from Sparse Depth [0.0]
  離散ラプラシアン演算子による曲率正規化を提案し、標準変分オートエンコーダよりも18.1%の精度で再現する。 我々の貢献は幾何学的深層学習における暗黙の仮定に挑戦し、複数の幾何学的制約を組み合わせることで性能が向上する。
  論文  参考訳（メタデータ） (2025-12-05T15:11:04Z)
• SeqPE: Transformer with Sequential Position Encoding [76.22159277300891]
  SeqPEは、各$n$次元位置指数をシンボルシーケンスとして表現し、軽量なシーケンシャル位置エンコーダを用いて埋め込みを学習する。 言語モデリング、長文質問応答、および2次元画像分類による実験により、SeqPEはパープレキシティ、正確なマッチング(EM)、精度の強いベースラインを超えるだけでなく、手作業によるアーキテクチャ再設計を必要とせず、多次元入力へのシームレスな一般化を可能にする。
  論文  参考訳（メタデータ） (2025-06-16T09:16:40Z)
• RSAR: Restricted State Angle Resolver and Rotated SAR Benchmark [61.987291551925516]
  単位円制限損失を組み込んで角度予測精度を向上させるユニットサイクルリゾルバを導入する。 提案手法は,既存の最先端教師あり手法の性能を効果的に向上させることができる。 UCRの助けを借りて、これまでで最大の多クラス回転SARオブジェクト検出データセットであるRSARをさらに注釈し、導入する。
  論文  参考訳（メタデータ） (2025-01-08T11:41:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。