論文の概要: RASP: Read-All, Sparse-Plasticity Continual Learning in a Stationary-Size LoRA

• arxiv url: http://arxiv.org/abs/2611.03513v1
• Date: Mon, 02 Nov 2026 17:50:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 04:06:59.958918
• Title: RASP: Read-All, Sparse-Plasticity Continual Learning in a Stationary-Size LoRA
• Title（参考訳）: RASP: 定常型LORAにおける可読・疎可塑性連続学習
• Abstract要約: RASP (Read-All, Sparse-Plasticity LoRA) を導入する。 RASPは、厳密な定数パラメータフットプリントの下で、分岐拡張されたLoRA学習者と一致またはオーバーする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Parameter-efficient continual learning on pre-trained Vision Transformers largely relies on a costly premise: preventing catastrophic forgetting requires either spawning a dedicated LoRA branch per session---causing adapter parameters to scale linearly with task horizon---or applying sparse Mixture-of-Experts gating symmetrically to both forward and backward passes, which sacrifices representational rank at test time. We argue that reading consolidated knowledge and writing new task credit are fundamentally asymmetric operations. Because visual features in a shared low-rank space distribute across rank-1 atoms rather than localizing in disjoint task silos, forward inference should read all atoms at full rank capacity, whereas backward optimization should restrict plasticity to a sparse subset of input-aligned channels. We introduce RASP (Read-All, Sparse-Plasticity LoRA), which adapts a single stationary-size adapter across sequential tasks. At each step, a scene-modulated cosine router selects the top-$q$ unlocked atoms to receive gradients, blocks updates on the remaining $r-q$ channels, and penalizes Frobenius Gram coherence between active and non-updated output directions. Across sessions, the router's empirical activation trace and each atom's exact spectral norm form a zero-overhead geometric consolidation index $ω_j = \sqrt{\tilde{c}_j \tildeσ_j}$ that drives Cauchy step attenuation and boundary anchor locking. Across CIFAR-100, CUB-200, ImageNet-R, and ImageNet-A, RASP matches or surpasses branch-expanding LoRA learners under a strictly constant parameter footprint.
• Abstract（参考訳）: パラメータ効率のよいVision Transformerの連続学習は、主にコストのかかる前提に頼っている: 破滅的な忘れ込みを防ぐには、セッション毎に専用のLoRAブランチを発生させるか、------- タスクの水平線と線形にスケールするために、-- または、----- テスト時の表現的ランクを犠牲にする、---- または、 sparse Mixture-of-Experts を適用する。 我々は、統合された知識を読み、新しいタスククレジットを書くことは基本的に非対称な操作であると主張する。 共有低ランク空間における視覚的特徴は、非結合性タスクサイロに局在するのではなくランク1原子に分散するため、前方推論は全原子をフルランクで読み取るべきであるが、後方最適化は入力整列チャネルのスパース部分集合に可塑性を制限すべきである。 RASP (Read-All, Sparse-Plasticity LoRA) を導入する。 各ステップにおいて、シーン変調されたコサインルータは、上位$qのアンロックされた原子を選択して勾配を受け取り、残りの$r-q$チャンネルの更新をブロックし、アクティブおよび非更新出力方向間のフロベニウス・グラハムのコヒーレンスをペナライズする。 セッションの間、ルータの経験的活性化トレースと各原子の正確なスペクトルノルムはゼロオーバーヘッド幾何学的凝縮指数 $ω_j = \sqrt{\tilde{c}_j \tildeσ_j}$ を形成し、コーシーステップの減衰と境界アンカーロックを駆動する。 CIFAR-100、CUB-200、ImageNet-R、ImageNet-Aの他、RASPは厳密なパラメータフットプリントの下で分岐拡大するLoRA学習者と一致または超える。

関連論文リスト

• BISECT: Bilevel Spectral Decomposition for Low-Rank Continual Learning [0.0]
  事前学習型視覚変換器における非経験的連続学習はローランド適応(LoRA)にますます依存している 固定ランクの$r$の予算を2つの機能ブロックに分割する連続的なLoRAフレームワークであるBISECTを提案する。 Bilevel Spectral Decompositionは、プロンプト、アダプタ、LoRAベースラインをゼロの余分な推論パラメータまたはFLOPで上回る。
  論文  参考訳（メタデータ） (2026-11-02T18:27:22Z)
• ChainLoRA: Geometry-Preserving Task Vector Merging for Continual Learning in LLMs [47.47506424027992]
  ChainLoRAは、連鎖更新タスクベクトル幾何学に基づいて構築されたリプレイフリー連続マージフレームワークである。 実験の結果,ChainLoRAは評価されたリプレイフリー手法の中で最先端の性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2026-09-30T16:43:34Z)
• Hyperbolic Multimodal Continual Learning: A Closest-Admissible Solution [90.3699346061366]
  従来のマルチモーダル幾何を保存することは、すべてのモダリティを1つの共有双曲等長に制限することを意味する。 提案手法では, 共用回転を最適に維持する結合最接近許容補正法(CA)を定式化する。
  論文  参考訳（メタデータ） (2026-09-24T10:04:52Z)
• HARTS: Efficient Agentic Reinforcement Learning for Hybrid-Attention Models over Arbitrary Rollout Trees [10.936836651826722]
  HARTS (Hybrid-Attention RL over Tree Structures) について述べる。 HarTSは、実際のハイブリッドアテンションモデル上で任意のロールアウトツリープレフィックス共有スピードアップを示す最初のシステムである。
  論文  参考訳（メタデータ） (2026-08-28T10:18:54Z)
• Omni2LoRA: Coherence-Preserving Parametric Memory for Efficient Omni Language Models [65.49950267695267]
  我々はコヒーレンス保存コンテクスト蒸留によるパラメトリックメモリの効率的な圧縮フレームワークであるOmni2LoRAを紹介する。 本手法は,マルチモーダルメモリを固定予算で再利用可能なパラメータ状態に変換することにより,応答時間のマルチモーダルトーケン負荷をゼロにする。
  論文  参考訳（メタデータ） (2026-08-10T07:49:10Z)
• Latent-LoRA: Compact Latent-Space Adapters with Gradient-Free Routing for Continual Learning [2.749219725903528]
  大規模言語モデルは個々のタスクによく当てはまるが、それらをシーケンシャルに学習する固有のメカニズムは欠如している。 LoRAベースの連続学習手法はタスクごとに個別の低ランクアダプタを割り当てるが、既存のアプローチでは推論時にタスクの同一性を必要とするか、全てのアダプタを無差別にまとめる必要がある。 最近のゲーティングベースのソリューションは、正しいアダプタへの入力をルートするが、それ自体が忘れることを防ぐために保護を必要とするトレーニング可能なパラメータを導入する。 Latent-LoRAはリプレイフリーで、トレーニング可能なルーティングコンポーネントを必要としない。
  論文  参考訳（メタデータ） (2026-07-26T20:42:56Z)
• SOS-LoRA: Static Orthogonal-Subspace Low-Rank Adaptation with Fixed Multi-Scale Scaling [17.873016968298483]
  Low-Rank Adaptation (LoRA) は、大規模言語モデルのためのパラメータ効率の高い微調整法である。 我々は,静的な専門家の和としてランクレット更新を再パラメータ化するドロップイン拡張である静的直交部分空間LoRA(SOS-LoRA)を提案する。
  論文  参考訳（メタデータ） (2026-06-27T03:25:36Z)
• Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
  Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。 LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
  論文  参考訳（メタデータ） (2026-05-26T10:10:26Z)
• SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。 textbfSpectrum textbfModulation textbfAdapterを提案する。
  論文  参考訳（メタデータ） (2026-05-20T13:19:28Z)
• Label-Free Cross-Task LoRA Merging with Null-Space Compression [50.63908869296697]
  我々は,ラベルフリーで出力に依存しない手法であるNull-Space Compression (NSC) Mergingを紹介した。 NSCは、従来のメソッドがタスクのサブセットに収まるバランスの取れたゲインを持つ20の異種視覚タスクに対して、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-03-27T11:34:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。