論文の概要: BISECT: Bilevel Spectral Decomposition for Low-Rank Continual Learning

• arxiv url: http://arxiv.org/abs/2611.03574v1
• Date: Mon, 02 Nov 2026 18:27:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:50:23.687409
• Title: BISECT: Bilevel Spectral Decomposition for Low-Rank Continual Learning
• Title（参考訳）: BISECT:低ランク連続学習のための二レベルスペクトル分解
• Abstract要約: 事前学習型視覚変換器における非経験的連続学習はローランド適応(LoRA)にますます依存している 固定ランクの$r$の予算を2つの機能ブロックに分割する連続的なLoRAフレームワークであるBISECTを提案する。 Bilevel Spectral Decompositionは、プロンプト、アダプタ、LoRAベースラインをゼロの余分な推論パラメータまたはFLOPで上回る。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Exemplar-free continual learning on pre-trained Vision Transformers increasingly relies on Low-Rank Adaptation (LoRA), yet prevailing methods govern the low-rank update space through strict subspace isolation. By projecting each incoming task into the approximate null space of historical token activations, isolation-based learners equate any cross-task feature overlap with catastrophic interference. We show that this orthogonality premise induces a structural bottleneck we term \emph{spectral starvation}: when down-projection bases are locked before task optimization, the gradient norm reaching the trainable up-projection is upper-bounded by the energy of current-task features captured by the chosen basis. Because natural visual tasks share low- and mid-level covariance structure, historical null tails contain barely $5.5\%$ of incoming task variance, starving new-class plasticity while blocking positive consolidation along shared directions. We propose BISECT (Bilevel Spectral Decomposition), a continual LoRA framework that partitions a fixed rank-$r$ budget into two orthogonal functional blocks: an invariant carrier spanned by the dominant modes of the joint historical-and-current Gram matrix, and a novelty complement extracted via generalized Rayleigh whitening followed by orthogonal complement projection. After single-task training, BISECT folds both blocks back into the frozen backbone using a closed-form precision gate that scales each rank-1 invariant atom by its current-to-joint Rayleigh ratio while preserving novelty atoms at unit gain. Across eight incremental settings on ImageNet-R, ImageNet-A, CIFAR-100, CUB-200, and DomainNet, BISECT outperforms prompt, adapter, and LoRA baselines with zero extra inference parameters or FLOPs, and remains complementary to sparse analytic expansion.
• Abstract（参考訳）: 事前学習されたビジョントランスフォーマーの非定型連続学習はローランク適応(LoRA)にますます依存しているが、一般的な手法では厳密な部分空間分離によってローランク更新空間を支配している。 各タスクを履歴トークンのアクティベーションの近似ヌル空間に投影することにより、分離ベースの学習者は、任意のクロスタスク機能を破滅的な干渉と重なり合うように近似する。 この直交性前提は,タスク最適化の前に下向きの投射ベースがロックされている場合,トレーニング可能な上向き投射に到達した勾配ノルムは,選択した基底によって捕捉された現在のタスク特徴のエネルギーによって上向きに設定される。 自然の視覚的タスクは低レベルの共分散構造と中レベルの共分散構造を共有するため、歴史的ヌルテールは入ってくるタスクのばらつきの5.5\%しか含まない。 BISECT(Bilevel Spectral Decomposition)は、固定階数=r$の予算を2つの直交汎関数ブロックに分割する連続的なLoRAフレームワークである。 シングルタスクトレーニングの後、BISECTは2つのブロックを凍結したバックボーンに折り返し、単位ゲインで新規原子を保存しながら、各ランク-1不変原子を現在の隣り合うレイリー比でスケーリングするクローズドフォームの精密ゲートを使用する。 ImageNet-R、ImageNet-A、CIFAR-100、CUB-200、DomainNetの8つのインクリメンタルな設定で、BISECTはプロンプト、アダプタ、LORAベースラインで、追加の推論パラメータやFLOPをゼロとし、スパース解析拡張を補完する。

関連論文リスト

• A Dynamical Theory of LoRA in Continual Learning [69.58708346402757]
  本稿では,Low-Rank Adaptation (LoRA) がシーケンシャルタスク間で情報を整理し,逐次MNISTベンチマークで定性的に再現する方法を示す。 この力学図に基づいて、最強のファーストタスク表現を持つ隠れユニットを凍結し、補完部分空間への適応を制限する状態依存マスキング戦略を解析する。
  論文  参考訳（メタデータ） (2026-09-30T09:22:13Z)
• Hyperbolic Multimodal Continual Learning: A Closest-Admissible Solution [90.3699346061366]
  従来のマルチモーダル幾何を保存することは、すべてのモダリティを1つの共有双曲等長に制限することを意味する。 提案手法では, 共用回転を最適に維持する結合最接近許容補正法(CA)を定式化する。
  論文  参考訳（メタデータ） (2026-09-24T10:04:52Z)
• Janus-LoRA: A Balanced Low-Rank Adaptation for Continual Learning [122.06915301391616]
  Low-Rank Adaptation (LoRA)は、継続的学習のための有望なパラダイムとして登場した。 このバランスを2つの新しいコンポーネントを通して復元するフレームワークである textbfJanus-LoRA を提案する。
  論文  参考訳（メタデータ） (2026-05-27T13:53:14Z)
• iGSP:Implicit Gradient Subspace Projection for Efficient Continual Learning of Vision-Language Models [14.623213614166259]
  iGSPは暗黙の勾配部分空間投影による効率的な適応を実現する新しいフレームワークである。 MTILベンチマークの実験は、iGSPが最先端の精度を達成することを示した。
  論文  参考訳（メタデータ） (2026-05-19T03:22:14Z)
• A Dual-Graph Spatiotemporal GNN Surrogate for Nonlinear Response Prediction of Reinforced Concrete Beams under Four-Point Bending [2.5925656171325127]
  4点曲げ下におけるRCビームの時間履歴を近似するために, 二重依存型サロゲートを開発した。 我々は, 夜間変位, 元素ワイド・フォン・ミセス応力, 元素ワイド等価ひずみ (PEEQ) および大域垂直反応力を共同で予測する。
  論文  参考訳（メタデータ） (2026-03-07T13:20:37Z)
• MirrorLA: Reflecting Feature Map for Vision Linear Attention [49.41670925034762]
  リニアアテンションはトランスフォーマーの2次から線形への計算複雑性を著しく低下させるが、パフォーマンスにおけるソフトマックスに基づくアテンションの遅れは一貫して遅れる。 我々は、受動トランケーションをアクティブなリオリエンテーションに置き換える幾何学的枠組みであるMirrorLAを提案する。 MirrorLAは標準的なベンチマークで最先端のパフォーマンスを実現し、表現の忠実さを損なうことなく厳密な線形効率を実現できることを示した。
  論文  参考訳（メタデータ） (2026-02-04T09:14:09Z)
• Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA [50.97792275353563]
  単一低ランク適応 (LoRA) モジュールを分解可能な Rank-1 エキスパートプールとして再構成する,新しいフレームワークを提案する。 本手法では,このエキスパートプールから[Guided]トークンのセマンティクスに導かれて,疎結合でタスク固有の更新を動的に作成することを学ぶ。
  論文  参考訳（メタデータ） (2026-01-30T10:54:51Z)
• ELLA: Efficient Lifelong Learning for Adapters in Large Language Models [12.489255789379817]
  大規模言語モデル(LLM)は、連続的な学習環境において、新しいタスクに逐次適応する際、深刻な破滅的な忘れを被る。 本稿では,選択部分空間デコリレーションの原理に基づくトレーニングフレームワークであるELLAを紹介する。 ELLAは、過去の更新の構造を明示的に特徴づけ、高エネルギーでタスク固有の方向に沿ってアライメントを罰する。 3つの人気のあるベンチマークで最先端のCL性能を達成し、相対的精度は9.6%、メモリフットプリントは35倍になる。
  論文  参考訳（メタデータ） (2026-01-05T15:58:08Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。