Fugu-MT 論文翻訳(概要): Geo-LoRA: Geometry-Aware Subspace Evolution for Low-Rank Adaptation in Continual Learning

論文の概要: Geo-LoRA: Geometry-Aware Subspace Evolution for Low-Rank Adaptation in Continual Learning

arxiv url: http://arxiv.org/abs/2608.26960v1
Date: Thu, 27 Aug 2026 11:00:50 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-28 16:30:58.36507
Title: Geo-LoRA: Geometry-Aware Subspace Evolution for Low-Rank Adaptation in Continual Learning
Title（参考訳）: Geo-LoRA: 連続学習における低ランク適応のための幾何学的部分空間進化
Abstract要約: Geo-LoRAは、連続学習中に低ランクのサブスペースがどのように進化するかを制御する幾何学的なフレームワークである。 Geo-LoRAは、連続的な低ランク適応のための原則的な幾何学的定式化を提供し、一貫して最先端の性能を達成する。
参考スコア（独自算出の注目度）: 0.304585143845864
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Rehearsal-free class-incremental learning (CIL) with LoRA adapters remains challenging because the low-rank subspaces updated across tasks evolve without geometric control, causing unstable shared representations and repetitive collapse of task-specific updates into previously occupied directions. We introduce Geo-LoRA, a geometry-aware framework that explicitly regulates how low-rank subspaces, both shared and task-specific, evolve during continual learning. For the shared branch, Subspace Projection Preservation (SPP) constrains consecutive updates to follow smooth trajectories on the Grassmann manifold, and Adaptive Core-Slack Alignment (ACSA) decomposes transitions into principal and residual components, aligning the former while modulating the latter to balance stability and plasticity. For the task-specific branch, Median-Calibrated Block Overlap (MCBO) imposes a statistical constraint via normalized projection overlap, penalizing excessive reuse to mitigate subspace crowding. These constraints jointly regulate the evolution of all LoRA subspaces across layers and tasks without introducing additional adapter types beyond standard LoRA. Geo-LoRA provides a principled geometric formulation for continual low-rank adaptation and consistently achieves state-of-the-art performance across multiple benchmark datasets and different task lengths.
Abstract（参考訳）: LoRAアダプタを用いたリハーサルフリーなクラスインクリメンタルラーニング(CIL)は、タスク間で更新される低ランクなサブスペースが幾何学的制御なしで進化し、不安定な共有表現とタスク固有の更新を以前占有された方向へ繰り返し崩壊させるため、依然として困難である。そこで我々はGeo-LoRAという,低ランクなサブスペース(共有空間とタスク固有空間の両方)が連続学習中にどのように進化するかを明確に制御する,幾何学的認識フレームワークを紹介した。共有ブランチでは、部分空間投影保存(SPP)はグラスマン多様体上の滑らかな軌跡に従うために連続的な更新を制限し、適応コア-Slackアライメント(ACSA)は主成分と残留成分への遷移を分解し、後者を調整しながら安定性と可塑性のバランスをとる。タスク固有のブランチでは、Median-Calibrated Block Overlap (MCBO) は正規化されたプロジェクションオーバーラップを通じて統計的制約を課し、サブスペースの混雑を軽減するために過剰な再利用を罰する。これらの制約は、標準のLoRAを超えるアダプタタイプを導入することなく、レイヤやタスクをまたいだすべてのLoRAサブスペースの進化を共同で規制する。 Geo-LoRAは、連続的な低ランク適応のための原則化された幾何学的定式化を提供し、複数のベンチマークデータセットと異なるタスク長で一貫して最先端のパフォーマンスを達成する。

関連論文リスト

Multimodal Foundation Models Adaptation based on Domain-Aware Relaxed Orthogonal Subspace for Remote Sensing [16.45880716714667]
Domain-Aware Relaxed Orthogonal Subspace adaptation (DROS) DROSはデータ条件付きサブスペース学習と柔軟なサブスペース適応として低ランク適応を再構成する。複数のリモートセンシングベンチマークの実験は、DROSが最先端のパフォーマンスを達成することを示す。
論文参考訳（メタデータ） (2026-09-12T02:19:11Z)
GCPO: Diagnosing and Constraining Subspace Geometry in Rollout RL for LLMs [40.53507207838462]
プリミティブ・サブスペース・オーバーラップ(Principal-Subspace Overlap)は、事前訓練された重みの支配的な特異部分空間に対する個々のロールアウト更新の次元補正尺度である。本稿では,補完部分空間の更新を厳密に規制するためにハードバイダプロジェクションを適用したGCPOを提案する。本研究は,新しい診断レンズと安定な強化学習のための設計視点を提供する。
論文参考訳（メタデータ） (2026-08-12T05:32:22Z)
Rank-Aware Hyperbolic Alignment for Vision-Language Dataset Distillation [54.74045834035952]
視覚言語データセット蒸留(VLDD)は、大きな画像テキストのペア化されたデータセットを小さな合成ペアに圧縮する。階層幾何学と明示的なアライメント・キャパシティ制御を組み合わせたランク認識型双曲アライメント(RAHA)を提案する。 RAHAは、競争力のあるクロスモーダル検索と、固定予算下での転送インジケータの改善を示す。
論文参考訳（メタデータ） (2026-06-28T15:41:31Z)
KeepLoRA++: Continual Learning with Layer-Scaled Residual Gradient Adaptation [67.23448686598414]
事前学習された視覚言語モデルの継続的な学習には、3つの競合する目標のバランスが必要である。本稿では,2次元知識保持機構を統一したKeepLoRA++を提案する。
論文参考訳（メタデータ） (2026-06-15T05:57:59Z)
SALT: When More Rollouts Don't Help in Group-Based Policy Optimization and How to Make Them Matter [9.506175719110136]
検証可能な報酬による強化学習は、GRPOスタイルのグループ関連更新を採用することが多い。 GRPOスタイルの群正規化の下では、ロールアウトポリシー段階の特徴はローランクな符号付き幾何に集中することができる。サブスペース適応幾何学 pLug-in componenT である SALT を用いて,この障害モードに対処する。
論文参考訳（メタデータ） (2026-06-04T07:29:43Z)
Janus-LoRA: A Balanced Low-Rank Adaptation for Continual Learning [122.06915301391616]
Low-Rank Adaptation (LoRA)は、継続的学習のための有望なパラダイムとして登場した。このバランスを2つの新しいコンポーネントを通して復元するフレームワークである textbfJanus-LoRA を提案する。
論文参考訳（メタデータ） (2026-05-27T13:53:14Z)
Continual Fine-Tuning of Large Language Models via Program Memory [31.698386161730486]
Low-Rank Adaptation (LoRA) は、Large Language Models (LLM) を限定計算で適用するための標準アプローチとなっている。神経科学におけるtextbfComplementary textbfLearning Systems にインスパイアされた textbfProgram メモリを用いた連続的な LoRA フレームワークを提案する。
論文参考訳（メタデータ） (2026-05-13T08:26:37Z)
Preference-Aligned LoRA Merging: Preserving Subspace Coverage and Addressing Directional Anisotropy [50.63908869296697]
複数のローランド適応(LoRA)モジュールを統合することで汎用システムの構築が期待できる。優先重み付きクロスエントロピー擬似空間を用いて重みを重み付けするTARA-Mergingを提案する。 8つのビジョンと6つのNLIベンチマークで、TARA-MergingはバニラとLoRA対応のベースラインを一貫して上回っている。
論文参考訳（メタデータ） (2026-03-27T11:07:46Z)
Task-Driven Subspace Decomposition for Knowledge Sharing and Isolation in LoRA-based Continual Learning [82.30237756328596]
Low-Rank Adaptation (LoRA) は継続学習 (CL) において注目を集めている。いくつかのLoRAベースのCLメソッドは、更新スペースを分離することでタスク間の干渉を減らす。 LoDAは、一般的なタスク固有のLoRAサブスペースを構築するために、タスク駆動の分解を実行する。
論文参考訳（メタデータ） (2026-02-27T02:31:00Z)
ELLA: Efficient Lifelong Learning for Adapters in Large Language Models [12.489255789379817]
大規模言語モデル(LLM)は、連続的な学習環境において、新しいタスクに逐次適応する際、深刻な破滅的な忘れを被る。本稿では,選択部分空間デコリレーションの原理に基づくトレーニングフレームワークであるELLAを紹介する。 ELLAは、過去の更新の構造を明示的に特徴づけ、高エネルギーでタスク固有の方向に沿ってアライメントを罰する。 3つの人気のあるベンチマークで最先端のCL性能を達成し、相対的精度は9.6%、メモリフットプリントは35倍になる。
論文参考訳（メタデータ） (2026-01-05T15:58:08Z)
Regularizing Subspace Redundancy of Low-Rank Adaptation [54.473090597164834]
本稿では、マッピング部分空間間の冗長性を明示的にモデル化し、低ランク適応のサブスペース冗長性を適応的に正規化する手法であるReSoRAを提案する。提案手法は、視覚言語検索や標準的な視覚分類ベンチマークにおいて、様々なバックボーンやデータセットにまたがる既存のPETL手法を一貫して促進する。トレーニングの監督として、ReSoRAは追加の推論コストなしで、プラグイン・アンド・プレイ方式で既存のアプローチにシームレスに統合することができる。
論文参考訳（メタデータ） (2025-07-28T11:52:56Z)
Replay-Free Continual Low-Rank Adaptation with Dynamic Memory [62.85596937435928]
我々は、事前学習された視覚変換器(ViT)が、時間とともに新しい下流タスクを逐次微調整できる連続学習を再考する。近年の研究では、CL技術とパラメータ効率の良い微調整の交差が強調されている。 DualLoRA (Dual Low-Rank Adaptation) と呼ばれる新しいPEFT-CL法を提案する。
論文参考訳（メタデータ） (2024-11-01T14:28:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。