論文の概要: LoRA Superposition across Pretrained Models

• arxiv url: http://arxiv.org/abs/2610.30691v1
• Date: Thu, 22 Oct 2026 04:03:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.207933
• Title: LoRA Superposition across Pretrained Models
• Title（参考訳）: 事前訓練されたモデルにまたがるLORA重ね合わせ
• Abstract要約: 低ランク適応(LoRA)は通常、学習された後骨と結びついている。 我々は、異なる事前訓練されたバックボーン上で同じタスクのために独立に訓練されたLoRAを、すべてのコントリビュートバックボーンにまとめて適用できるかどうかを問う。 7つのViT-B/16 CLIPバックボーンと8つの画像分類タスクの合計は、未適応のバックボーンよりも平均精度が30.21ポイント向上する。
• 参考スコア（独自算出の注目度）: 12.961180148172199
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-rank adaptation (LoRA) is usually tied to the pretrained backbone on which it is learned. We ask whether LoRAs trained independently for the same task on different pretrained backbones can be summed and applied unchanged to all contributing backbones. We call this construction LoRA superposition. Across seven ViT-B/16 CLIP backbones and eight image-classification tasks, the exact sum improves all 56 backbone-task pairs and achieves a mean accuracy gain of 30.21 percentage points over the unadapted backbone. The exact sum achieves a mean accuracy only 0.28 percentage points below that of individually trained solo LoRAs. In contrast, a leave-one-model-out (LOMO) sum produces a mean gain of only 0.06 percentage points over the unadapted backbones. Backbone-specific solo LoRAs are nearly orthogonal in parameter space, while pairwise cross-backbone responses are strongly concentrated on the diagonal. These results support a component-wise non-interference hypothesis, under which the frozen backbone acts as an implicit selector of its own component without explicit routing or cross-model alignment.
• Abstract（参考訳）: 低ランク適応(LoRA)は通常、学習された後骨と結びついている。 我々は、異なる事前訓練されたバックボーン上で同じタスクのために独立に訓練されたLoRAを、すべてのコントリビュートバックボーンにまとめて適用できるかどうかを問う。 この構造をLoRA重ね合わせと呼ぶ。 7つのViT-B/16 CLIPバックボーンと8つのイメージ分類タスクで、正確な総和は56のバックボーンとタスクのペアをすべて改善し、未適応のバックボーンよりも平均精度が30.21ポイント向上する。 正確な総和は、個別に訓練されたソロ・ロラの0.28ポイント以下である。 対照的に、LOMO(Left-one-model-out)の和は、未適応のバックボーンよりも0.06ポイントしか得ない。 バックボーン固有のソロLoRAはパラメータ空間においてほぼ直交するが、ペアのクロスバックボーン応答は対角線に強く集中する。 これらの結果はコンポーネント単位の非干渉仮説をサポートし、凍結したバックボーンは明示的なルーティングやクロスモデルアライメントなしに、自身のコンポーネントの暗黙のセレクタとして機能する。

関連論文リスト

• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• FoRA: Fisher-orthogonal Rank Adaptation for Parameter-Efficient Fine-Tuning [9.545927016753025]
  我々はFoRAを導入し、アダプタのランクではなく、適応されたレイヤの数を減らすことでゴールを再考する。 FoRAはパラメータ予算の半分でLoRAとDoRAを上回っている。 LLaMA、Qwen3、Gemmaファミリーの12個のバックボーンのクロスアーキテクチャ実験により、270Mから32Bパラメータの連続的な増加が確認された。
  論文  参考訳（メタデータ） (2026-05-28T03:47:00Z)
• A Little Rank Goes a Long Way: Random Scaffolds with LoRA Adapters Are All You Need [6.398929702678775]
  LottaLoRAは、すべてのバックボーン重量をランダムに描画して凍結するトレーニングパラダイムであり、ローランクのLoRAアダプタのみがトレーニングされる。 9つのベンチマークで、さまざまなアーキテクチャファミリーが、完全にトレーニングされたパフォーマンスの96-100%を回復し、パラメータの0.5-40%しかトレーニングしていない。
  論文  参考訳（メタデータ） (2026-04-09T20:24:50Z)
• Preference-Aligned LoRA Merging: Preserving Subspace Coverage and Addressing Directional Anisotropy [50.63908869296697]
  複数のローランド適応(LoRA)モジュールを統合することで汎用システムの構築が期待できる。 優先重み付きクロスエントロピー擬似空間を用いて重みを重み付けするTARA-Mergingを提案する。 8つのビジョンと6つのNLIベンチマークで、TARA-MergingはバニラとLoRA対応のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-03-27T11:07:46Z)
• Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA [50.97792275353563]
  単一低ランク適応 (LoRA) モジュールを分解可能な Rank-1 エキスパートプールとして再構成する,新しいフレームワークを提案する。 本手法では,このエキスパートプールから[Guided]トークンのセマンティクスに導かれて,疎結合でタスク固有の更新を動的に作成することを学ぶ。
  論文  参考訳（メタデータ） (2026-01-30T10:54:51Z)
• BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
  Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。 本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
  論文  参考訳（メタデータ） (2025-02-19T10:33:22Z)
• SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。 既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。 クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。