論文の概要: Rethinking Inter-LoRA Orthogonality in Adapter Merging: Insights from Orthogonal Monte Carlo Dropout
- arxiv url: http://arxiv.org/abs/2510.03262v2
- Date: Wed, 08 Oct 2025 00:05:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-09 14:21:18.184289
- Title: Rethinking Inter-LoRA Orthogonality in Adapter Merging: Insights from Orthogonal Monte Carlo Dropout
- Title（参考訳）: 適応マージにおけるLoRA間の直交性の再考:直交モンテカルロ落下からの考察
- Authors: Andi Zhang, Xuan Ding, Haofan Wang, Steven McDonagh, Samuel Kaski,
- Abstract要約: Low-Rank Adaptation (LoRA)は、大型モデルの一般的な微調整手法であり、通常、モジュールを訓練してオブジェクトやスタイルのような特定の概念を表現する。
余分な時間的複雑さを伴わずにスパース意味ベクトルを組み合わせる際に厳密な直交を強制する機構であるオルソゴンモンテカルロ・ドロップアウトを提案する。
- 参考スコア（独自算出の注目度）: 26.252083958846203
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose Orthogonal Monte Carlo Dropout, a mechanism that enforces strict orthogonality when combining sparse semantic vectors without extra time complexity. Low-Rank Adaptation (LoRA), a popular fine-tuning method for large models, typically trains a module to represent a specific concept such as an object or a style. When multiple LoRA modules are merged, for example to generate an object in a particular style, their outputs (semantic vectors) may interfere with each other. Our method guarantees that merged LoRA modules remain orthogonal and thus free from direct interference. However, empirical analysis reveals that such orthogonality does not lead to the semantic disentanglement highlighted in prior work on compositional adaptation. This finding suggests that inter-LoRA orthogonality alone may be insufficient for achieving true semantic compositionality, prompting a re-examination of its role in adapter merging.
- Abstract（参考訳）: 余分な時間的複雑さを伴わずにスパース意味ベクトルを組み合わせる際に厳密な直交を強制する機構であるオルソゴンモンテカルロ・ドロップアウトを提案する。
Low-Rank Adaptation (LoRA)は、大型モデルの一般的な微調整手法であり、通常、モジュールを訓練してオブジェクトやスタイルのような特定の概念を表現する。
複数のLoRAモジュールがマージされると、例えば特定のスタイルでオブジェクトを生成すると、その出力(意味ベクトル)が互いに干渉する可能性がある。
我々の手法は、LoRA加群が直交的であり、したがって直接干渉がないことを保証している。
しかし、経験的分析により、そのような直交性は、作曲適応に関する先行研究で強調された意味的不絡合に結びつくものではないことが明らかになった。
この発見は、ロラ間の直交性だけでは真の意味的構成性を達成するには不十分であり、アダプタマージにおけるその役割の再検討を促すことを示唆している。
関連論文リスト
- Functionality-Oriented LLM Merging on the Fisher--Rao Manifold [14.349284217707575]
重み空間のマージは、複数の微調整LDMを再訓練せずに単一のモデルに組み合わせることを目的としている。
我々は,標準を守り,マルチエキスパートマージに直接一般化する軽量な球面プロキシを用いて,実用的な固定点アルゴリズムを導出する。
論文 参考訳（メタデータ） (2026-03-05T09:08:38Z) - Spanning the Visual Analogy Space with a Weight Basis of LoRAs [84.16188433935494]
視覚的アナロジー学習は、テキスト記述ではなく、デモによる画像操作を可能にする。
LoRWeBは、学習された変換プリミティブの動的合成を通じて、推論時のアナログタスク毎にモデルを専門化する。
本稿では,(1)LoRAモジュールの学習可能な基礎,2)異なる視覚変換の空間にまたがる学習可能な基礎,(2)LoRAを動的に選択・重み付けする軽量エンコーダについて紹介する。
論文 参考訳（メタデータ） (2026-02-17T17:02:38Z) - UniARM: Towards a Unified Autoregressive Reward Model for Multi-Objective Test-Time Alignment [30.711521764097657]
ARMトレーニングのためのPreference-Modulated and Shared Low-Rank Adaptation (MoSLoRA)を提案する。
MoSLoRAは特徴の絡みを緩和し、推論中に好みのトレードオフを正確に制御できる。
我々は,多目的テストタイムアライメントのための新しいフレームワークUnified Autoregressive Reward Model(UniARM)を紹介する。
論文 参考訳（メタデータ） (2026-02-10T08:49:28Z) - Identifying Intervenable and Interpretable Features via Orthogonality Regularization [48.938969291033665]
我々はデコーダ行列をほぼ直交的な特徴に分解する。
これにより、ターゲットデータセットのパフォーマンスを本質的に変更することなく、機能間の干渉と重畳を低減することができる。
私たちのコードは、$texttthttps://github.com/mrtzmllr/sae-icm$で利用可能です。
論文 参考訳（メタデータ） (2026-02-04T16:29:14Z) - QR-LoRA: Efficient and Disentangled Fine-tuning via QR Decomposition for Customized Generation [52.024845354511555]
構造化パラメータ更新にQR分解を利用する新しい微調整フレームワークであるQR-LoRAを提案する。
我々の重要な洞察は、Q行列が視覚的特徴間の干渉を自然に最小化することである。
QR-LoRAは、コンテンツスタイルの融合タスクにおいて、より優れた絡み合いを実現することを示す実験である。
論文 参考訳（メタデータ） (2025-07-07T01:31:01Z) - Decouple and Orthogonalize: A Data-Free Framework for LoRA Merging [18.650279202312614]
分離直交メルジング手法(DO-Merging)を提案する。
パラメータを大きさと方向の成分に分離することにより、マージしたモデルの方向アライメントに対する大きさ差の影響を低減する。
我々は、視覚、言語、マルチモーダル領域にわたる広範な実験を通じて、提案したDO-Mergingは、既存のマージメソッドよりも、最小限のコストで大幅に高いパフォーマンスを達成することができることを検証した。
論文 参考訳（メタデータ） (2025-05-21T16:34:37Z) - Closed-form merging of parameter-efficient modules for Federated Continual Learning [9.940242741914748]
一度に1つのLoRA行列をトレーニングする交代最適化戦略であるLoRMを導入する。
提案手法をFCIL(Federated Class-Incremental Learning)に適用する。
本手法は,さまざまなFCILシナリオにおける最先端性能を示す。
論文 参考訳（メタデータ） (2024-10-23T15:30:13Z) - Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。
LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。
本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-10T18:51:53Z) - LoRA-Ensemble: Efficient Uncertainty Modelling for Self-Attention Networks [52.46420522934253]
本稿では,自己注意ネットワークのためのパラメータ効率のよいアンサンブル手法であるLoRA-Ensembleを紹介する。
この方法は、BatchEnsembleのような最先端の暗黙のテクニックを上回るだけでなく、Explicit Ensembleの正確さにマッチするか超える。
論文 参考訳（メタデータ） (2024-05-23T11:10:32Z) - Self-Supervised Learning Disentangled Group Representation as Feature [82.07737719232972]
既存の自己監督学習(SSL)は、回転や着色などの単純な拡張機能のみを分解することを示す。
反復的分割に基づく不変リスク最小化(IP-IRM)を提案する。
我々は、IP-IRMが完全に不整合表現に収束し、様々なベンチマークでその効果を示すことを証明した。
論文 参考訳（メタデータ） (2021-10-28T16:12:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。