論文の概要: Rethinking Inter-LoRA Orthogonality in Adapter Merging: Insights from Orthogonal Monte Carlo Dropout

• arxiv url: http://arxiv.org/abs/2510.03262v2
• Date: Wed, 08 Oct 2025 00:05:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-09 14:21:18.184289
• Title: Rethinking Inter-LoRA Orthogonality in Adapter Merging: Insights from Orthogonal Monte Carlo Dropout
• Title（参考訳）: 適応マージにおけるLoRA間の直交性の再考:直交モンテカルロ落下からの考察
• Authors: Andi Zhang, Xuan Ding, Haofan Wang, Steven McDonagh, Samuel Kaski,
• Abstract要約: Low-Rank Adaptation (LoRA)は、大型モデルの一般的な微調整手法であり、通常、モジュールを訓練してオブジェクトやスタイルのような特定の概念を表現する。 余分な時間的複雑さを伴わずにスパース意味ベクトルを組み合わせる際に厳密な直交を強制する機構であるオルソゴンモンテカルロ・ドロップアウトを提案する。
• 参考スコア（独自算出の注目度）: 26.252083958846203
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose Orthogonal Monte Carlo Dropout, a mechanism that enforces strict orthogonality when combining sparse semantic vectors without extra time complexity. Low-Rank Adaptation (LoRA), a popular fine-tuning method for large models, typically trains a module to represent a specific concept such as an object or a style. When multiple LoRA modules are merged, for example to generate an object in a particular style, their outputs (semantic vectors) may interfere with each other. Our method guarantees that merged LoRA modules remain orthogonal and thus free from direct interference. However, empirical analysis reveals that such orthogonality does not lead to the semantic disentanglement highlighted in prior work on compositional adaptation. This finding suggests that inter-LoRA orthogonality alone may be insufficient for achieving true semantic compositionality, prompting a re-examination of its role in adapter merging.
• Abstract（参考訳）: 余分な時間的複雑さを伴わずにスパース意味ベクトルを組み合わせる際に厳密な直交を強制する機構であるオルソゴンモンテカルロ・ドロップアウトを提案する。 Low-Rank Adaptation (LoRA)は、大型モデルの一般的な微調整手法であり、通常、モジュールを訓練してオブジェクトやスタイルのような特定の概念を表現する。 複数のLoRAモジュールがマージされると、例えば特定のスタイルでオブジェクトを生成すると、その出力(意味ベクトル)が互いに干渉する可能性がある。 我々の手法は、LoRA加群が直交的であり、したがって直接干渉がないことを保証している。 しかし、経験的分析により、そのような直交性は、作曲適応に関する先行研究で強調された意味的不絡合に結びつくものではないことが明らかになった。 この発見は、ロラ間の直交性だけでは真の意味的構成性を達成するには不十分であり、アダプタマージにおけるその役割の再検討を促すことを示唆している。

関連論文リスト

• QR-LoRA: Efficient and Disentangled Fine-tuning via QR Decomposition for Customized Generation [52.024845354511555]
  構造化パラメータ更新にQR分解を利用する新しい微調整フレームワークであるQR-LoRAを提案する。 我々の重要な洞察は、Q行列が視覚的特徴間の干渉を自然に最小化することである。 QR-LoRAは、コンテンツスタイルの融合タスクにおいて、より優れた絡み合いを実現することを示す実験である。
  論文  参考訳（メタデータ） (2025-07-07T01:31:01Z)
• Decouple and Orthogonalize: A Data-Free Framework for LoRA Merging [18.650279202312614]
  分離直交メルジング手法(DO-Merging)を提案する。 パラメータを大きさと方向の成分に分離することにより、マージしたモデルの方向アライメントに対する大きさ差の影響を低減する。 我々は、視覚、言語、マルチモーダル領域にわたる広範な実験を通じて、提案したDO-Mergingは、既存のマージメソッドよりも、最小限のコストで大幅に高いパフォーマンスを達成することができることを検証した。
  論文  参考訳（メタデータ） (2025-05-21T16:34:37Z)
• Closed-form merging of parameter-efficient modules for Federated Continual Learning [9.940242741914748]
  一度に1つのLoRA行列をトレーニングする交代最適化戦略であるLoRMを導入する。 提案手法をFCIL(Federated Class-Incremental Learning)に適用する。 本手法は,さまざまなFCILシナリオにおける最先端性能を示す。
  論文  参考訳（メタデータ） (2024-10-23T15:30:13Z)
• Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
  Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。 本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-10T18:51:53Z)
• LoRA-Ensemble: Efficient Uncertainty Modelling for Self-Attention Networks [52.46420522934253]
  本稿では,自己注意ネットワークのためのパラメータ効率のよいアンサンブル手法であるLoRA-Ensembleを紹介する。 この方法は、BatchEnsembleのような最先端の暗黙のテクニックを上回るだけでなく、Explicit Ensembleの正確さにマッチするか超える。
  論文  参考訳（メタデータ） (2024-05-23T11:10:32Z)
• Self-Supervised Learning Disentangled Group Representation as Feature [82.07737719232972]
  既存の自己監督学習(SSL)は、回転や着色などの単純な拡張機能のみを分解することを示す。 反復的分割に基づく不変リスク最小化(IP-IRM)を提案する。 我々は、IP-IRMが完全に不整合表現に収束し、様々なベンチマークでその効果を示すことを証明した。
  論文  参考訳（メタデータ） (2021-10-28T16:12:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。