論文の概要: PermDoRA -- Understanding Adapter Interference in Language Models: Limits of Parameter-Space Geometry
- arxiv url: http://arxiv.org/abs/2606.11262v1
- Date: Tue, 09 Jun 2026 02:52:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-11 16:42:38.092316
- Title: PermDoRA -- Understanding Adapter Interference in Language Models: Limits of Parameter-Space Geometry
- Title（参考訳）: PermDoRA -- 言語モデルにおけるアダプタ干渉を理解する:パラメータ空間幾何学の限界
- Abstract要約: 一般的な仮説は、アダプタ構成中の干渉は線形パラメータ更新の重なりから生じるというものである。
重み分解低ランク適応に基づく階層型アダプタ構成フレームワークであるDoRA-RBACを用いて,この仮説を検証した。
その結果、単一ドメインの性能はLoRAと一致しているが、幾何認識のマージは、マルチドメイン設定における標準平均化よりも一貫した優位性は得られないことがわかった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Access control in large language models (LLMs) requires modular mechanisms to enable domain-specific behavior without retraining or cross-domain interference. A common hypothesis is that interference during adapter composition arises from overlap in linear parameter updates, suggesting that enforcing orthogonality or directional independence should improve multi-domain performance. We test this hypothesis using DoRA-RBAC, a hierarchical adapter composition framework based on weight-decomposed low-rank adaptation. We compare conventional Euclidean merging with a geometry-aware Riemannian-inspired merging strategy that approximates the Frechet mean via normalized directional averaging across multiple QA benchmarks (GPQA, PubMedQA, SimpleQA, WMDP) on LLaMA-3.1-8B and Mistral-7B. Our results show that while single-domain performance matches LoRA, geometry-aware merging provides no consistent advantage over standard averaging in multi-domain settings.Diagnostic analysis further reveals that angular alignment and orthogonality of adapter updates are weak predictors of composition performance. These findings suggest that adapter interference is not governed primarily by parameter-space geometry, but is instead consistent with interactions in shared nonlinear representations.
- Abstract（参考訳）: 大規模言語モデル(LLM)におけるアクセス制御は、再トレーニングやドメイン間の干渉なしにドメイン固有の動作を可能にするモジュール機構を必要とする。
一般的な仮説は、アダプタ構成中の干渉は線形パラメータ更新の重なりから発生し、直交性や指向性独立を強制することでマルチドメイン性能が向上する、というものである。
重み分解低ランク適応に基づく階層型アダプタ構成フレームワークであるDoRA-RBACを用いて,この仮説を検証した。
LLaMA-3.1-8B および Mistral-7B 上の複数の QA ベンチマーク (GPQA, PubMedQA, SimpleQA, WMDP) にまたがる正規化方向平均化によりフレシェ平均を近似する幾何学的リーマン型マージ戦略と従来のユークリッドマージを比較した。
その結果、単一ドメインの性能はLoRAと一致するが、幾何認識のマージは、マルチドメイン設定における標準平均よりも一貫した優位性を持たず、さらに診断学的解析により、アダプタ更新の角方向のアライメントと直交性が、構成性能の弱い予測因子であることを明らかにした。
これらの結果は、アダプタ干渉は主にパラメータ空間幾何学によって制御されるのではなく、共有非線形表現における相互作用と一致することを示唆している。
関連論文リスト
- Multimodal Foundation Models Adaptation based on Domain-Aware Relaxed Orthogonal Subspace for Remote Sensing [16.45880716714667]
Domain-Aware Relaxed Orthogonal Subspace adaptation (DROS)
DROSはデータ条件付きサブスペース学習と柔軟なサブスペース適応として低ランク適応を再構成する。
複数のリモートセンシングベンチマークの実験は、DROSが最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2026-09-12T02:19:11Z) - SeGDeP: Semantic- and Geometric-Aware Decoupled Prompts for Reasoning Segmentation [51.46828526392219]
推論セグメンテーションは暗黙の言語学的結論を正確なマスクに変換する。
既存のMLLMセグメンタインタフェースでは、特別なトリガーを使用するか、両方の信号を1つのコンテキストに圧縮する。
明示的なWhat-whereインターフェースであるSeGDePを提示する。
論文 参考訳（メタデータ） (2026-09-08T15:11:32Z) - Shift-Dependent Asymmetry: Orthogonal Inverse Low-Rank Adaptation for Federated Medical Segmentation [60.41721951405564]
Low-Rank Adaptation (LoRA)は、医療画像のためのセグメンテーション基盤モデルの効率的なフェデレーション微調整を可能にする。
ほとんどの連合LoRA法は、医学的セグメンテーションにおいてエンコーダ-デコーダ非対称性の下で破れる一様アグリゲーション規則を採用している。
このミスマッチの絡み合いは、サイト固有のバイアスと解剖を共有し、一般化を損なう。
本稿では,効率的な更新空間における共有局所コリニアリティを罰する部分空間直交正規化器を提案する。
論文 参考訳（メタデータ） (2026-06-07T15:39:28Z) - Beyond Point-Wise Matching: Structural Representation Alignment for Accelerating Diffusion Transformers [93.3976834364707]
本稿では,特徴写像のリレーショナル幾何における整合性を実現する構造的RePresentation AlignmentフレームワークであるsREPAを提案する。
モデルが事前訓練された特徴から全体的空間配置と構造的相関を内包するように促すことにより、sREPAはより高速でより安定した収束を達成する。
論文 参考訳（メタデータ） (2026-05-16T12:01:04Z) - Calibrated Adaptation: Bayesian Stiefel Manifold Priors for Reliable Parameter-Efficient Fine-Tuning [6.908972852063454]
ベイズ的PEFTフレームワークであるStiefel-Bayes Adapters (SBA) を導入し、Stiefel 多様体 $St$ 上の正規直交適応因子よりも先に Matrix Langevin を配置する。
そこで,SBA は LoRA と DoRA に匹敵するタスク性能を達成し,予測誤差を 18 ～ 34% 削減した。
我々の結果は、不確実性を正しい幾何学的構造の上に置くことは、単にアダプタにベイズ処理を加えることよりも重要であることを証明している。
論文 参考訳（メタデータ） (2026-02-19T20:17:54Z) - Learning Where It Matters: Geometric Anchoring for Robust Preference Alignment [6.428964221372943]
本稿では,固定参照を動的な幾何学的アンカーに置き換えたGeometric Anchor Preference Optimization (GAPO)を提案する。
GAPOは標準のLCMアライメントと推論ベンチマークのパフォーマンスをマッチングまたは改善しながら、ロバストさを一貫して改善する。
論文 参考訳（メタデータ） (2026-02-04T00:40:21Z) - Rethinking Inter-LoRA Orthogonality in Adapter Merging: Insights from Orthogonal Monte Carlo Dropout [26.252083958846203]
Low-Rank Adaptation (LoRA)は、大型モデルの一般的な微調整手法であり、通常、モジュールを訓練してオブジェクトやスタイルのような特定の概念を表現する。
余分な時間的複雑さを伴わずにスパース意味ベクトルを組み合わせる際に厳密な直交を強制する機構であるオルソゴンモンテカルロ・ドロップアウトを提案する。
論文 参考訳（メタデータ） (2025-09-26T18:44:03Z) - GeoAda: Efficiently Finetune Geometric Diffusion Models with Equivariant Adapters [61.51810815162003]
制御された生成タスクに対してフレキシブルかつパラメータ効率の良い微調整を可能にするSE(3)-equivariant Adapter framework(GeoAda)を提案する。
GeoAdaは、過剰適合と破滅的な忘れを緩和しながら、モデルの幾何的一貫性を保っている。
我々は、フレーム制御、グローバル制御、サブグラフ制御、広範囲のアプリケーションドメインを含む多様な幾何学的制御タイプにまたがるGeoAdaの適用性を実証する。
論文 参考訳（メタデータ） (2025-07-02T18:44:03Z) - PAID: Pairwise Angular-Invariant Decomposition for Continual Test-Time Adaptation [70.98107766265636]
本稿では,事前学習した重みの幾何学的特性を出発点として,3つの重要な成分(等級,絶対角,対角構造)を体系的に解析する。
両角構造は多種多様なドメインにわたって安定であり, ドメイン不変な意味情報を符号化し, 適応中に保存すべきことを示唆する。
論文 参考訳（メタデータ） (2025-06-03T05:18:15Z) - Incorporating Arbitrary Matrix Group Equivariance into KANs [69.30866522377694]
Kolmogorov-Arnold Networks (KAN) は科学分野で大きな成功を収めている。
本研究では,Equivariant Kolmogorov-Arnold Networks (EKAN)を提案する。
論文 参考訳（メタデータ） (2024-10-01T06:34:58Z) - Generalizability of Mixture of Domain-Specific Adapters from the Lens of Signed Weight Directions and its Application to Effective Model Pruning [9.250758784663411]
ドメイン固有のアダプタ混合物のドメイン内評価における一般化可能性について検討する。
また,その重みを解析することにより,ドメイン固有アダプタの内部構造についても検討する。
論文 参考訳（メタデータ） (2024-02-16T12:39:10Z) - Adaptive Spot-Guided Transformer for Consistent Local Feature Matching [64.30749838423922]
局所的特徴マッチングのための適応スポットガイド変換器(ASTR)を提案する。
ASTRは、統一された粗いアーキテクチャにおける局所的な一貫性とスケールのバリエーションをモデル化する。
論文 参考訳（メタデータ） (2023-03-29T12:28:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。