論文の概要: Not All Directions Matter: Toward Structured and Task-Aware Low-Rank Adaptation

• arxiv url: http://arxiv.org/abs/2603.14228v1
• Date: Sun, 15 Mar 2026 05:16:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:35.686384
• Title: Not All Directions Matter: Toward Structured and Task-Aware Low-Rank Adaptation
• Title（参考訳）: すべての方向が重要でない:構造化とタスク対応の低ランク適応に向けて
• Authors: Xi Xiao, Chenrui Ma, Yunbei Zhang, Chen Liu, Zhuxuanzi Wang, Yanshu Li, Lin Zhao, Guosheng Hu, Tianyang Wang, Hao Xu,
• Abstract要約: 低ランク適応(LoRA)はパラメータ効率微調整(PEFT)の基盤となっている 我々は、原則付きデュアルコンポーネント設計により、両方の制限に対処するフレームワークであるStructLoRAを提案する。
• 参考スコア（独自算出の注目度）: 36.50260265342062
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Low-Rank Adaptation (LoRA) has become a cornerstone of parameter-efficient fine-tuning (PEFT). Yet, its efficacy is hampered by two fundamental limitations: semantic drift, by treating all update directions with equal importance, and structural incoherence, from adapting layers independently, resulting in suboptimal, uncoordinated updates. To remedy these, we propose StructLoRA, a framework that addresses both limitations through a principled, dual-component design: (1) an Information Bottleneck-guided filter that prunes task-irrelevant directions to mitigate semantic drift, and (2) a lightweight, training-only graph-based coordinator that enforces inter-layer consistency to resolve structural incoherence. Extensive experiments across large language model , vision language model, and vision model (including LLaMA, LLaVA, and ViT) demonstrate that StructLoRA consistently establishes a new state-of-the-art, outperforming not only vanilla LoRA but also advanced dynamic rank allocation and sparsity-based methods. Notably, the benefits are particularly pronounced in challenging low-rank and low-data regimes. Crucially, since our proposed modules operate only during training, StructLoRA enhances performance with zero additional inference cost, advancing the focus of PEFT -- from mere parameter compression to a more holistic optimization of information quality and structural integrity.
• Abstract（参考訳）: 低ランク適応(LoRA)はパラメータ効率細調整(PEFT)の基盤となっている。 しかし、その効果はセマンティックドリフト(セマンティックドリフト)という2つの基本的な限界によって妨げられ、全ての更新方向を同じ重要性で扱い、構造的不整合は層を独立に適応させることから、最適で非協調的な更新をもたらす。 そこで本研究では,(1)意味的ドリフトを軽減するためにタスク非関連な方向を示すインフォメーション・ボトルネック誘導フィルタと,(2)構造的不整合を解決するために層間一貫性を強制する軽量なトレーニング専用グラフベースコーディネータであるStructLoRAを提案する。 大規模な言語モデル、視覚言語モデル、視覚モデル(LLaMA、LLaVA、ViTを含む)にわたる広範な実験により、StructLoRAは一貫して新しい最先端の技術を確立しており、バニラLoRAだけでなく、高度な動的ランクアロケーションやスペーサリティベースの手法も優れている。 特に、このメリットは、低ランクと低データの体制に挑戦する上で特に顕著です。 重要なことは、提案するモジュールはトレーニング中のみ動作するため、StructLoRAは、単にパラメータ圧縮から情報品質と構造整合性のより総合的な最適化に至るまで、PEFTの焦点を、追加の推論コストゼロで向上させる。

関連論文リスト

• Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA [50.97792275353563]
  単一低ランク適応 (LoRA) モジュールを分解可能な Rank-1 エキスパートプールとして再構成する,新しいフレームワークを提案する。 本手法では,このエキスパートプールから[Guided]トークンのセマンティクスに導かれて,疎結合でタスク固有の更新を動的に作成することを学ぶ。
  論文  参考訳（メタデータ） (2026-01-30T10:54:51Z)
• Exploring Sparse Adapters for Scalable Merging of Parameter Efficient Experts [72.22148263683037]
  ニューラルネットワークの重みのサブセットのみをトレーニングするスパースアダプタの特性をモジュラーアーキテクチャの潜在的な構成要素として検討する。 まず,本論文の既存の手法よりも概念的にシンプルである,効果的なスパースアダプタの訓練方法を提案する。 次に,これらのスパースアダプタのマージ特性について,最大20の自然言語処理タスクに対して,アダプタをマージすることで検討する。
  論文  参考訳（メタデータ） (2025-07-09T03:25:45Z)
• SkipGPT: Dynamic Layer Pruning Reinvented with Token Awareness and Module Decoupling [16.742839354514512]
  我々は,大規模言語モデルを最適化する動的層プルーニングフレームワークであるSkipGPTを紹介する。 また,SkipGPTはモデルパラメータの40%以上を削減できることを示す。
  論文  参考訳（メタデータ） (2025-06-04T17:26:31Z)
• Weight Spectra Induced Efficient Model Adaptation [54.8615621415845]
  微調整された大規模な基礎モデルは、計算コストを禁ずる。 微調整が最上位特異値を大きく増幅する一方で,残りはほとんど無傷であることを示す。 本稿では,トップ特異方向の学習可能な再スケーリングを利用する新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-05-29T05:03:29Z)
• Make LoRA Great Again: Boosting LoRA with Adaptive Singular Values and Mixture-of-Experts Optimization Alignment [20.382810396966473]
  Low-Rank Adaptation (LoRA)は、Large Language Models (LLM) のためのパラメータ効率の良い微調整を可能にする 現在の手法は静的特異値分解サブセットを初期化することでLoRAを最適化し、事前学習された知識を最適に活用する。 我々はLunderlineoRunderlineA Mixture-of-Experunderlinet (GOAT)を提案する。 GOATはSVD構造化MoEを用いて関連する事前情報を統合し、理論スケーリング係数を導出して最適化を完全微調整MoEと整合させる
  論文  参考訳（メタデータ） (2025-02-24T06:48:13Z)
• LoRA-IR: Taming Low-Rank Experts for Efficient All-in-One Image Restoration [62.3751291442432]
  高速なオールインワン画像復元を実現するために,コンパクトな低ランクの専門家を動的に活用する,フレキシブルなフレームワークであるLoRA-IRを提案する。 LoRA-IRは、劣化誘導前訓練とパラメータ効率の良い微調整の2つの訓練段階で構成されている。 実験により、LoRA-IRは計算効率を維持しつつ、14のIRタスクと29のベンチマークでSOTA性能を達成することが示された。
  論文  参考訳（メタデータ） (2024-10-20T13:00:24Z)
• PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
  我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。 8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
  論文  参考訳（メタデータ） (2024-01-20T20:25:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。