論文の概要: Collaborative Low-Rank Adaptation for Pre-Trained Vision Transformers

• arxiv url: http://arxiv.org/abs/2512.24603v1
• Date: Wed, 31 Dec 2025 03:46:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-01 23:27:28.560076
• Title: Collaborative Low-Rank Adaptation for Pre-Trained Vision Transformers
• Title（参考訳）: 事前学習型視覚変換器の協調的低ランク適応
• Authors: Zheng Liu, Jinchao Zhu, Gao Huang,
• Abstract要約: 低ランク適応(LoRA)は、様々な下流タスクのための微調整済みの視覚変換器において顕著な成功を収めた。 本稿では,協調低ランク適応(CLoRA)と呼ばれる新しいチューニング手法を提案する。
• 参考スコア（独自算出の注目度）: 24.09620027916443
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-rank adaptation (LoRA) has achieved remarkable success in fine-tuning pre-trained vision transformers for various downstream tasks. Existing studies mainly focus on exploring more parameter-efficient strategies or more effective representation learning schemes. However, these methods either sacrifice fine-tuning performance or introduce excessive trainable parameters, failing to strike a balance between learning performance and parameter efficiency. To address this problem, we propose a novel tuning method named collaborative low-rank adaptation (CLoRA) in this paper. CLoRA consists of base-space sharing and sample-agnostic diversity enhancement (SADE) components. To maintain parameter efficiency while expanding the learning capacity of low-rank modules (LRMs), base-space sharing allows all LRMs to share a set of down/up-projection spaces. In CLoRA, the low-rank matrices obtained from the shared spaces collaboratively construct each LRM. Since the representations extracted by these matrices may contain redundant information, SADE is employed to regularize the similarities among them to encourage diverse representations in the training process. We conduct extensive experiments on widely used image and point cloud datasets to evaluate the performance of CLoRA. Experimental results demonstrate that CLoRA strikes a better balance between learning performance and parameter efficiency, while requiring the fewest GFLOPs for point cloud analysis, compared with the state-of-the-art methods.
• Abstract（参考訳）: 低ランク適応(LoRA)は、様々な下流タスクのための微調整済みの視覚変換器において顕著な成功を収めた。 既存の研究は主に、よりパラメータ効率のよい戦略や、より効果的な表現学習手法を探究することに焦点を当てている。 しかし、これらの手法は微調整性能を犠牲にするか、過度に訓練可能なパラメータを導入し、学習性能とパラメータ効率のバランスを取れない。 そこで本稿では,協調型低ランク適応(CLoRA)と呼ばれる新しいチューニング手法を提案する。 CLoRAは、ベーススペース共有とサンプル非依存の多様性向上(SADE)コンポーネントで構成されている。 低ランクモジュール(LRM)の学習能力を拡大しながらパラメータ効率を維持するため、ベーススペースの共有により、全てのLDMがダウン/アップ・プロジェクション空間の集合を共有することができる。 CLoRA では、共有空間から得られる低ランク行列はそれぞれの LRM を協調的に構成する。 これらの行列によって抽出された表現は冗長な情報を含む可能性があるため、SADEはそれらの類似性を規則化し、トレーニングプロセスにおける多様な表現を促進するために使用される。 我々は、CLoRAの性能を評価するために、広く使われている画像および点クラウドデータセットに関する広範な実験を行う。 実験結果から, CLoRAは学習性能とパラメータ効率のバランスが良く, ポイントクラウド解析に最少のGFLOPを必要とすることがわかった。

関連論文リスト

• DoRAN: Stabilizing Weight-Decomposed Low-Rank Adaptation via Noise Injection and Auxiliary Networks [47.58150560549918]
  重み分解低ランク適応(DoRA)は,バニラ低ランク適応(LoRA)法の学習能力と訓練安定性の両方を改善することが示されている。 そこで本研究では,DoRAのトレーニングを安定化し,サンプル効率を向上させるため,新しいDoRAの派生型であるDoRANを提案する。
  論文  参考訳（メタデータ） (2025-10-05T19:27:48Z)
• EDoRA: Efficient Weight-Decomposed Low-Rank Adaptation via Singular Value Decomposition [2.5269004336032186]
  Efficient Weight-Decomposed Low-Rank Adaptation (EDoRA) は、事前学習した重量を大きさと方向の成分に分解する新しいPEFT法である。 EDoRAは、LoRAやDoRAのような最先端の手法と比較して、競争力や優れた性能を達成する。
  論文  参考訳（メタデータ） (2025-01-21T11:42:09Z)
• ASLoRA: Adaptive Sharing Low-Rank Adaptation Across Layers [37.77593687901923]
  ASLoRAはグローバル共有と部分適応共有を組み合わせた多層パラメータ共有戦略である。 我々は様々なNLPタスクの実験を行い、パラメータの25%未満を使用しながら、ASLoRAがLoRAより優れていることを示した。
  論文  参考訳（メタデータ） (2024-12-13T13:32:13Z)
• Replay-Free Continual Low-Rank Adaptation with Dynamic Memory [62.85596937435928]
  我々は、事前学習された視覚変換器(ViT)が、時間とともに新しい下流タスクを逐次微調整できる連続学習を再考する。 近年の研究では、CL技術とパラメータ効率の良い微調整の交差が強調されている。 DualLoRA (Dual Low-Rank Adaptation) と呼ばれる新しいPEFT-CL法を提案する。
  論文  参考訳（メタデータ） (2024-11-01T14:28:39Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• MELoRA: Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning [71.50432879573614]
  低ランク適応 (LoRA) は、適応過程が本質的に低次元であるという考えに基づいている。 我々は、より高階を維持しながらトレーニング可能なパラメータを少なくするミニアンサンブルな低ランクアダプタMELoRAを提案する。 実験結果から, 自然言語理解タスクの8倍のトレーニングパラメータ, 続くタスクの36倍のトレーニングパラメータが得られた。
  論文  参考訳（メタデータ） (2024-02-27T07:14:12Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。