論文の概要: SD-LoRA: Training-Time Structural Distillation into LoRA for Few-Shot Vision-Language Adaptation

• arxiv url: http://arxiv.org/abs/2611.07063v1
• Date: Wed, 04 Nov 2026 19:22:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.435285
• Title: SD-LoRA: Training-Time Structural Distillation into LoRA for Few-Shot Vision-Language Adaptation
• Title（参考訳）: SD-LoRA:Few-Shot Vision-Language AdaptationのためのLoRAへの学習時間構造蒸留
• Abstract要約: SD-LoRAは,訓練中のみトークンレベルのグラフ推論を用いる構造蒸留フレームワークである。 このグラフをテスト時に保持するのではなく、SD-LoRAは構造バイアスを共有CLIP-LoRAバックボーンに転送する。 その結果, トレーニング時間構造監視は精度と伝達信頼性を両立させることがわかった。
• 参考スコア（独自算出の注目度）: 8.464628798336483
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Few-shot adaptation of vision-language models must balance two competing goals: learning fine-grained visual distinctions from very limited supervision and preserving the efficiency that makes frozen CLIP-like models attractive for deployment. Existing lightweight adaptation methods, including prompt tuning, LoRA, and cache-based adapters, typically supervise global image embeddings and therefore underuse token-level structure. Conversely, structure-aware methods exploit local evidence but often introduce additional inference-time computation. We propose SD-LoRA, a structural distillation framework that uses token-level graph reasoning only during training and transfers its effects into a lightweight LoRA-adapted CLIP model. During training, a heterogeneous graph teacher models patch-patch, global-local, and visual-text relations over high-resolution ViT tokens. Rather than retaining this graph at test time, SD-LoRA transfers its structural bias into the shared CLIP-LoRA backbone through implicit distillation and Prototype Predictive Alignment, which aligns graph-conditioned representations with support-derived class prototypes. At inference, the graph teacher is discarded; prediction requires only a single CLIP-LoRA forward pass and a cache-based classifier. Across 11 few-shot benchmarks, SD-LoRA improves over a strong CLIP-LoRA baseline by 2.4/1.8/3.0/2.4/2.0 percentage points in the 1/2/4/8/16-shot settings, respectively, without additional graph computation at test time. Results on base-to-novel generalization, cross-dataset transfer, out-of-distribution robustness, and calibration further show that training-time structural supervision improves both accuracy and transfer reliability. Code is available at https://github.com/MR-Sherif/SD-LoRA.git.
• Abstract（参考訳）: 非常に限られた監督からきめ細かな視覚的区別を学習し、凍結したCLIPのようなモデルをデプロイに魅力的なものにする効率を維持する。 プロンプトチューニング、LoRA、キャッシュベースのアダプタなど、既存の軽量な適応手法は、一般的にグローバルなイメージ埋め込みを監督し、トークンレベルの構造を過小評価する。 逆に、構造認識手法は局所的なエビデンスを利用するが、しばしば追加の推論時間計算を導入する。 SD-LoRAは,訓練中のみトークンレベルのグラフ推論を用い,その効果を軽量なLoRA適応CLIPモデルに伝達する構造蒸留フレームワークである。 トレーニング中、異種グラフ教師は、高解像度のViTトークン上のパッチパッチパッチ、グローバルローカル、およびビジュアルテキスト関係をモデル化する。 このグラフをテスト時に保持する代わりに、SD-LoRAはその構造バイアスを暗黙の蒸留とPrototype Predictive Alignmentを通じて共有CLIP-LoRAバックボーンに転送する。 予測はCLIP-LoRAフォワードパスとキャッシュベースの分類器のみを必要とする。 11つの数ショットのベンチマークで、SD-LoRAは、テスト時にグラフ計算を追加することなく、1/2/4/8/16ショット設定で、強いCLIP-LoRAベースラインを2.4/1.8/3.0/2.4パーセンテージポイントで改善した。 ベース・ツー・ノーベルの一般化, クロス・データセット・トランスファー, アウト・オブ・ディストリビューション・ロバスト性, キャリブレーションの結果は, トレーニング時間構造監視が精度と伝達信頼性の両方を改善することを示している。 コードはhttps://github.com/MR-Sherif/SD-LoRA.gitで入手できる。

関連論文リスト

• Learning Rate Matters: Vanilla LoRA May Suffice for LLM Fine-tuning [48.66442009036754]
  Low-Rank Adaptation (LoRA)は、効率的な大規模言語モデルの微調整のための一般的なアプローチである。 本研究では,バニラ・ロラとともに4つの代表的ロラ変種を再評価する。 異なるLoRA手法が学習率の異なる範囲を好んでいることが判明した。
  論文  参考訳（メタデータ） (2026-02-04T19:36:20Z)
• Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA [50.97792275353563]
  単一低ランク適応 (LoRA) モジュールを分解可能な Rank-1 エキスパートプールとして再構成する,新しいフレームワークを提案する。 本手法では,このエキスパートプールから[Guided]トークンのセマンティクスに導かれて,疎結合でタスク固有の更新を動的に作成することを学ぶ。
  論文  参考訳（メタデータ） (2026-01-30T10:54:51Z)
• LoFA: Learning to Predict Personalized Priors for Fast Adaptation of Visual Generative Models [50.46815266062554]
  Low-Rank Adaptation (LoRA) は、タスク固有のデータと長い最適化の要求のため、実用的ではない。 高速モデル適応のためのパーソナライズされた事前情報を効率的に予測する汎用フレームワークであるLoFAを提案する。 提案手法は,複数のタスクやユーザプロンプトにまたがる,数秒以内の高品質なパーソナライズ前処理を常に予測し,処理時間を要する従来のLoRAよりも優れています。
  論文  参考訳（メタデータ） (2025-12-09T16:39:31Z)
• LoRAtorio: An intrinsic approach to LoRA Skill Composition [11.429106388558925]
  Low-Rank Adaptation (LoRA) はテキスト・画像拡散モデルにおいて広く採用されている手法である。 既存のアプローチでは、複数のLoRAアダプタを効果的に構成するのに苦労している。 ロラトリオ(Loratorio)は、マルチロラ合成のための新しいフリートレインフレームワークである。
  論文  参考訳（メタデータ） (2025-08-15T17:52:56Z)
• Make LoRA Great Again: Boosting LoRA with Adaptive Singular Values and Mixture-of-Experts Optimization Alignment [20.382810396966473]
  Low-Rank Adaptation (LoRA)は、Large Language Models (LLM) のためのパラメータ効率の良い微調整を可能にする 現在の手法は静的特異値分解サブセットを初期化することでLoRAを最適化し、事前学習された知識を最適に活用する。 我々はLunderlineoRunderlineA Mixture-of-Experunderlinet (GOAT)を提案する。 GOATはSVD構造化MoEを用いて関連する事前情報を統合し、理論スケーリング係数を導出して最適化を完全微調整MoEと整合させる
  論文  参考訳（メタデータ） (2025-02-24T06:48:13Z)
• SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。 既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。 クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)
• Unlocking Tuning-Free Few-Shot Adaptability in Visual Foundation Models by Recycling Pre-Tuned LoRAs [76.40876036912537]
  大規模言語モデル(LLM)は、微調整を必要とせず、強力な少数ショット適応性を示す。 現在のVisual Foundation Models (VFM) は十分なチューニングデータを持つ明示的な微調整を必要とする。 そこで我々は, メタ学習目的の多様なLoRAからメタLoRAを蒸留するフレームワークであるLoRA Recycleを提案する。
  論文  参考訳（メタデータ） (2024-12-03T07:25:30Z)
• Replay-Free Continual Low-Rank Adaptation with Dynamic Memory [62.85596937435928]
  我々は、事前学習された視覚変換器(ViT)が、時間とともに新しい下流タスクを逐次微調整できる連続学習を再考する。 近年の研究では、CL技術とパラメータ効率の良い微調整の交差が強調されている。 DualLoRA (Dual Low-Rank Adaptation) と呼ばれる新しいPEFT-CL法を提案する。
  論文  参考訳（メタデータ） (2024-11-01T14:28:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。