論文の概要: Matched-Learning-Rate Analysis of Attention Drift and Transfer Retention in Fine-Tuned CLIP

• arxiv url: http://arxiv.org/abs/2604.16410v1
• Date: Wed, 01 Apr 2026 06:35:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-04 02:32:13.972141
• Title: Matched-Learning-Rate Analysis of Attention Drift and Transfer Retention in Fine-Tuned CLIP
• Title（参考訳）: 微調整CLIPにおける注意ドリフトと伝達保持の一致学習率解析
• Authors: Ruize Xia,
• Abstract要約: 適応法と最適化法は,CLIPにおけるアテンションドリフトと転送保持を併用してどのようにスケールするかを検討する。 一致した学習率では、LoRAはFull FTよりもはるかにゼロショット転送を保っている。 ローラーラーレートのLoRAはドメイン内で不適合であるため、メソッドのみの平均はLoRAが競争力を持つようになると不明瞭になる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: CLIP adaptation can improve in-domain accuracy while degrading out-of-domain transfer, but comparisons between Full Fine-Tuning (Full FT) and LoRA are often confounded by different learning-rate conventions. We study how adaptation method and optimization scale jointly shape attention drift and transfer retention in CLIP using a controlled matched-learning-rate comparison of Full FT and LoRA. The completed matrix contains 80 runs on CLIP ViT-B/32 across EuroSAT and Oxford-IIIT Pets, spanning four shared learning rates ($10^{-6}$, $5{\times}10^{-6}$, $10^{-5}$, $5{\times}10^{-5}$) and five seeds, and evaluates attention-drift metrics, best validation accuracy, and adapter-aware CIFAR-100 zero-shot accuracy. Learning rate strongly modulates structural change: on EuroSAT, Full FT moves from mild entropy broadening at $10^{-6}$ to marked contraction at $5{\times}10^{-5}$, whereas LoRA remains entropy-positive across the full matched grid. At matched learning rates, LoRA preserves substantially more zero-shot transfer than Full FT, averaging $45.13\%$ versus $11.28\%$ CIFAR-100 accuracy on EuroSAT and $58.01\%$ versus $8.54\%$ on Pets. Oxford-IIIT Pets also reveals a regime effect: low-learning-rate LoRA underfits in-domain, so method-only averages can obscure when LoRA becomes competitive. Supporting rollout, patch-to-patch, and CKA analyses are directionally consistent with the controlled matrix. Overall, matched-learning-rate evaluation materially changes the interpretation of Full FT versus LoRA, and attention drift is most useful as a descriptive diagnostic of representation preservation rather than a causal explanation of transfer behavior.
• Abstract（参考訳）: CLIP適応はドメイン外転送を劣化させながらドメイン内精度を向上させることができるが、Full FT(Full Fine-Tuning)とLoRAの比較は、異なる学習率の規則でまとめられることが多い。 完全FTとLoRAの整合学習率比較を用いて,CLIPにおける適応法と最適化法が協調して注目のドリフトと伝達保持をスケールする方法について検討した。 完成した行列は、EuroSATとOxford-IIIT PetsのCLIP ViT-B/32上で80回の実行を含み、共有学習レート(10^{-6}$, $5{\times}10^{-6}$, 10^{-5}$, $5{\times}10^{-5}$)と5つのシードにまたがって、注意ドリフトメトリクス、最高の検証精度、アダプタ対応のCIFAR-100ゼロショット精度を評価する。 学習速度は構造変化を強く調節する: EuroSAT 上では、Full FT は温和なエントロピー展開から 5 {\times}10^{-5} で顕著な収縮へと移行するが、LoRA は完全な整合格子全体にわたってエントロピー陽性である。 一致した学習率では、LoRAはFull FTよりもはるかにゼロショット転送を保ち、平均45.13 % 対 $11.28 % 対 CIFAR-100 対 EuroSAT では 58.01 % 対 8.54 % 対 Pets では 58.01 である。 ローラーラーレートのLoRAはドメイン内で不適合であるため、メソッドのみの平均はLoRAが競争力を持つようになると不明瞭になる。 ロールアウト、パッチ・トゥ・パッチ、CKA解析のサポートは、制御された行列と方向整合性がある。 全体として、一致学習率の評価は全FTとLoRAの解釈を大きく変え、注目ドリフトは伝達行動の因果的説明よりも表現保存の記述的診断として最も有用である。

関連論文リスト

• Low-Rank Adaptation Reduces Catastrophic Forgetting in Sequential Transformer Encoder Fine-Tuning: Controlled Empirical Evidence and Frozen-Backbone Representation Probes [3.305265383862785]
  コンパニオン表現プローブを用いたシーケンシャルトランスフォーマーエンコーダにおけるローランド適応(LoRA)の実証的研究について述べる。 RTE->MRPC->CoLA->SST-2配列上の5つのフルバリデーションBERTベースでは、フル微調整の収率は19.9%+/-で、標準のLoRA(r、クエリ/バリューモジュール)は0.6%+/-1.4%である。
  論文  参考訳（メタデータ） (2026-03-29T14:14:36Z)
• S$^{2}$FT: Efficient, Scalable and Generalizable LLM Fine-tuning by Structured Sparsity [39.679861450783605]
  LLMのための構造化スパースファインチューニング(S$2$FT)手法のファミリーを提案する。 S$2$FTは、"スパースと密度の高い計算を選択"することでこれを達成します。 S$2$FTはトレーニングメモリを最大3$times$まで節約し、フルFTと比較して1.5-2.7$times$のレイテンシを改善することを示す。
  論文  参考訳（メタデータ） (2024-12-09T08:24:11Z)
• LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
  低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。 本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
  論文  参考訳（メタデータ） (2024-10-27T22:57:12Z)
• DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
  本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。 本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。 DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
  論文  参考訳（メタデータ） (2024-02-14T17:59:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。