論文の概要: Matched-Learning-Rate Analysis of Attention Drift and Transfer Retention in Fine-Tuned CLIP

• arxiv url: http://arxiv.org/abs/2604.16410v1
• Date: Wed, 01 Apr 2026 06:35:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-04 02:32:13.972141
• Title: Matched-Learning-Rate Analysis of Attention Drift and Transfer Retention in Fine-Tuned CLIP
• Title（参考訳）: 微調整CLIPにおける注意ドリフトと伝達保持の一致学習率解析
• Abstract要約: 適応法と最適化法は,CLIPにおけるアテンションドリフトと転送保持を併用してどのようにスケールするかを検討する。 一致した学習率では、LoRAはFull FTよりもはるかにゼロショット転送を保っている。 ローラーラーレートのLoRAはドメイン内で不適合であるため、メソッドのみの平均はLoRAが競争力を持つようになると不明瞭になる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: CLIP adaptation can improve in-domain accuracy while degrading out-of-domain transfer, but comparisons between Full Fine-Tuning (Full FT) and LoRA are often confounded by different learning-rate conventions. We study how adaptation method and optimization scale jointly shape attention drift and transfer retention in CLIP using a controlled matched-learning-rate comparison of Full FT and LoRA. The completed matrix contains 80 runs on CLIP ViT-B/32 across EuroSAT and Oxford-IIIT Pets, spanning four shared learning rates ($10^{-6}$, $5{\times}10^{-6}$, $10^{-5}$, $5{\times}10^{-5}$) and five seeds, and evaluates attention-drift metrics, best validation accuracy, and adapter-aware CIFAR-100 zero-shot accuracy. Learning rate strongly modulates structural change: on EuroSAT, Full FT moves from mild entropy broadening at $10^{-6}$ to marked contraction at $5{\times}10^{-5}$, whereas LoRA remains entropy-positive across the full matched grid. At matched learning rates, LoRA preserves substantially more zero-shot transfer than Full FT, averaging $45.13\%$ versus $11.28\%$ CIFAR-100 accuracy on EuroSAT and $58.01\%$ versus $8.54\%$ on Pets. Oxford-IIIT Pets also reveals a regime effect: low-learning-rate LoRA underfits in-domain, so method-only averages can obscure when LoRA becomes competitive. Supporting rollout, patch-to-patch, and CKA analyses are directionally consistent with the controlled matrix. Overall, matched-learning-rate evaluation materially changes the interpretation of Full FT versus LoRA, and attention drift is most useful as a descriptive diagnostic of representation preservation rather than a causal explanation of transfer behavior.
• Abstract（参考訳）: CLIP適応はドメイン外転送を劣化させながらドメイン内精度を向上させることができるが、Full FT(Full Fine-Tuning)とLoRAの比較は、異なる学習率の規則でまとめられることが多い。 完全FTとLoRAの整合学習率比較を用いて,CLIPにおける適応法と最適化法が協調して注目のドリフトと伝達保持をスケールする方法について検討した。 完成した行列は、EuroSATとOxford-IIIT PetsのCLIP ViT-B/32上で80回の実行を含み、共有学習レート(10^{-6}$, $5{\times}10^{-6}$, 10^{-5}$, $5{\times}10^{-5}$)と5つのシードにまたがって、注意ドリフトメトリクス、最高の検証精度、アダプタ対応のCIFAR-100ゼロショット精度を評価する。 学習速度は構造変化を強く調節する: EuroSAT 上では、Full FT は温和なエントロピー展開から 5 {\times}10^{-5} で顕著な収縮へと移行するが、LoRA は完全な整合格子全体にわたってエントロピー陽性である。 一致した学習率では、LoRAはFull FTよりもはるかにゼロショット転送を保ち、平均45.13 % 対 $11.28 % 対 CIFAR-100 対 EuroSAT では 58.01 % 対 8.54 % 対 Pets では 58.01 である。 ローラーラーレートのLoRAはドメイン内で不適合であるため、メソッドのみの平均はLoRAが競争力を持つようになると不明瞭になる。 ロールアウト、パッチ・トゥ・パッチ、CKA解析のサポートは、制御された行列と方向整合性がある。 全体として、一致学習率の評価は全FTとLoRAの解釈を大きく変え、注目ドリフトは伝達行動の因果的説明よりも表現保存の記述的診断として最も有用である。

関連論文リスト

• LoRA-TSD: Tangent-Space Spectral Descent for LoRA via Muon-Style Updates [48.87937677659571]
  低ランク適応(LoRA)は、大型モデルを微調整する標準的な方法である。 固定ランク行列多様体に対してすべてのLoRAステップを接として扱うアダプタであるLoRA-TSDを導入する。 LoRA-Pro と LoRA-TSD の両方に対して最初のグローバル収束保証を与える。
  論文  参考訳（メタデータ） (2026-09-02T15:41:45Z)
• TaDA: Calibrated Probe Gating for Task-Domain LoRA Merging [6.356259006504384]
  タスクとドメインアダプタは変換器アーキテクチャ全体にわたって一貫した深さ依存性の非対称性を示す。 本稿では,この構造を利用したトレーニングフリーなアルゴリズムを提案する。 $textbfTaDA$は、推論オーバーヘッドがゼロの標準ランク-r$LoRAアダプタを生成する。
  論文  参考訳（メタデータ） (2026-06-03T15:39:37Z)
• FIM-LoRA: Task-Informative Rank Allocation for LoRA via Calibration-Time Gradient-Variance Estimation [0.0]
  低ランク適応(LoRA)は、全ての適応された重み行列に均一なランクを割り当てる。 各LoRA-B行列の勾配分散を層情報化の代用として計算し, 等級予算を比例的に再分配する。 結果として得られるアダプタは、層ごとのランクパターンを持つ標準のLoRAである。
  論文  参考訳（メタデータ） (2026-05-16T04:03:21Z)
• Adaptive Selection of LoRA Components in Privacy-Preserving Federated Learning [6.087223232267447]
  LoRAを用いた大規模モデルの微分プライベートな微調整は、LoRAの乗法構造に起因する凝集誤差に悩まされる。 3つの軸で定義される適応的フレームワークAS-LoRAを提案する(レイヤワイド自由度、ラウンドワイド適応度、曲率認識スコア)。 理論的には、AS-LoRAは階層化されたスケジュールの再構築エラーフロアを排除し、収束を加速し、よりフラットなミニマへのソリューションを暗黙的にバイアスし、追加のプライバシーコストを発生させない。
  論文  参考訳（メタデータ） (2026-05-07T07:01:00Z)
• Low-Rank Adaptation Reduces Catastrophic Forgetting in Sequential Transformer Encoder Fine-Tuning: Controlled Empirical Evidence and Frozen-Backbone Representation Probes [3.305265383862785]
  コンパニオン表現プローブを用いたシーケンシャルトランスフォーマーエンコーダにおけるローランド適応(LoRA)の実証的研究について述べる。 RTE->MRPC->CoLA->SST-2配列上の5つのフルバリデーションBERTベースでは、フル微調整の収率は19.9%+/-で、標準のLoRA(r、クエリ/バリューモジュール)は0.6%+/-1.4%である。
  論文  参考訳（メタデータ） (2026-03-29T14:14:36Z)
• Learning Rate Matters: Vanilla LoRA May Suffice for LLM Fine-tuning [48.66442009036754]
  Low-Rank Adaptation (LoRA)は、効率的な大規模言語モデルの微調整のための一般的なアプローチである。 本研究では,バニラ・ロラとともに4つの代表的ロラ変種を再評価する。 異なるLoRA手法が学習率の異なる範囲を好んでいることが判明した。
  論文  参考訳（メタデータ） (2026-02-04T19:36:20Z)
• Dr.LLM: Dynamic Layer Routing in LLMs [55.11953638340419]
  Dr.LLMは、事前訓練されたモデルに軽量な層ごとのルータを装備し、ブロックをスキップ、実行、繰り返すように決定する、適合性のあるフレームワークである。 ARC(logic)とDART(math)では、Dr.LLMは平均で5つのレイヤを保存しながら、最大3.4%の精度向上を実現している。
  論文  参考訳（メタデータ） (2025-10-14T17:51:26Z)
• Don't Forget the Nonlinearity: Unlocking Activation Functions in Efficient Fine-Tuning [82.16625951603315]
  NoRAは、固定活性化を学習可能な有理関数に置き換え、構造化された低ランク更新を数値化係数と分母係数に適用する。 CIFAR-10とCIFAR-100で訓練された視覚変換器では、NoRAはパラメータのわずか0.4%を更新しながら完全な微調整に適合または超過する。 NoRAは低次元機能部分空間への適応を制約し、暗黙的に更新の規模と方向を規則化する。
  論文  参考訳（メタデータ） (2025-09-16T16:47:03Z)
• S$^{2}$FT: Efficient, Scalable and Generalizable LLM Fine-tuning by Structured Sparsity [39.679861450783605]
  LLMのための構造化スパースファインチューニング(S$2$FT)手法のファミリーを提案する。 S$2$FTは、"スパースと密度の高い計算を選択"することでこれを達成します。 S$2$FTはトレーニングメモリを最大3$times$まで節約し、フルFTと比較して1.5-2.7$times$のレイテンシを改善することを示す。
  論文  参考訳（メタデータ） (2024-12-09T08:24:11Z)
• LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
  低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。 本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
  論文  参考訳（メタデータ） (2024-10-27T22:57:12Z)
• DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
  本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。 本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。 DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
  論文  参考訳（メタデータ） (2024-02-14T17:59:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。