論文の概要: Pre-PEFT Probing: Weight Statistics and Perturbation Robustness for Layer Selection in VLM Vision Encoders

• arxiv url: http://arxiv.org/abs/2609.15229v1
• Date: Mon, 14 Sep 2026 08:49:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.196237
• Title: Pre-PEFT Probing: Weight Statistics and Perturbation Robustness for Layer Selection in VLM Vision Encoders
• Title（参考訳）: プレPEFT探索:VLMビジョンエンコーダにおける層選択のための重み統計と摂動ロバスト性
• Abstract要約: 本稿では,事前調整型探索手法を提案する。 PEFT (Efficient Fine-Tuning) 層選択 我々は一貫した相関関係を観察する: より大きな重みノルムとより高い条件数を持つ層は通常摂動に対してより堅牢である。
• 参考スコア（独自算出の注目度）: 5.462799081500865
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a pre-fine-tuning probing method for Parameter-Efficient Fine-Tuning (PEFT) layer selection, aiming to obtain more stable and higher gains with fewer trainable parameters when adapting large vision--language models (VLMs). Unlike the common practice of applying LoRA and other adapters to all layers at once---where layer selection often relies on heuristic rules---we focus on the vision encoder and directly evaluate the "adaptability'' of each Transformer layer. Specifically, we characterize each layer from two perspectives: (i) the statistical properties of its Q/K/V projection weights (e.g., norms and condition numbers); (ii) robustness under controlled parameter perturbations. We then systematically compare these indicators with the downstream performance gains brought by applying PEFT to a single layer. Across experiments covering seven benchmarks and five PEFT variants, we observe a consistent correlation: layers (or matrices) with larger weight norms and higher condition numbers are usually more robust to perturbations and are more likely to yield larger fine-tuning gains. These results show that distribution-statistics analysis and perturbation tests before fine-tuning can provide practical signals for adaptation-layer selection, thereby maintaining or improving performance while reducing trainable parameters.
• Abstract（参考訳）: 本稿では,大規模ビジョン言語モデル (VLM) を適用する際に,より安定かつ高いゲインを得るために,パラメータ効率の高いファインチューニング (PEFT) 層選択のための事前調整手法を提案する。一方,一度にすべての層にLoRAや他のアダプタを適用するという一般的な手法とは異なり,各トランスフォーマー層の「適応性」を直接評価する。 具体的には、各層を2つの観点から特徴づける。 (i)Q/K/V射影重量の統計的性質(例えば、ノルム、条件数) (ii)制御パラメータ摂動下での強靭性 次に,これらの指標を,単層にPEFTを適用することによって得られるダウンストリームの性能向上と体系的に比較する。 7つのベンチマークと5つのPEFTの変種を網羅した実験で、我々は一貫した相関関係を観察する: より大きい重みノルムとより高い条件数を持つ層(または行列)は通常、摂動に対してより堅牢であり、より大きな微調整利得をもたらす可能性が高い。 これらの結果から,微調整前の分布統計解析および摂動試験により,適応層選択のための実用的な信号が得られた。

関連論文リスト

• ScAle: Attention Head Scaling as a Minimal Adapter for Spatial Reasoning in Vision Language Models [33.01358619125075]
  我々は,スカラー係数の小さな集合を学習し,完全に凍結したバックボーン内の注意と活性化を調節する超軽量適応法ScAleを提案する。 提案手法は,LoRAなどの標準PEFT法のように,数百万のトレーニング可能なパラメータを必要とせずに,1Kのトレーニング可能なパラメータのみを用いて,最大134.1%の相対的精度向上を実現する。
  論文  参考訳（メタデータ） (2026-06-28T19:48:39Z)
• PEFT-Arena: Understanding Parameter-Efficient Finetuning from a Stability-Plasticity Perspective [52.693471818837395]
  PEFTは安定性・塑性ジレンマにより評価されるべきである。 本稿では,下流性能と一般能力の維持を計測するベンチマークPEFT-Arenaを紹介する。 そこで本研究では,パスワイド巻き戻しによるポストホック改善の事例研究を行った。
  論文  参考訳（メタデータ） (2026-05-27T17:59:51Z)
• Visual prompting reimagined: The power of the Activation Prompts [72.85146015928626]
  本稿では,入力レベルのVPの範囲を広げる,アクティベーションプロンプト(AP)の概念を導入する。 APは畳み込みニューラルネットワークと視覚変換器の正規化チューニングと密接に関連している。 畳み込みニューラルネットワークと視覚変換器の正規化チューニングとAPは密接に関連していることを示す。
  論文  参考訳（メタデータ） (2026-04-07T20:28:24Z)
• Understanding and Guiding Layer Placement in Parameter-Efficient Fine-Tuning of Large Language Models [19.448467763421707]
  大規模言語モデル(LLM)は成長を続けており、パラメータ効率の良い微調整が下流適応のデフォルト戦略となっている。 現在のプラクティスは一般的に、すべてのレイヤに対してPEFTを統一的に適用し、レイヤの選択を限定的に理解または活用する。 本稿では,凍結ベースモデル上でPEFTの統一的残差ビューを開発する。
  論文  参考訳（メタデータ） (2026-02-03T21:05:55Z)
• TS-PEFT: Token-Selective Parameter-Efficient Fine-Tuning with Learnable Threshold Gating [8.102270371993411]
  本稿では,関数 S が位置指標のサブセットにPEFT を選択的に適用する Token-Selective PEFT (TS-PEFT) という新しいパラダイムを提案する。 実験の結果,すべての指標に対するPEFTの非差別的適用は過剰であるだけでなく,非生産的である可能性が示唆された。
  論文  参考訳（メタデータ） (2025-11-20T08:41:20Z)
• Beyond Outliers: A Study of Optimizers Under Quantization [82.75879062804955]
  量子化下でのモデルロバスト性に対する選択の影響について検討する。 モデルの性能が、異なるベースラインでトレーニングした場合にどのように低下するかを評価する。 異なるパラメータによる量子化対応トレーニングのスケーリング法則を導出する。
  論文  参考訳（メタデータ） (2025-09-27T21:15:22Z)
• SeWA: Selective Weight Average via Probabilistic Masking [51.015724517293236]
  より良く、より高速な収束を達成するためには、ほんの数ポイントしか必要としないことを示す。 離散選択問題を連続的な部分集合最適化フレームワークに変換する。 両凸画像チェックポイントの値よりもシャープなSeWAの安定性境界を導出する。
  論文  参考訳（メタデータ） (2025-02-14T12:35:21Z)
• Vision-Language Model Fine-Tuning via Simple Parameter-Efficient Modification [46.25272949924458]
  VLMのパラメータの微調整は、CLIPモデルの微調整が性能を低下させるため、事前訓練された知識を損なうと考えられている。 ClipFitはCLIPを微調整する手法で、余分なパラメータのオーバーヘッドを発生させることなく提案する。 ClipFitが0ショットCLIPの性能を平均調和平均精度7.27%向上できることを実証した。
  論文  参考訳（メタデータ） (2024-09-25T08:07:18Z)
• WeGeFT: Weight-Generative Fine-Tuning for Multi-Faceted Efficient Adaptation of Large Models [8.481707805559589]
  WeGeFT(Weight-Generative Fine-Tuning)は、トレーニング済みの重みから直接微調整重みを生成することを学習する新しい手法である。 この設計は、パラメータ、表現、計算、メモリの多面的効率を実現し、LoRAとその変種の性能を維持したり、超えたりしている。
  論文  参考訳（メタデータ） (2023-12-01T16:33:57Z)
• Strong Baselines for Parameter Efficient Few-Shot Fine-tuning [50.83426196335385]
  FSC (Few-shot Classification) は、事前訓練(メタトレーニング)フェーズの後にクラス毎にいくつかの例を与えられた新しいクラスを学習する。 近年の研究では、新しいテストクラスで事前訓練された視覚変換器(ViT)を微調整することが、FSCにとって強力なアプローチであることが示されている。 しかし、微調整のViTは、時間、計算、ストレージに費用がかかる。 これにより、Transformerのパラメータのごく一部だけを微調整するPEFT法が考案された。
  論文  参考訳（メタデータ） (2023-04-04T16:14:39Z)
• Improving Covariance Conditioning of the SVD Meta-layer by Orthogonality [65.67315418971688]
  最寄り直交勾配(NOG)と最適学習率(OLR)を提案する。 視覚認識実験は,共分散条件と一般化を同時に改善できることを実証した。
  論文  参考訳（メタデータ） (2022-07-05T15:39:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。