論文の概要: ScAle: Attention Head Scaling as a Minimal Adapter for Spatial Reasoning in Vision Language Models

• arxiv url: http://arxiv.org/abs/2606.29579v1
• Date: Sun, 28 Jun 2026 19:48:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.974914
• Title: ScAle: Attention Head Scaling as a Minimal Adapter for Spatial Reasoning in Vision Language Models
• Title（参考訳）: ScAle:視覚言語モデルにおける空間推論のための最小適応型アテンションヘッドスケーリング
• Abstract要約: 我々は,スカラー係数の小さな集合を学習し,完全に凍結したバックボーン内の注意と活性化を調節する超軽量適応法ScAleを提案する。 提案手法は,LoRAなどの標準PEFT法のように,数百万のトレーニング可能なパラメータを必要とせずに,1Kのトレーニング可能なパラメータのみを用いて,最大134.1%の相対的精度向上を実現する。
• 参考スコア（独自算出の注目度）: 33.01358619125075
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Spatial reasoning remains a persistent challenge for many vision language models (VLMs), and improving it typically requires fine-tuning with substantial additional parameters. Our preliminary analysis reveals that rescaling activations in selected transformer layers-without modifying pretrained weights-can significantly influence downstream performance. Motivated by this observation, we propose ScAle, an ultra-lightweight adaptation method that learns a small set of scalar coefficients to modulate last-token attention and MLP activations in a fully frozen backbone. We evaluate our method on the synthetic spatial reasoning benchmark SpatialEval and on real-world VQA datasets (COCOQA and VGQA) across multiple model families. Our method, ScAle, achieves up to 134.1% relative accuracy gains using only 1K trainable parameters without requiring millions of trainable parameters as in standard PEFT methods such as LoRA. Despite its extreme compactness, our approach recovers a substantial fraction of standard PEFT performance while preserving strong non-spatial VQA accuracy. These results demonstrate that bounded activation reweighting provides a simple, architecture-agnostic, and highly parameter-efficient alternative for adapting pretrained VLMs.
• Abstract（参考訳）: 空間推論は、多くの視覚言語モデル(VLM)にとって永続的な課題であり、それを改善するには、通常、かなりのパラメータを追加して微調整が必要である。 予備解析の結果, 予めトレーニングした重みを変更することなく, 変圧器層内の再スケーリング活性化が下流性能に著しく影響を及ぼすことが明らかとなった。 この観測によって得られたScAleは,スカラー係数の小さな集合を学習して,完全に凍結したバックボーンにおける最後の注意とMLPの活性化を変調する超軽量適応法である。 合成空間推論ベンチマークSpatialEvalと実世界のVQAデータセット(COCOQAとVGQA)を複数モデルで比較検討した。 提案手法であるScAleは,LoRAなどの標準PEFT法のように,トレーニング可能なパラメータを数百万個必要とせずに,トレーニング可能なパラメータを1Kで最大134.1%取得する。 極端にコンパクトであるにもかかわらず,本手法では,強い非空間的VQA精度を維持しながら,PEFT性能のかなりの部分の回復を図っている。 これらの結果は、有界活性化再重み付けが、事前訓練されたVLMに適応するための単純で、アーキテクチャに依存しない、パラメータ効率の高い代替手段を提供することを示した。

関連論文リスト

• TLoRA+: A Low-Rank Parameter-Efficient Fine-Tuning Method for Large Language Models [4.092357804635167]
  本稿では,TLoRA+を事前学習モデルの重み行列に組み込む新しいPEFT法を提案する。 提案手法は,低ランク適応の効率を保ちながら,計算コストを大幅に増大させることなく性能を向上させる。
  論文  参考訳（メタデータ） (2026-04-15T00:30:57Z)
• Benchmarking Few-shot Transferability of Pre-trained Models with Improved Evaluation Protocols [123.73663884421272]
  より強力な事前訓練モデルと改良された適応アルゴリズムによって、わずかなショット転送が革新されている。 FEWTRANSは10種類のデータセットを含む総合的なベンチマークである。 FEWTRANS をリリースすることにより,数発の転写学習研究において再現性の向上を合理化するための厳密な "ルーラー" の提供を目指す。
  論文  参考訳（メタデータ） (2026-02-28T05:41:57Z)
• High-Rank Structured Modulation for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 textbfStructured textbfMOdulation textbfAdapterは、より高いランクを維持しながらトレーニング可能なパラメータを少なくする。
  論文  参考訳（メタデータ） (2026-01-12T13:06:17Z)
• FIESTA: Fisher Information-based Efficient Selective Test-time Adaptation [2.876586838098149]
  本稿では,最も重要なモデルパラメータのみを動的に識別・更新するフィッシャー駆動選択的適応フレームワークを提案する。 AffWild2ベンチマークの実験は、我々のアプローチが既存のTTAメソッドを大幅に上回っていることを示している。 提案手法は認識精度を向上するだけでなく、計算オーバーヘッドを大幅に削減し、実世界の感情コンピューティングアプリケーションにおいてテスト時間適応をより実用的なものにする。
  論文  参考訳（メタデータ） (2025-03-29T23:56:32Z)
• SALT: Parameter-Efficient Fine-Tuning via Singular Value Adaptation with Low-Rank Transformation [6.267971370719281]
  大きな基礎モデルはかなりの柔軟性を提供するが、これらのモデルを微調整するコストは依然として大きな障壁である。 トレーニング可能なスケールとシフトパラメータを用いて,最も影響力のある特異値を選択的に適応するSALTを提案する。 このハイブリッドアプローチはLoRAとSVDの両方の利点を活用し、モデルのサイズや深さを増すことなく効果的な適応を可能にする。
  論文  参考訳（メタデータ） (2025-03-20T11:42:41Z)
• Refining Salience-Aware Sparse Fine-Tuning Strategies for Language Models [14.68920095399595]
  SPEFT(Sparsity-based PEFT)は、モデルの重み行列にトレーニング可能なスパース適応を導入する。 我々は、ゼロコストNASプロキシにインスパイアされたSPEFTのサリエンス指標を初めて体系的に評価した。 静的マスキング戦略と動的マスキング戦略を比較し、トレーニング前にゼロでないエントリを事前に決定する静的マスキングが、パフォーマンスを犠牲にすることなく効率を向上することを示した。
  論文  参考訳（メタデータ） (2024-12-18T04:14:35Z)
• FineGates: LLMs Finetuning with Compression using Stochastic Gates [7.093692674858257]
  大規模言語モデル(LLM)は、高い計算要求のため、完全な微調整に重大な課題をもたらす。 低ランクのアダプタ層を学習するなど、軽量なファインタニング技術が提案されている。 本稿では,フリーズベースモデルとタスク固有適応を同時に分散するゲートに基づくアダプタモデルを提案する。
  論文  参考訳（メタデータ） (2024-12-17T14:33:05Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
  本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。 本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。 本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
  論文  参考訳（メタデータ） (2024-09-10T16:44:47Z)
• ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections [59.839926875976225]
  本稿では,HypErplane Reflectionsによる高効率微調整を行うETHER変換ファミリを提案する。 特に,既存のPEFT法と極めて少ないパラメータで一致または性能を向上するEtheRと緩和ETHER+を導入する。
  論文  参考訳（メタデータ） (2024-05-30T17:26:02Z)
• Towards Efficient Vision-Language Tuning: More Information Density, More Generalizability [73.34532767873785]
  本稿では,行列が特定の特徴空間に強く属しているかを示すために,情報密度(ID)の概念を提案する。 Dense Information Prompt (DIP)を導入し、情報密度を高め、一般化を改善する。 DIPは、調整可能なパラメータの数と必要なストレージスペースを大幅に減らし、リソース制約のある設定で特に有利になる。
  論文  参考訳（メタデータ） (2023-12-17T20:42:43Z)
• Parameter and Computation Efficient Transfer Learning for Vision-Language Pre-trained Models [79.34513906324727]
  本稿では,視覚言語事前学習モデルのためのパラメータと効率的な伝達学習(PCETL)を提案する。 そこで本研究では,新しい動的アーキテクチャスキップ(DAS)アプローチを効果的PCETLに適用する。
  論文  参考訳（メタデータ） (2023-09-04T09:34:33Z)
• LoRAPrune: Structured Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning [56.88751562302793]
  低ランク適応 (LoRA) が大型言語モデル (LLM) に登場した。 LoRAPruneは、高度にメモリ効率の良い正確な構造化プルーンドモデルを提供する新しいフレームワークである。 LoRAPruneはWikiText2では4.81、TBでは3.46、メモリ使用量は52.6%減少している。
  論文  参考訳（メタデータ） (2023-05-28T15:15:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。