論文の概要: Efficient PEFT Methods with Adaptive Checkpointing for Vision Models and VLMs on Resource Constrained Consumer-GPUs

• arxiv url: http://arxiv.org/abs/2607.02158v1
• Date: Thu, 02 Jul 2026 13:31:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-03 19:45:08.855636
• Title: Efficient PEFT Methods with Adaptive Checkpointing for Vision Models and VLMs on Resource Constrained Consumer-GPUs
• Title（参考訳）: 資源制約付きGPUにおける視覚モデルとVLMの適応チェックポイントを用いたPEFT法
• Authors: Altay Toktassyn, Jurn-Gyu Park,
• Abstract要約: 本稿では,Transformers- (ViT-Small, TinyViT) と Mamba-based vision backbones (Vim-Small, MambaVision-T) の5つのパラメータ効率細調整法を比較した。 ゼロショットコントラスト型視覚言語モデル(OpenCLIP, SigLIP)、軽量評価プロトコルを用いた自己監督型視覚バックボーン(DINOv2)、プロンプトベース分類のための自己回帰型VLM(PaliGemma, MobileVLM, SmolVLM)の3つのファミリーを評価した。 CIFAR-100とDTDの実験
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern pretrained vision models achieve strong accuracy but demand substantial GPU memory for fine-tuning, making edge deployment impractical. This paper compares five parameter-efficient fine-tuning (PEFT) methods (Full FT, LoRA, AdaLoRA, QLoRA, BitFit) on Transformers- (ViT-Small, TinyViT) and Mamba-based vision backbones (Vim-Small, MambaVision-T) under an on-device VRAM budget (e.g., 2 GB), together with three gradient-checkpointing strategies (none, static, and a proposed memory-budget-aware adaptive algorithm); and we evaluate three families of foundation-model baselines: zero-shot contrastive vision language models (OpenCLIP, SigLIP), self-supervised vision backbones with lightweight evaluation protocols (DINOv2), and autoregressive VLMs for prompt-based classification (PaliGemma, MobileVLM, SmolVLM). Experiments on CIFAR-100 and DTD report accuracy, training time, energy, and the NetScore family of multi-objective metrics, which we extend with two deployment-aware variants. QLoRA and BitFit cut energy 20-30% at a 1-2% accuracy cost; the adaptive algorithm reduces peak memory 43-79% with 9-30% energy overhead. DINOv2 surpasses fine-tuned models on CIFAR-100 (0.917 vs. 0.897) at a fraction of the energy, while small autoregressive VLMs remain uncompetitive.
• Abstract（参考訳）: 現代の事前訓練されたビジョンモデルは、高い精度を達成するが、微調整のために相当なGPUメモリを必要とするため、エッジデプロイメントは現実的ではない。 本稿では,トランスフォーマ- (ViT-Small, TinyViT) と Mamba-based vision backbones (Vim-Small, MambaVision-T) をオンデバイスVRAM予算 (e g , 2 GB) で比較し,3つの勾配検定戦略 (none, static, and a proposed memory-budget-aware adapt algorithm) を併用し,ゼロショットコントラスト視覚言語モデル (OpenCLIP, SLIP), 軽量プロトコル (DINOv2, VLM, VLM, VLM, SLM, SLM) による自己教師型視覚バックボーン (Vim-Small, MambaVision-T) をベースとした。 CIFAR-100とDTDの実験では、精度、トレーニング時間、エネルギー、およびNetScoreファミリーの多目的メトリクスが報告されている。 QLoRAとBitFitは1-2%の精度で20-30%のエネルギーを削減し、適応アルゴリズムはピークメモリ43-79%を9-30%のエネルギーオーバーヘッドで削減する。 DINOv2 は CIFAR-100 (0.917 vs. 0.897) の微調整モデルを上回るエネルギーを消費するが、小さな自己回帰型 VLM は競争力のないままである。

関連論文リスト

• DrivePI: Spatial-aware 4D MLLM for Unified Autonomous Driving Understanding, Perception, Prediction and Planning [94.62097655403683]
  本稿では,ビジョン・ランゲージ・アクション統合フレームワークとして機能する空間認識型4次元MLLMであるDrivePIを提案する。 提案手法は,空間的理解,3次元知覚,予測(占有フロー),計画(行動出力)を並列に行う。 MLLMのバックボーンとして0.5BのQwen2.5モデルしか持たず、単一の統一モデルとしてのDrivePIは既存のVLAモデルと特殊VAモデルの両方を上回るか、あるいは超える。
  論文  参考訳（メタデータ） (2025-12-14T18:45:54Z)
• LL-ViT: Edge Deployable Vision Transformers with Look Up Table Neurons [1.213604453116022]
  ビジョントランスフォーマーはコンピュータビジョンタスクで非常に成功しています。 大規模計算、メモリ、エネルギー要求はFPGAにおけるエッジ推論の課題である。 本稿では,新しいエッジ最適化型視覚変換器であるLL-ViTを提案する。
  論文  参考訳（メタデータ） (2025-11-02T05:51:48Z)
• AndesVL Technical Report: An Efficient Mobile-side Multimodal Large Language Model [40.488271586857884]
  AndesVLはQwen3のLLMと様々なビジュアルエンコーダに基づいて0.6Bから4Bのパラメータを持つモバイル側のMLLMのスイートである。 効率的なタスク適応とモデル圧縮を容易にするために,Quantization-Aware LoRA Fine-Tuningフレームワークとともに1+N LoRAアーキテクチャを導入する。 我々は、MediaTek Dimensity 9500チップにAndesVL-4Bをデプロイする際に、最大6.7倍のピーク復号率、最大30.9%のメモリ削減、1.8ビット/ウェイトを実現した。
  論文  参考訳（メタデータ） (2025-10-13T15:04:38Z)
• MiniCPM-V 4.5: Cooking Efficient MLLMs via Architecture, Data, and Training Recipe [68.04078852416248]
  MiniCPM-V 4.5は8Bパラメータモデルであり、高効率で高性能に設計されている。 本稿では,モデルアーキテクチャ,データストラテジー,トレーニング手法の3つの改良点を紹介する。 MiniCPM-V 4.5は30B以下のモデル間で最先端の性能を達成する。
  論文  参考訳（メタデータ） (2025-09-16T19:41:48Z)
• EfficientLLM: Efficiency in Large Language Models [64.3537131208038]
  大規模言語モデル(LLM)は大きな進歩を導いてきたが、その増加とコンテキストウィンドウは計算、エネルギー、金銭的コストを禁止している。 本稿では,新しいベンチマークであるEfficientLLMを紹介する。
  論文  参考訳（メタデータ） (2025-05-20T02:27:08Z)
• A Light Perspective for 3D Object Detection [46.23578780480946]
  本稿では,最先端のDeep Learning技術を特徴抽出に取り入れた新しい手法を提案する。 私たちのモデルであるNextBEVは、ResNet50やMobileNetV3といった既存の機能抽出ツールを超えています。 これらの軽量な提案を融合することにより、VoxelNetベースのモデルの精度を2.93%向上し、PointPillarベースのモデルのF1スコアを約20%改善しました。
  論文  参考訳（メタデータ） (2025-03-10T10:03:23Z)
• EMOv2: Pushing 5M Vision Model Frontier [92.21687467702972]
  様々な下流タスクにおいて,5M級軽量モデルの新たなフロンティアを構築した。 我々の研究は、Transformerにおける効率的なIRBと実用的なコンポーネントの軽量なインフラを再考する。 4G/5G帯でモデルをダウンロードする場合のモバイルユーザの遅延を考慮し,5M程度の軽量モデルの性能上限について検討する。
  論文  参考訳（メタデータ） (2024-12-09T17:12:22Z)
• Edge-MoE: Memory-Efficient Multi-Task Vision Transformer Architecture with Task-level Sparsity via Mixture-of-Experts [60.1586169973792]
  M$3$ViTは、Mix-of-experts (MoE)を導入した最新のマルチタスクViTモデルである。 MoEは精度の向上と80%以上の削減計算を実現しているが、FPGAに効率的なデプロイを行う上での課題は残されている。 Edge-MoEと呼ばれる私たちの研究は、アーキテクチャの革新の集合を伴って、マルチタスクのViTのための最初のエンドツーエンドFPGAアクセラレータを導入するという課題を解決します。
  論文  参考訳（メタデータ） (2023-05-30T02:24:03Z)
• EfficientVLM: Fast and Accurate Vision-Language Models via Knowledge Distillation and Modal-adaptive Pruning [19.354515754130592]
  我々は,大規模な視覚言語モデルをより小さく,より速く,より正確なものに圧縮する蒸留精錬フレームワークを導入する。 EfficientVLMは、6つの視覚層、3つのテキスト層、3つのモーダル融合層からなる高速かつ正確な視覚言語モデルである。 効率的なVLMは、教師モデルの98.4%のパフォーマンスを維持し、推論速度を2.2倍に加速する。
  論文  参考訳（メタデータ） (2022-10-14T13:26:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。