論文の概要: LangVision-LoRA-NAS: Neural Architecture Search for Variable LoRA Rank in Vision Language Models

• arxiv url: http://arxiv.org/abs/2508.12512v1
• Date: Sun, 17 Aug 2025 22:19:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:10.810422
• Title: LangVision-LoRA-NAS: Neural Architecture Search for Variable LoRA Rank in Vision Language Models
• Title（参考訳）: LangVision-LoRA-NAS:視覚言語モデルにおける可変LoRAランクのニューラルネットワーク探索
• Abstract要約: 視覚言語モデル(VLM)は、視覚とテキストのモダリティを統合し、マルチモーダルな理解と生成を可能にする。 LoRA (Low-Rank Adaptation) は、事前訓練されたモデルを新しいタスクに適応するための効率的な微調整手法である。 本稿では、ニューラルネットワーク検索(NAS)とLoRAを統合し、可変ランク適応のためのVLMを最適化する新しいフレームワークであるtextitLangVision-LoRA-NASを紹介する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision Language Models (VLMs) integrate visual and text modalities to enable multimodal understanding and generation. These models typically combine a Vision Transformer (ViT) as an image encoder and a Large Language Model (LLM) for text generation. LoRA (Low-Rank Adaptation) is an efficient fine-tuning method to adapt pre-trained models to new tasks by introducing low-rank updates to their weights. While LoRA has emerged as a powerful technique for fine-tuning large models by introducing low-rank updates, current implementations assume a fixed rank, potentially limiting flexibility and efficiency across diverse tasks. This paper introduces \textit{LangVision-LoRA-NAS}, a novel framework that integrates Neural Architecture Search (NAS) with LoRA to optimize VLMs for variable-rank adaptation. Our approach leverages NAS to dynamically search for the optimal LoRA rank configuration tailored to specific multimodal tasks, balancing performance and computational efficiency. Through extensive experiments using the LLaMA-3.2-11B model on several datasets, LangVision-LoRA-NAS demonstrates notable improvement in model performance while reducing fine-tuning costs. Our Base and searched fine-tuned models on LLaMA-3.2-11B-Vision-Instruct can be found \href{https://huggingface.co/collections/krishnateja95/llama-32-11b-vision-instruct-langvision-lora-nas-67 86cac480357a6a6fcc59ee}{\textcolor{blue}{here}} and the code for LangVision-LoRA-NAS can be found \href{https://github.com/krishnateja95/LangVision-NAS}{\textcolor{blue}{here}}.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、視覚とテキストのモダリティを統合し、マルチモーダルな理解と生成を可能にする。 これらのモデルは通常、画像エンコーダとしてのビジョントランスフォーマー(ViT)と、テキスト生成のためのLarge Language Model(LLM)を組み合わせる。 LoRA (Low-Rank Adaptation) は、事前訓練されたモデルを新しいタスクに適応するための効率的な微調整手法である。 LoRAは低ランクの更新を導入することで大規模なモデルを微調整するための強力なテクニックとして登場したが、現在の実装では、さまざまなタスクの柔軟性と効率性を制限している可能性がある。 本稿では、ニューラルネットワーク検索(NAS)とLoRAを統合し、可変ランク適応のためのVLMを最適化する新しいフレームワークである「textit{LangVision-LoRA-NAS}」を紹介する。 提案手法はNASを利用して,特定のマルチモーダルタスクに適した最適LoRAランク構成を動的に探索し,性能と計算効率のバランスをとる。 複数のデータセット上でLLaMA-3.2-11Bモデルを用いた広範な実験を通じて、LangVision-LoRA-NASは微調整コストを削減しつつ、モデル性能を顕著に改善した。 我々のベースと検索したLLaMA-3.2-11B-Vision-Instruct 上の微調整モデルは \href{https://huggingface.co/collections/krishnateja95/llama-32-11b-vision-instruct-langvision-lora-nas-67 86cac480357a6a6fcc59ee}{\textcolor{blue}{here}} で、LangVision-LoRA-NAS のコードは \href{https://github.com/krishnateja95/LangVision-NAS}{\textcolor{blue}{here}} で見ることができる。

関連論文リスト

• Firebolt-VL: Efficient Vision-Language Understanding with Cross-Modality Modulation [7.6937364614883625]
  Firebolt-VLは、TransformerベースのデコーダをLiquid Foundation Model (LFM)デコーダに置き換える効率的な視覚言語モデルである。 そこで本稿では,テキストトークンと画像パッチの軽量な相関関係を計算するToken-Grid相関モジュールを提案する。
  論文  参考訳（メタデータ） (2026-04-06T10:25:16Z)
• Quantization with Unified Adaptive Distillation to enable multi-LoRA based one-for-all Generative Vision Models on edge [4.632054706878866]
  画像編集、オブジェクト削除、プロンプト誘導画像変換などのGenAI機能は、モバイルアプリケーションにますます統合されている。 既存のMobileデプロイメントパイプラインは通常、ローランドアダプタ毎に別々のモデルバイナリをコンパイルする。 単一共有モデルを用いて,エッジデバイス上でのマルチタスクGenAI推論を可能にする統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-31T10:17:07Z)
• NAS-LoRA: Empowering Parameter-Efficient Fine-Tuning for Visual Foundation Models with Searchable Adaptation [16.65680361628606]
  新たなNAS-LoRAを提案する。 事前学習間のセマンティックギャップを橋渡しするニューラル・エフェクト・ファインチューニング(PEFT)法 SAMおよび特殊ドメイン。
  論文  参考訳（メタデータ） (2025-12-03T06:47:56Z)
• LLM-empowered Dynamic Prompt Routing for Vision-Language Models Tuning under Long-Tailed Distributions [3.5268162595059076]
  本稿では,視覚言語モデル(VLM)のための多次元動的プロンプトルーティング(MDPR)フレームワークを提案する。 MDPRは5つの視覚的セマンティック次元にまたがる、クラスのための総合的な知識ベースを構築する。 CIFAR-LT、ImageNet-LT、Places-LTなどの長期ベンチマークの実験は、MDPRが現在のSOTAメソッドと同等の結果を得ることを示した。
  論文  参考訳（メタデータ） (2025-08-21T16:12:06Z)
• ORAL: Prompting Your Large-Scale LoRAs via Conditional Recurrent Diffusion [31.373165386548546]
  LLM(Low-Rank Adaptation)は、大規模言語モデル(LLM)を進化させるためのローランク適応(LoRA)である。 これらの課題に対処する新しい$textbfconditional recurrentfusion$フレームワークである$textttORAL$を紹介します。 我々は、$textttORAL$が、バニラ訓練されたパラメータと同等または優れたパフォーマンスを達成する高品質なLoRAパラメータを生成することを実証した。
  論文  参考訳（メタデータ） (2025-03-31T17:34:59Z)
• Adapting Large Language Models for Time Series Modeling via a Novel Parameter-efficient Adaptation Method [9.412920379798928]
  時系列モデリングは多くの実世界のアプリケーションにおいて重要な意味を持つ。 我々は時系列と自然言語のモダリティを調整するためのTime-LlaMAフレームワークを提案する。 本稿では,提案手法がSOTA(State-of-the-art)性能を実現することを示す。
  論文  参考訳（メタデータ） (2025-02-19T13:52:26Z)
• LLaVA Steering: Visual Instruction Tuning with 500x Fewer Parameters through Modality Linear Representation-Steering [30.51487692912812]
  MLLM(Multimodal Large Language Models)は、大規模言語モデル(LLM)に視覚表現を統合することで、視覚的タスクを大幅に進歩させる。 目的を達成するためにモダリティリニア表現ステアリング(MoReS)を導入する。 MoReSはモデル全体の固有のモダリティを効果的に再バランスさせ、そこでキーとなるアイデアは、各モデル層をまたいだ視覚部分空間の線形変換を通じて視覚表現を操ることである。
  論文  参考訳（メタデータ） (2024-12-16T21:14:11Z)
• Selective State Space Memory for Large Vision-Language Models [0.0]
  State Space Memory Integration (SSMI)は、LVLMの効率的な微調整のための新しいアプローチである。 SSMIは長距離依存関係をキャプチャし、タスク固有の視覚的およびシーケンシャルなパターンを効果的に注入する。 COCO Captioning、VQA、Flickr30kといったベンチマークデータセットの実験は、SSMIが最先端のパフォーマンスを達成することを実証している。
  論文  参考訳（メタデータ） (2024-12-13T05:40:50Z)
• Improving Multi-modal Large Language Model through Boosting Vision Capabilities [54.344077285545005]
  視覚言語モデルを強化するための視覚理解能力の改善に注力する。 マルチモーダル言語モデルである textbfArcana を提案する。
  論文  参考訳（メタデータ） (2024-10-17T16:36:38Z)
• NVLM: Open Frontier-Class Multimodal LLMs [64.00053046838225]
  NVLM 1.0は、フロンティアクラスのマルチモーダル言語モデル(LLM)のファミリーであり、視覚言語タスクの最先端結果を実現する。 トレーニング効率とマルチモーダル推論能力を両立させる新しいアーキテクチャを提案する。 我々は、NVLM-1.0モデルのための生産級マルチモーダリティを開発し、視覚言語タスクに優れる。
  論文  参考訳（メタデータ） (2024-09-17T17:59:06Z)
• FLoRA: Enhancing Vision-Language Models with Parameter-Efficient Federated Learning [6.648544684097181]
  視覚と言語を視覚言語モデル(VLM)に統合するマルチモーダルモデル 本稿では,VLMの学習にフェデレートラーニングとパラメータ効率のよいアダプタを利用する新しい手法を提案する。 我々のアプローチでは、トレーニング時間を最大34.72倍に短縮し、完全な微調整よりも2.47倍のメモリ使用量を必要とする。
  論文  参考訳（メタデータ） (2024-04-12T00:36:43Z)
• HyperLLaVA: Dynamic Visual and Language Expert Tuning for Multimodal Large Language Models [70.25499865569353]
  本稿では,プロジェクタとLLMパラメータの適応的チューニングを含むHyperLLaVAと,動的ビジュアルエキスパートと言語エキスパートを紹介する。 MME,MMBench,SEED-Bench,LLaVA-Benchなど,既存のMLLMベンチマークではLLaVAを大きく上回っている。
  論文  参考訳（メタデータ） (2024-03-20T09:42:43Z)
• FullLoRA: Efficiently Boosting the Robustness of Pretrained Vision Transformers [72.83770102062141]
  Vision Transformer (ViT) モデルは、様々なコンピュータビジョンタスクにおいて徐々に主流になりつつある。 既存の大きなモデルは、トレーニング中のパフォーマンスを優先する傾向があり、ロバストさを無視する可能性がある。 従来のLoRAモジュールよりも前に学習可能なレイヤ正規化を取り入れた新しいLNLoRAモジュールを開発した。 学習可能なLNLoRAモジュールをViTモデルの主要コンポーネントに組み込むことにより,FullLoRAフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-03T14:08:39Z)
• InternVL: Scaling up Vision Foundation Models and Aligning for Generic Visual-Linguistic Tasks [92.03764152132315]
  我々は、視覚基盤モデルを60億のパラメータにスケールアップする大規模視覚言語基盤モデル(InternVL)を設計する。 このモデルは、32の汎用視覚言語ベンチマークにおいて、最先端のパフォーマンスを広く適用し、達成することができる。 強力な視覚能力を備え、ViT-22Bの代替となる。
  論文  参考訳（メタデータ） (2023-12-21T18:59:31Z)
• Searching Efficient Model-guided Deep Network for Image Denoising [61.65776576769698]
  モデルガイド設計とNAS(MoD-NAS)をつなぐ新しいアプローチを提案する。 MoD-NASは、再利用可能な幅探索戦略と密結合された探索ブロックを用いて、各層の操作を自動的に選択する。 いくつかの一般的なデータセットに対する実験結果から、我々のMoD-NASは現在の最先端手法よりもPSNR性能が向上していることが示された。
  論文  参考訳（メタデータ） (2021-04-06T14:03:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。