論文の概要: LLaMA-Adapter V2: Parameter-Efficient Visual Instruction Model

• arxiv url: http://arxiv.org/abs/2304.15010v1
• Date: Fri, 28 Apr 2023 17:59:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-01 13:16:55.278950
• Title: LLaMA-Adapter V2: Parameter-Efficient Visual Instruction Model
• Title（参考訳）: LLaMA-Adapter V2:パラメータ効率の良い視覚インストラクションモデル
• Authors: Peng Gao, Jiaming Han, Renrui Zhang, Ziyi Lin, Shijie Geng, Aojun Zhou, Wei Zhang, Pan Lu, Conghui He, Xiangyu Yue, Hongsheng Li, Yu Qiao
• Abstract要約: パラメータ効率のよいビジュアルインストラクションモデルであるLLaMA-Adapter V2を提案する。 具体的には、より学習可能なパラメータをアンロックすることで、LLaMA-Adapterを初めて拡張する。 第3に、画像テキストペアと命令追従データの合同トレーニングパラダイムを導入する。
• 参考スコア（独自算出の注目度）: 60.22693761583569
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: How to efficiently transform large language models (LLMs) into instruction followers is recently a popular research direction, while training LLM for multi-modal reasoning remains less explored. Although the recent LLaMA-Adapter demonstrates the potential to handle visual inputs with LLMs, it still cannot generalize well to open-ended visual instructions and lags behind GPT-4. In this paper, we present LLaMA-Adapter V2, a parameter-efficient visual instruction model. Specifically, we first augment LLaMA-Adapter by unlocking more learnable parameters (e.g., norm, bias and scale), which distribute the instruction-following ability across the entire LLaMA model besides adapters. Secondly, we propose an early fusion strategy to feed visual tokens only into the early LLM layers, contributing to better visual knowledge incorporation. Thirdly, a joint training paradigm of image-text pairs and instruction-following data is introduced by optimizing disjoint groups of learnable parameters. This strategy effectively alleviates the interference between the two tasks of image-text alignment and instruction following and achieves strong multi-modal reasoning with only a small-scale image-text and instruction dataset. During inference, we incorporate additional expert models (e.g. captioning/OCR systems) into LLaMA-Adapter to further enhance its image understanding capability without incurring training costs. Compared to the original LLaMA-Adapter, our LLaMA-Adapter V2 can perform open-ended multi-modal instructions by merely introducing 14M parameters over LLaMA. The newly designed framework also exhibits stronger language-only instruction-following capabilities and even excels in chat interactions. Our code and models are available at https://github.com/ZrrSkywalker/LLaMA-Adapter.
• Abstract（参考訳）: 大規模言語モデル(LLM)を命令従者へ効率よく変換する方法は近年,マルチモーダル推論のためのLLMの訓練はいまだ研究されていない。 最近のllama-adapterは、llmでビジュアル入力を扱う可能性を実証しているが、gpt-4の背後にあるオープンエンドのビジュアル命令やラグにうまく一般化できない。 本稿ではパラメータ効率のよいビジュアルインストラクションモデルであるLLaMA-Adapter V2を提案する。 具体的には、より学習可能なパラメータ(例えば、ノルム、バイアス、スケール)をアンロックすることで、LLaMA-Adapterを初めて拡張する。 第2に,初期のLCM層にのみ視覚トークンを供給し,視覚知識の充実に寄与する早期融合戦略を提案する。 第3に、学習可能なパラメータの解離群を最適化することにより、画像テキストペアと命令追従データの合同トレーニングパラダイムを導入する。 この戦略は、画像テキストアライメントと命令追従の2つのタスク間の干渉を効果的に軽減し、小さな画像テキストと命令データセットだけで強力なマルチモーダル推論を実現する。 推論の際には,LLaMA-Adapterに新たなエキスパートモデル(キャプション/OCRシステムなど)を組み込んで,トレーニングコストを発生させることなく画像理解能力をさらに強化する。 従来のLLaMA-Adapterと比較して、LLaMA上に14Mパラメータを導入するだけで、LLaMA-Adapter V2はオープンなマルチモーダル命令を実行できます。 新たに設計されたフレームワークは、より強固な言語のみの命令追跡機能や、チャットインタラクションにも優れている。 私たちのコードとモデルはhttps://github.com/zrrskywalker/llama-adapterで利用可能です。

関連論文リスト

• SEA: Supervised Embedding Alignment for Token-Level Visual-Textual Integration in MLLMs [40.74693126923826]
  MLLM(Multimodal Large Language Models)は近年,知覚能力や推論能力が著しく向上している。 イメージレベルの監督を施したトレーニングアダプタは、しばしば重大なミスアライメントをもたらす。 本稿では,視覚言語による事前学習モデルを活用したトークンレベルのアライメント手法であるSupervised Embedding Alignment (SEA)を紹介する。
  論文  参考訳（メタデータ） (2024-08-21T17:58:02Z)
• Adapting LLaMA Decoder to Vision Transformer [65.47663195233802]
  本研究は,LLaMAなどのデコーダのみのトランスフォーマーをコンピュータビジョン分野に適用できるかどうかを検討する。 まず、LLaMAのアーキテクチャと整合する標準的なViTを「LLaMAfy」と呼び、自己注意に因果マスクを直接適用することで、注意崩壊の問題が生じる。 我々は,訓練開始時の自己注意に因果マスクを徐々に導入し,最適化行動を容易にするソフトマスク戦略を開発する。
  論文  参考訳（メタデータ） (2024-04-10T06:30:08Z)
• LLaMA-Excitor: General Instruction Tuning via Indirect Feature Interaction [24.675876324457747]
  Adapter、Prefix-tuning、LoRAのような既存のLPMを微調整する方法は、LSMの生来の能力を損なう可能性がある。 本稿では,LLaMA-Excitorを提案する。LLaMA-Excitorは軽量な手法で,LLMの潜在能力を刺激し,徐々に価値ある情報に注意を払って指示に従う。 LLaMA-Excitorは、重要な改善を達成しつつ基本的な機能を維持する唯一の方法である。
  論文  参考訳（メタデータ） (2024-04-01T04:39:21Z)
• InfMLLM: A Unified Framework for Visual-Language Tasks [44.29407348046122]
  マルチモーダルな大言語モデル (MLLM) が注目されている。 この作業は、LLMがより視覚的な言語に関連したタスクに取り組むことを可能にすることを目的としている。 InfMLLMは、最先端(SOTA)パフォーマンスまたは最近のMLLMに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-11-12T09:58:16Z)
• Cheap and Quick: Efficient Vision-Language Instruction Tuning for Large Language Models [77.2078051555533]
  大規模言語モデル(LLM)の有効なVL適応のための,新規で安価なソリューションを提案する。 画像エンコーダとLLMを接続するために大きなニューラルネットワークを使用する代わりに、MMAは軽量モジュール、すなわちアダプタを採用する。 MMAはまた、LLMがシングルモードとマルチモードの命令を自動シフトするのを助けるルーティングアルゴリズムも備えている。
  論文  参考訳（メタデータ） (2023-05-24T11:06:15Z)
• mPLUG-Owl: Modularization Empowers Large Language Models with Multimodality [95.76661165594884]
  mPLUG-Owlは、大規模言語モデル(LLM)にマルチモーダル能力を持たせる訓練パラダイムである。 トレーニングパラダイムは、LLMの助けを借りて視覚知識を学ぶ、画像とテキストの整列のための2段階の手法を含む。 実験の結果,本モデルは既存のマルチモーダルモデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-04-27T13:27:01Z)
• LLM-Adapters: An Adapter Family for Parameter-Efficient Fine-Tuning of Large Language Models [75.25782573728677]
  本稿では,言語モデル(LLM)のPEFT(Adapter-based parameter- efficient fine-tuning)のためのフレームワークを提案する。 このフレームワークには、LLaMA、BLOOM、GPT-Jといった最先端のオープンアクセスLLMや、シリーズアダプタ、パラレルアダプタ、Promptベースの学習、Reparametrizationベースのメソッドなどの広く使われているアダプタが含まれている。 本研究では,2つの異なる推論タスク,算術的推論と常識推論の14種類のデータセットに対するアダプタの有効性を評価する。
  論文  参考訳（メタデータ） (2023-04-04T16:31:37Z)
• LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-init Attention [52.6718081345361]
  LLaMA-Adapterは命令追従モデルにLLaMAを効率よく微調整する方法である。 フリーズされたLLaMA 7Bモデルで1.2Mの学習可能なパラメータを導入し、8A100 GPUの微調整には1時間未満の費用がかかる。
  論文  参考訳（メタデータ） (2023-03-28T17:59:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。