論文の概要: LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-init Attention

• arxiv url: http://arxiv.org/abs/2303.16199v1
• Date: Tue, 28 Mar 2023 17:59:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-29 13:55:01.523470
• Title: LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-init Attention
• Title（参考訳）: LLaMA-Adapter:ゼロ入力型言語モデルの効率的な微調整
• Authors: Renrui Zhang, Jiaming Han, Aojun Zhou, Xiangfei Hu, Shilin Yan, Pan Lu, Hongsheng Li, Peng Gao, Yu Qiao
• Abstract要約: 命令追従モデルにLLaMAを効率よく微調整する方法であるLLaMA-Adapterを提案する。 LLaMA-Adapterは52Kの自己命令型デモを使用して、凍結したLLaMA 7Bモデルに1.2Mの学習可能なパラメータを導入している。 効率的なトレーニングにより、LLaMA-Adapterは、完全に微調整された7Bパラメータを持つAlpacaに匹敵する高品質な応答を生成する。
• 参考スコア（独自算出の注目度）: 53.80939018884116
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present LLaMA-Adapter, a lightweight adaption method to efficiently fine-tune LLaMA into an instruction-following model. Using 52K self-instruct demonstrations, LLaMA-Adapter only introduces 1.2M learnable parameters upon the frozen LLaMA 7B model, and costs less than one hour for fine-tuning on 8 A100 GPUs. Specifically, we adopt a set of learnable adaption prompts, and prepend them to the input text tokens at higher transformer layers. Then, a zero-init attention mechanism with zero gating is proposed, which adaptively injects the new instructional cues into LLaMA, while effectively preserves its pre-trained knowledge. With efficient training, LLaMA-Adapter generates high-quality responses, comparable to Alpaca with fully fine-tuned 7B parameters. Furthermore, our approach can be simply extended to multi-modal input, e.g., images, for image-conditioned LLaMA, which achieves superior reasoning capacity on ScienceQA. We release our code at https://github.com/ZrrSkywalker/LLaMA-Adapter.
• Abstract（参考訳）: 命令追従モデルにLLaMAを効率よく微調整する軽量適応手法であるLLaMA-Adapterを提案する。 LLaMA-Adapterは52Kの自己命令型デモを使用して、凍結したLLaMA 7Bモデルで1.2Mの学習可能なパラメータを導入し、8A100 GPUの微調整には1時間未満の費用がかかる。 具体的には、学習可能な適応プロンプトのセットを採用し、高いトランスフォーマー層における入力テキストトークンにプリペイドする。 そこで,ゼロゲーティングによるゼロ入力アテンション機構を提案し,LLaMAに適応的に新しい命令キューを注入し,事前学習した知識を効果的に保存する。 効率的なトレーニングにより、LLaMA-Adapterは、完全に微調整された7Bパラメータを持つAlpacaに匹敵する高品質な応答を生成する。 さらに,ScienceQAにおいてより優れた推論能力が得られる画像条件付きLLaMAのマルチモーダル入力に,我々のアプローチを単純に拡張することができる。 コードをhttps://github.com/ZrrSkywalker/LLaMA-Adapterでリリースします。

関連論文リスト

• Adapting LLaMA Decoder to Vision Transformer [65.47663195233802]
  本研究は,LLaMAなどのデコーダのみのトランスフォーマーをコンピュータビジョン分野に適用できるかどうかを検討する。 まず、LLaMAのアーキテクチャと整合する標準的なViTを「LLaMAfy」と呼び、自己注意に因果マスクを直接適用することで、注意崩壊の問題が生じる。 我々は,訓練開始時の自己注意に因果マスクを徐々に導入し,最適化行動を容易にするソフトマスク戦略を開発する。
  論文  参考訳（メタデータ） (2024-04-10T06:30:08Z)
• LLaMA-Excitor: General Instruction Tuning via Indirect Feature Interaction [24.675876324457747]
  Adapter、Prefix-tuning、LoRAのような既存のLPMを微調整する方法は、LSMの生来の能力を損なう可能性がある。 本稿では,LLaMA-Excitorを提案する。LLaMA-Excitorは軽量な手法で,LLMの潜在能力を刺激し,徐々に価値ある情報に注意を払って指示に従う。 LLaMA-Excitorは、重要な改善を達成しつつ基本的な機能を維持する唯一の方法である。
  論文  参考訳（メタデータ） (2024-04-01T04:39:21Z)
• LLaMA Pro: Progressive LLaMA with Block Expansion [66.39213657252279]
  本稿では,トランスフォーマーブロックを拡張したLarge Language Models (LLM) の事前学習手法を提案する。 我々は,新たなコーパスのみを用いて拡張ブロックをチューニングし,大惨な忘れをすることなく,モデル知識を効率的に,効果的に改善する。 本稿では,LLaMA2-7Bの多元的基礎モデルであるLLaMA Pro-8.3Bのコードと数学のコーパスについて実験する。
  論文  参考訳（メタデータ） (2024-01-04T18:59:12Z)
• Cheap and Quick: Efficient Vision-Language Instruction Tuning for Large Language Models [77.2078051555533]
  大規模言語モデル(LLM)の有効なVL適応のための,新規で安価なソリューションを提案する。 画像エンコーダとLLMを接続するために大きなニューラルネットワークを使用する代わりに、MMAは軽量モジュール、すなわちアダプタを採用する。 MMAはまた、LLMがシングルモードとマルチモードの命令を自動シフトするのを助けるルーティングアルゴリズムも備えている。
  論文  参考訳（メタデータ） (2023-05-24T11:06:15Z)
• LLaMA-Adapter V2: Parameter-Efficient Visual Instruction Model [60.22693761583569]
  パラメータ効率のよいビジュアルインストラクションモデルであるLLaMA-Adapter V2を提案する。 具体的には、より学習可能なパラメータをアンロックすることで、LLaMA-Adapterを初めて拡張する。 第3に、画像テキストペアと命令追従データの合同トレーニングパラダイムを導入する。
  論文  参考訳（メタデータ） (2023-04-28T17:59:25Z)
• Exploring Efficient-tuning Methods in Self-supervised Speech Models [53.633222197712875]
  自己教師付き学習は、異なる音声タスクの強力な表現を学習することができる。 下流タスクでは、SSLモデルのパラメータは凍結され、アダプタのみがトレーニングされる。 90%以上のパラメータ削減を達成できることを示す。
  論文  参考訳（メタデータ） (2022-10-10T11:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。