論文の概要: Evolution of meta's llama models and parameter-efficient fine-tuning of large language models: a survey

• arxiv url: http://arxiv.org/abs/2510.12178v1
• Date: Tue, 14 Oct 2025 06:12:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-15 19:02:32.202881
• Title: Evolution of meta's llama models and parameter-efficient fine-tuning of large language models: a survey
• Title（参考訳）: メタラマモデルの進化と大規模言語モデルのパラメータ効率細調整
• Authors: Abdulhady Abas Abdullah, Arkaitz Zubiaga, Seyedali Mirjalili, Amir H. Gandomi, Fatemeh Daneshfar, Mohammadsadra Amini, Alan Salam Mohammed, Hadi Veisi,
• Abstract要約: 本稿では,Meta AIのLLaMA(Large Language Model Meta AI)シリーズの急速な進化を概観する。 まず,基礎モデルのLLaMAファミリとそのアーキテクチャ,重要な性能特性について述べる。 次に,PEFTの概念について述べる。PEFTは,少数のパラメータのみを更新することで,大規模な事前学習モデルに適応する。
• 参考スコア（独自算出の注目度）: 26.27375515765124
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This review surveys the rapid evolution of Meta AI's LLaMA (Large Language Model Meta AI) series - from LLaMA 1 through LLaMA 4 and the specialized parameter-efficient fine-tuning (PEFT) methods developed for these models. We first describe the LLaMA family of foundation models (7B-65B to 288B parameters), their architectures (including native multimodal and Mixtureof-Experts variants), and key performance characteristics. We then describe and discuss the concept of PEFT, which adapts large pre-trained models by updating only a small subset of parameters, and review five PEFT methods that have been applied to LLaMA: LoRA (Low-Rank Adaptation), LLaMA-Adapter V1 and V2, LLaMA-Excitor, and QLoRA (Quantized LoRA). We discuss each method's mechanism, parameter savings, and example application to LLaMA (e.g., instruction tuning, multimodal tasks). We provide structured discussion and analysis of model and adapter architectures, parameter counts, and benchmark results (including examples where fine-tuned LLaMA models outperform larger baselines). Finally, we examine real-world use cases where LLaMA-based models and PEFT have been successfully applied (e.g., legal and medical domains), and we discuss ongoing challenges and future research directions (such as scaling to even larger contexts and improving robustness). This survey paper provides a one-stop resource for ML researchers and practitioners interested in LLaMA models and efficient fine-tuning strategies.
• Abstract（参考訳）: 本稿では,LLaMA 1からLLaMA 4までのメタAIのLLaMA(Large Language Model Meta AI)シリーズの急速な進化と,これらのモデルのために開発された特殊パラメータ効率細調整(PEFT)手法について概説する。 まず、LLaMAファウンデーションモデル(7B-65Bから288Bパラメータ)、アーキテクチャ(ネイティブマルチモーダルとMixtureof-Expertsの変種を含む)、および重要な性能特性について述べる。 次に,LLaMAに適用された5つのPEFT手法であるLoRA(Low-Rank Adaptation),LLaMA-Adapter V1,V2,LLaMA-Excitor,QLoRA(Quantized LoRA)について述べる。 本稿では、LLaMA(例えば、命令チューニング、マルチモーダルタスク)への各手法のメカニズム、パラメータセーブ、サンプル適用について論じる。 モデルおよびアダプタアーキテクチャ、パラメータ数、ベンチマーク結果(微調整されたLLaMAモデルがより大きなベースラインを上回った例を含む)について、構造化された議論と分析を行う。 最後に、LLaMAベースのモデルとPEFTがうまく適用された実世界のユースケースについて検討し、現在進行中の課題と今後の研究方向(さらに大きなコンテキストへのスケーリングやロバスト性の向上など)について議論する。 本稿では,LLaMAモデルと効率的な微調整戦略に関心を持つML研究者や実践者に対して,ワンストップリソースを提供する。

関連論文リスト

• LLaMA-MoE v2: Exploring Sparsity of LLaMA from Perspective of Mixture-of-Experts with Post-Training [18.49753274534983]
  Mixture-of-Experts(MoE)モデルは、アクティベートパラメータの数を一定に保ちながら、モデルサイズをスケールする上で人気が高まっている。 変換器ブロック内のMoEモジュール(すなわちMoE)とMoEモジュールの両方に対してMoEを構築することにより,高密度LLaMAモデルの疎さを徹底的に検討する。 スパシティの増大による性能劣化に対処するために,2段階のポストトレーニング戦略を設計する。
  論文  参考訳（メタデータ） (2024-11-24T04:26:04Z)
• LLAVADI: What Matters For Multimodal Large Language Models Distillation [77.73964744238519]
  本研究では,新しい効率的なモデル構造を提案するのではなく,スクラッチから小規模MLLMを訓練する。 本研究は, 知識蒸留プロセスにおける学習戦略, モデル選択, 蒸留アルゴリズムに関するものである。 異なるベンチマークと適切な戦略を評価することで、2.7Bの小型モデルでも7Bまたは13Bのパラメータを持つ大型モデルと同等に動作することができる。
  論文  参考訳（メタデータ） (2024-07-28T06:10:47Z)
• An Empirical Study on Parameter-Efficient Fine-Tuning for MultiModal Large Language Models [14.202759186103497]
  マルチモーダル大規模言語モデル (MLLM) はマルチモーダルタスクにおいて顕著な機能を示した。 しかし、MLLMの全てのパラメータを微調整することは、通常数十億のパラメータを含むため困難になっている。 本稿では,オープンソースMLLMのLPMコンポーネントを微調整するために,4つのPEFT手法を用いた実験的検討を行った。
  論文  参考訳（メタデータ） (2024-06-07T17:58:11Z)
• LLaMA Pro: Progressive LLaMA with Block Expansion [66.39213657252279]
  本稿では,トランスフォーマーブロックを拡張したLarge Language Models (LLM) の事前学習手法を提案する。 我々は,新たなコーパスのみを用いて拡張ブロックをチューニングし,大惨な忘れをすることなく,モデル知識を効率的に,効果的に改善する。 本稿では,LLaMA2-7Bの多元的基礎モデルであるLLaMA Pro-8.3Bのコードと数学のコーパスについて実験する。
  論文  参考訳（メタデータ） (2024-01-04T18:59:12Z)
• Sheared LLaMA: Accelerating Language Model Pre-training via Structured Pruning [52.29522018586365]
  我々は,事前訓練された大規模モデルからより小型のLCMを開発するための効果的な方法として構造化プルーニングについて検討した。 提案手法では,(1)階層,頭部,中間および隠蔽次元をエンド・ツー・エンドに除去することで,より大きなモデルを特定のターゲット形状にプルーニングするターゲット構造化プルーニングと,(2)各トレーニングバッチにおけるサンプルデータの構成を,異なるドメイン間での損失に基づいて動的に更新する動的バッチローディングという2つの重要な手法を用いる。
  論文  参考訳（メタデータ） (2023-10-10T15:13:30Z)
• LLaMA-Reviewer: Advancing Code Review Automation with Large Language Models through Parameter-Efficient Fine-Tuning [13.616908697637665]
  LLaMA-Reviewerは、コードレビューの領域において、人気のあるLLMであるLLaMAの機能を活用する革新的なフレームワークである。 このフレームワークはパラメータ効率のよい微調整(PEFT)方式を採用し、トレーニング可能なパラメータの1%未満を使用しながら高い性能を実現する。 この分野での継続的な進歩を促進するために、コードとすべてのPEFT軽量プラグインがオープンソース化された。
  論文  参考訳（メタデータ） (2023-08-22T03:10:40Z)
• LLM-Adapters: An Adapter Family for Parameter-Efficient Fine-Tuning of Large Language Models [75.25782573728677]
  本稿では,言語モデル(LLM)のPEFT(Adapter-based parameter- efficient fine-tuning)のためのフレームワークを提案する。 このフレームワークには、LLaMA、BLOOM、GPT-Jといった最先端のオープンアクセスLLMや、シリーズアダプタ、パラレルアダプタ、Promptベースの学習、Reparametrizationベースのメソッドなどの広く使われているアダプタが含まれている。 本研究では,2つの異なる推論タスク,算術的推論と常識推論の14種類のデータセットに対するアダプタの有効性を評価する。
  論文  参考訳（メタデータ） (2023-04-04T16:31:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。