論文の概要: PEFT A2Z: Parameter-Efficient Fine-Tuning Survey for Large Language and Vision Models

• arxiv url: http://arxiv.org/abs/2504.14117v1
• Date: Sat, 19 Apr 2025 00:33:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-30 05:04:27.762075
• Title: PEFT A2Z: Parameter-Efficient Fine-Tuning Survey for Large Language and Vision Models
• Title（参考訳）: PEFT A2Z:大規模言語と視覚モデルのためのパラメータ効率の良いファインチューニングサーベイ
• Authors: Nusrat Jahan Prottasha, Upama Roy Chowdhury, Shetu Mohanto, Tasfia Nuzhat, Abdullah As Sami, Md Shamol Ali, Md Shohanur Islam Sobuj, Hafijur Raman, Md Kowsher, Ozlem Ozmen Garibay,
• Abstract要約: LLM(Large Language Models)やVLM(Vision Language Models)のような大規模モデルは、人工知能を変革した。 これらのモデルの微調整は高価であり、膨大な計算資源、メモリ、タスク固有のデータを必要とする。 PEFT(Efficient Fine-Tuning)は、少数のパラメータだけを更新することで、大規模なモデルを下流タスクに適応できる有望なソリューションとして登場した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large models such as Large Language Models (LLMs) and Vision Language Models (VLMs) have transformed artificial intelligence, powering applications in natural language processing, computer vision, and multimodal learning. However, fully fine-tuning these models remains expensive, requiring extensive computational resources, memory, and task-specific data. Parameter-Efficient Fine-Tuning (PEFT) has emerged as a promising solution that allows adapting large models to downstream tasks by updating only a small portion of parameters. This survey presents a comprehensive overview of PEFT techniques, focusing on their motivations, design principles, and effectiveness. We begin by analyzing the resource and accessibility challenges posed by traditional fine-tuning and highlight key issues, such as overfitting, catastrophic forgetting, and parameter inefficiency. We then introduce a structured taxonomy of PEFT methods -- grouped into additive, selective, reparameterized, hybrid, and unified frameworks -- and systematically compare their mechanisms and trade-offs. Beyond taxonomy, we explore the impact of PEFT across diverse domains, including language, vision, and generative modeling, showing how these techniques offer strong performance with lower resource costs. We also discuss important open challenges in scalability, interpretability, and robustness, and suggest future directions such as federated learning, domain adaptation, and theoretical grounding. Our goal is to provide a unified understanding of PEFT and its growing role in enabling practical, efficient, and sustainable use of large models.
• Abstract（参考訳）: LLM(Large Language Models)やVLM(Vision Language Models)といった大規模モデルは、人工知能を変革し、自然言語処理、コンピュータビジョン、マルチモーダル学習などの応用に力を入れている。 しかし、これらのモデルの完全な微調整は高価であり、膨大な計算資源、メモリ、タスク固有のデータを必要とする。 パラメータ効率の良いファインチューニング(PEFT)は、少数のパラメータだけを更新することで、大きなモデルを下流タスクに適応できる有望なソリューションとして登場した。 本調査では,PEFT技術の概要を概観し,そのモチベーション,設計原則,有効性に着目した。 まず、従来の微調整による資源・アクセシビリティの課題を分析し、過度な適合、破滅的な忘れ込み、パラメータの非効率といった重要な問題を強調します。 次に、PEFTメソッドの構造的分類(追加的、選択的、再パラメータ化、ハイブリッド、統合されたフレームワーク)を導入し、それらのメカニズムとトレードオフを体系的に比較する。 分類学以外にも、言語、ビジョン、生成モデリングなど、さまざまな領域におけるPEFTの影響を調査し、これらの手法がリソースコストの低減と高いパフォーマンスを実現する方法を示している。 また,スケーラビリティ,解釈可能性,堅牢性に関する重要なオープン課題についても論じ,フェデレートラーニング,ドメイン適応,理論的基礎化といった今後の方向性を提案する。 我々のゴールは、PEFTの統一的な理解と、大規模モデルの実用的、効率的、持続的な利用の実現におけるその役割を提供することである。

関連論文リスト

• A Survey on Parameter-Efficient Fine-Tuning for Foundation Models in Federated Learning [5.280048850098648]
  ファンデーションモデルは、大規模データセットで事前トレーニングされた堅牢で汎用的なアーキテクチャを提供することによって、人工知能に革命をもたらした。 これらの巨大なモデルを特定の下流タスクに適用するには、微調整が必要である。 本調査は,フェデレート学習環境におけるPEFT技術の統合に関する総合的なレビューを提供する。
  論文  参考訳（メタデータ） (2025-04-29T18:18:39Z)
• A Systematic Literature Review of Parameter-Efficient Fine-Tuning for Large Code Models [2.171120568435925]
  コードのための大規模言語モデル(LLM)は、訓練と微調整のためにかなりの計算資源を必要とする。 この問題に対処するため,研究コミュニティは,より効率的なファインチューニング(PEFT)へと移行している。 PEFTは、モデル全体ではなく、パラメータの小さなサブセットだけを更新することで、大きなモデルの適応を可能にする。 本研究は,27件の査読論文から得られた知見を合成し,構成戦略のパターンと適応トレードオフを同定する。
  論文  参考訳（メタデータ） (2025-04-29T16:19:25Z)
• Fine-tune Smarter, Not Harder: Parameter-Efficient Fine-Tuning for Geospatial Foundation Models [16.522696273752835]
  地球観測は、環境変化の監視、災害への対応、天然資源の管理に不可欠である。 基礎モデルにより、リモートセンシング画像解析により、関係する地理情報を正確かつ効率的に取得することができる。 これらのモデルのサイズが大きくなるにつれて、関連する計算資源とコストのために微調整がますます困難になる。
  論文  参考訳（メタデータ） (2025-04-24T09:37:02Z)
• Unified Parameter-Efficient Unlearning for LLMs [25.195126838721492]
  大規模言語モデル(LLM)は自然言語処理に革命をもたらし、様々なタスクに対する高度な理解と推論を可能にする。 これは、モデルが不注意に機密情報や望ましくない情報を保持および拡散する可能性があるため、重要なプライバシーとセキュリティ上の懸念を提起する。 本稿では,非学習タスクを体系的に分類し,影響関数を用いた高精度な調整を行う,新しいインスタンス単位のアンラーニングフレームワークLLMEraserを紹介する。
  論文  参考訳（メタデータ） (2024-11-30T07:21:02Z)
• Parameter-Efficient Fine-Tuning in Large Models: A Survey of Methodologies [17.904502959675337]
  大規模なモデルでは、運用には相当な計算資源とGPUメモリが必要である。 PEFT (Efficient Fine-Tuning) は、様々な下流タスクに適合する大規模な事前学習モデルのパラメータを効率的に調整することで、実用的なソリューションを提供する。 本稿では,PEFTの予備知識,各種PEFTアルゴリズムの基本的な考え方と原理,PEFTの適用,今後の研究方向性について紹介する。
  論文  参考訳（メタデータ） (2024-10-24T13:58:59Z)
• Parameter-Efficient Fine-Tuning for Large Models: A Comprehensive Survey [18.00772798876708]
  PEFT(Efficient Fine-Tuning)は、様々な下流タスクに対して大きなモデルを効率的に調整することで、実用的なソリューションを提供する。 PEFTは、訓練済みの大規模モデルのパラメータを特定のタスクやドメインに適応させるプロセスを指す。 本稿では,様々なPEFTアルゴリズムの総合的な研究を行い,その性能と計算オーバーヘッドについて検討する。
  論文  参考訳（メタデータ） (2024-03-21T17:55:50Z)
• Parameter-Efficient Fine-Tuning Methods for Pretrained Language Models: A Critical Review and Assessment [12.674032145667763]
  本稿では,事前学習言語モデル(PLM)のためのPEFT(Efficient Fine-Tuning)手法の総合的,体系的なレビューを行う。 PEFTは、完全な微調整に匹敵する性能を保ちながら、微調整パラメータとメモリ使用量を削減し、効果的なソリューションを提供する。 パラメータ効率とメモリ効率の効率性をよりよく理解するために,いくつかの代表的PEFT法を用いて実験を行った。
  論文  参考訳（メタデータ） (2023-12-19T13:31:24Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• Retrieval-based Knowledge Transfer: An Effective Approach for Extreme Large Language Model Compression [64.07696663255155]
  大規模事前学習型言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。 しかし、これらのモデルの巨大なサイズは、現実世界のアプリケーションに展開する上で大きな課題をもたらします。 本稿では,LLMの知識を極めて小規模なモデルに効果的に伝達するRetrieval-based Knowledge Transfer (RetriKT)と呼ばれる新しい圧縮パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-24T07:58:20Z)
• Scaling Vision-Language Models with Sparse Mixture of Experts [128.0882767889029]
  提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。 我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2023-03-13T16:00:31Z)
• Differentiable modeling to unify machine learning and physical models and advance Geosciences [38.92849886903847]
  微分可能地科学モデリング(DG)の概念,適用性,意義について概説する。 微分可能(differentiable)とは、モデル変数に関する勾配を正確かつ効率的に計算すること。 予備的な証拠は、DGが機械学習よりも優れた解釈可能性と因果性を提供することを示している。
  論文  参考訳（メタデータ） (2023-01-10T15:24:14Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)
• Pre-Trained Models: Past, Present and Future [126.21572378910746]
  大規模事前訓練モデル(PTM)は近年大きな成功を収め、人工知能(AI)分野におけるマイルストーンとなった。 知識を巨大なパラメータに格納し、特定のタスクを微調整することで、巨大なパラメータに暗黙的にエンコードされた豊富な知識は、さまざまな下流タスクの恩恵を受けることができる。 AIコミュニティが、モデルをスクラッチから学習するのではなく、下流タスクのバックボーンとしてPTMを採用することは、今、コンセンサスになっている。
  論文  参考訳（メタデータ） (2021-06-14T02:40:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。