論文の概要: Parameter-Efficient Fine-Tuning for Foundation Models

• arxiv url: http://arxiv.org/abs/2501.13787v1
• Date: Thu, 23 Jan 2025 16:04:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 15:59:47.495667
• Title: Parameter-Efficient Fine-Tuning for Foundation Models
• Title（参考訳）: 基礎モデルのためのパラメータ効率の良い微調整
• Authors: Dan Zhang, Tao Feng, Lilong Xue, Yuandong Wang, Yuxiao Dong, Jie Tang,
• Abstract要約: この調査は、その領域を掘り下げる。 -ファンデーションモデル(FM)の文脈におけるPEFT(Efficient Fine-Tuning) PEFTはコスト効率のよい微調整技術であり、最適なダウンストリームタスク性能を追求しながらパラメータと計算複雑性を最小化する。 この調査は、FMを通してPEFTのパワーを理解し、利用しようとする新参者および専門家の両方に貴重なリソースを提供する。
• 参考スコア（独自算出の注目度）: 31.282945945383915
• License:
• Abstract: This survey delves into the realm of Parameter-Efficient Fine-Tuning (PEFT) within the context of Foundation Models (FMs). PEFT, a cost-effective fine-tuning technique, minimizes parameters and computational complexity while striving for optimal downstream task performance. FMs, like ChatGPT, DALL-E, and LLaVA specialize in language understanding, generative tasks, and multimodal tasks, trained on diverse datasets spanning text, images, and videos. The diversity of FMs guides various adaptation strategies for PEFT. Therefore, this survey aims to provide a comprehensive overview of PEFT techniques applied to diverse FMs and address critical gaps in understanding the techniques, trends, and applications. We start by providing a detailed development of FMs and PEFT. Subsequently, we systematically review the key categories and core mechanisms of PEFT across diverse FMs to offer a comprehensive understanding of trends. We also explore the most recent applications across various FMs to demonstrate the versatility of PEFT, shedding light on the integration of systematic PEFT methods with a range of FMs. Furthermore, we identify potential research and development directions for improving PEFTs in the future. This survey provides a valuable resource for both newcomers and experts seeking to understand and use the power of PEFT across FMs. All reviewed papers are listed at \url{https://github.com/THUDM/Awesome-Parameter-Efficient-Fine-Tuning-for-Foundation-Models}.
• Abstract（参考訳）: この調査は、基礎モデル(FM)の文脈において、パラメータ効率の良いファインチューニング(PEFT)の領域を掘り下げる。 PEFTはコスト効率のよい微調整技術であり、最適なダウンストリームタスク性能を追求しながらパラメータと計算複雑性を最小化する。 ChatGPT、DALL-E、LLaVAといったFMは、言語理解、生成タスク、マルチモーダルタスクを専門とし、テキスト、画像、ビデオにまたがる多様なデータセットに基づいて訓練されている。 FMの多様性はPEFTの様々な適応戦略を導く。 そこで本研究では,多様なFMに適用されたPEFT技術の概要を概観し,技術・動向・応用の理解において重要なギャップに対処することを目的としている。 FMとPEFTの詳細な開発から始める。 次に,PEFT の重要なカテゴリとコアメカニズムを多種多様な FM で体系的に検討し,トレンドの包括的理解を提供する。 また, 各種FMにおける最新の応用について検討し, PEFTの汎用性を実証し, 系統的PEFT法とFMの分野の統合に光を当てる。 さらに,今後,PEFTの改善に向けた研究・開発の方向性も明らかにする。 この調査は、FMを通してPEFTのパワーを理解し、利用しようとする新参者および専門家の両方に貴重なリソースを提供する。 すべてのレビューされた論文は \url{https://github.com/THUDM/Awesome-Parameter-Efficient-Fine-Tuning-for-Foundation-Models} に掲載されている。

関連論文リスト

• See Further for Parameter Efficient Fine-tuning by Standing on the Shoulders of Decomposition [56.87609859444084]
  パラメータ効率の細かいチューニング(PEFT)は、パラメータの選択したサブセットを最適化し、残りを固定し、計算とストレージのオーバーヘッドを大幅に削減することに焦点を当てている。 分解の観点からそれらを分離することで、すべてのアプローチを統一する第一歩を踏み出します。 本稿では,PEFT技術の性能向上を目的とした,単純かつ効果的なフレームワークとともに,新しい2つのPEFT手法を提案する。
  論文  参考訳（メタデータ） (2024-07-07T15:44:42Z)
• Exploring Parameter-Efficient Fine-Tuning of Large Language Model on Automated Program Repair [5.6679735367798925]
  事前学習・微調整」パラダイムにより、大規模言語モデル(LLM)が自動プログラム修復(APR)の修正能力を向上できる 我々はまず,このギャップを埋めるために,インストラクションデータセットであるAPR-INSTRUCTIONを作成するために,プロンプトエンジニアリングを採用している。 最高の微調整モデルでは、最先端のLLMベースのAPR技術よりも58%多くのバグが修正されている。
  論文  参考訳（メタデータ） (2024-06-09T04:42:19Z)
• FedPFT: Federated Proxy Fine-Tuning of Foundation Models [55.58899993272904]
  フェデレートラーニング(FL)を通じて下流タスクにファンデーションモデル(FM)を適用することは、データプライバシと価値のあるFMを保護するための有望な戦略として現れます。 FLのクライアントにサブFMを割り当てることによる既存のFMの微調整手法は、チューニングが不十分で勾配の必然的エラー蓄積が避けられないため、最適以下の性能をもたらす。 本稿では,FedPFT(Federated Proxy Fine-Tuning)を提案する。
  論文  参考訳（メタデータ） (2024-04-17T16:30:06Z)
• Delving into Parameter-Efficient Fine-Tuning in Code Change Learning: An Empirical Study [10.052053069122652]
  PEFTは、いくつかのコード理解タスクにおいて、優れた性能と計算オーバーヘッドを実証している。 トレーニング済みの汎用知識を下流タスクに活用する。 PEFTがFMFTよりもコード変更関連タスクのタスク特化に優れているかどうかは不明だ。
  論文  参考訳（メタデータ） (2024-02-09T08:40:41Z)
• A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
  フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。 Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。 FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
  論文  参考訳（メタデータ） (2024-01-09T10:22:23Z)
• A Comprehensive Evaluation of Parameter-Efficient Fine-Tuning on Software Engineering Tasks [29.88525311985907]
  事前訓練されたモデル(PTM)は、様々なソフトウェア工学(SE)下流タスクで大きな成功を収めています。 広く使われているソリューションはパラメータ効率の微調整(PEFT)であり、追加パラメータを導入しながらPTMを凍結する。 本研究の目的は,5つのPEFT手法が8つのPTMおよび4つのSE下流タスクに対して有効であることを示すことである。
  論文  参考訳（メタデータ） (2023-12-25T05:25:39Z)
• Parameter-Efficient Fine-Tuning Methods for Pretrained Language Models: A Critical Review and Assessment [12.674032145667763]
  本稿では,事前学習言語モデル(PLM)のためのPEFT(Efficient Fine-Tuning)手法の総合的,体系的なレビューを行う。 PEFTは、完全な微調整に匹敵する性能を保ちながら、微調整パラメータとメモリ使用量を削減し、効果的なソリューションを提供する。 パラメータ効率とメモリ効率の効率性をよりよく理解するために,いくつかの代表的PEFT法を用いて実験を行った。
  論文  参考訳（メタデータ） (2023-12-19T13:31:24Z)
• Towards Better Parameter-Efficient Fine-Tuning for Large Language Models: A Position Paper [14.081178100662163]
  この論文は差し迫った必要性を浮き彫りにする。 -大規模言語モデル(LLM)のための効率的な微細チューニング(PEFT) 本稿は,現状と今後の研究の必要性を明らかにするものである。
  論文  参考訳（メタデータ） (2023-11-22T03:28:34Z)
• Learn From Model Beyond Fine-Tuning: A Survey [78.80920533793595]
  Learn From Model (LFM) は、モデルインターフェースに基づいた基礎モデル(FM)の研究、修正、設計に焦点を当てている。 LFM技術の研究は、モデルチューニング、モデル蒸留、モデル再利用、メタラーニング、モデル編集の5つの分野に大別できる。 本稿では, LFM の観点から, FM に基づく現在の手法を概観する。
  論文  参考訳（メタデータ） (2023-10-12T10:20:36Z)
• VideoGLUE: Video General Understanding Evaluation of Foundation Models [89.07145427268948]
  我々は、慎重に設計された実験プロトコルを用いて、基礎モデル(FM)の映像理解能力を評価する。 一般的な映像理解タスクに適応する際のFMの目印と有効性について共同で検討する。
  論文  参考訳（メタデータ） (2023-07-06T17:47:52Z)
• FETA: Towards Specializing Foundation Models for Expert Task Applications [49.57393504125937]
  ファンデーションモデル(FM)は、ゼロショット学習、高忠実度データ合成、ドメインの一般化など、前例のない機能を示した。 この論文では、FMは、まだ専門家のタスクにおいて、出来の悪いパフォーマンスを保っていることを示します。 本稿では,FMに技術資料の理解を促すことを目的として,その第1のFETAベンチマークを提案する。
  論文  参考訳（メタデータ） (2022-09-08T08:47:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。