論文の概要: PEFT-Factory: Unified Parameter-Efficient Fine-Tuning of Autoregressive Large Language Models

• arxiv url: http://arxiv.org/abs/2512.02764v1
• Date: Tue, 02 Dec 2025 13:44:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-03 21:04:45.896901
• Title: PEFT-Factory: Unified Parameter-Efficient Fine-Tuning of Autoregressive Large Language Models
• Title（参考訳）: PEFT-Factory:自己回帰型大言語モデルの統一パラメータ効率の良い微調整
• Authors: Robert Belanec, Ivan Srba, Maria Bielikova,
• Abstract要約: PEFT-Factoryは、大規模言語モデルを効率的に調整するための統一されたフレームワークである。 19のPEFTメソッド、27の分類とテキスト生成データセット、および標準およびPEFT固有の評価指標の代表的なセットを提供する。
• 参考スコア（独自算出の注目度）: 5.63712607768603
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parameter-Efficient Fine-Tuning (PEFT) methods address the increasing size of Large Language Models (LLMs). Currently, many newly introduced PEFT methods are challenging to replicate, deploy, or compare with one another. To address this, we introduce PEFT-Factory, a unified framework for efficient fine-tuning LLMs using both off-the-shelf and custom PEFT methods. While its modular design supports extensibility, it natively provides a representative set of 19 PEFT methods, 27 classification and text generation datasets addressing 12 tasks, and both standard and PEFT-specific evaluation metrics. As a result, PEFT-Factory provides a ready-to-use, controlled, and stable environment, improving replicability and benchmarking of PEFT methods. PEFT-Factory is a downstream framework that originates from the popular LLaMA-Factory, and is publicly available at https://github.com/kinit-sk/PEFT-Factory
• Abstract（参考訳）: パラメータ効率の良いファインチューニング(PEFT)法は,Large Language Models (LLMs) の増大に対処する。 現在、新しく導入されたPEFTメソッドの多くは、複製、デプロイ、比較を困難にしている。 PEFT-Factoryは,市販のPEFT法とカスタムPEFT法の両方を用いて,効率的な微調整 LLM を実現する統合フレームワークである。 モジュール設計は拡張性をサポートしているが、19のPEFTメソッド、27の分類とテキスト生成データセット、標準およびPEFT固有の評価指標をネイティブに提供している。 その結果、PEFT-Factoryは、PEFTメソッドの複製性とベンチマークを改善し、使用可能な、制御された、安定した環境を提供する。 PEFT-FactoryはLLaMA-Factoryから派生した下流フレームワークで、https://github.com/kinit-sk/PEFT-Factoryで公開されている。

関連論文リスト

• PEFT-Bench: A Parameter-Efficient Fine-Tuning Methods Benchmark [8.366144731921489]
  PEFT-Benchは,自己回帰LDM上での多様なPEFT手法の評価のための,統一的なエンドツーエンドベンチマークである。 27のNLPデータセットと6つのPEFTメソッドにまたがる使用法を示す。 PEFT Soft Score Penalties(PSCP)メトリクスも導入し、トレーニング可能なパラメータ、推論速度、メモリ使用率のトレーニングを考慮に入れます。
  論文  参考訳（メタデータ） (2025-11-26T11:18:06Z)
• TS-PEFT: Token-Selective Parameter-Efficient Fine-Tuning with Learnable Threshold Gating [8.102270371993411]
  本稿では,関数 S が位置指標のサブセットにPEFT を選択的に適用する Token-Selective PEFT (TS-PEFT) という新しいパラダイムを提案する。 実験の結果,すべての指標に対するPEFTの非差別的適用は過剰であるだけでなく,非生産的である可能性が示唆された。
  論文  参考訳（メタデータ） (2025-11-20T08:41:20Z)
• Light-PEFT: Lightening Parameter-Efficient Fine-Tuning via Early Pruning [17.032155725171958]
  本稿では,基礎モデルの仮設初期計画とPEFTの多官能初期計画の2つの手法を含むLight-PEFTフレームワークを提案する。 PEFT法を直接利用するのに対し、Light-PEFTはトレーニングと推論の高速化を実現し、メモリ使用量を削減し、同等のパフォーマンスを維持する。
  論文  参考訳（メタデータ） (2024-06-06T07:03:29Z)
• ComPEFT: Compression for Communicating Parameter Efficient Updates via Sparsification and Quantization [92.36876698509164]
  PEFTモデルにおける微調整残差(タスクベクトル)を圧縮する新しい手法であるComPEFTを提案する。 200M - 65Bパラメータを持つT5, T0, LLaMA ベースのモデルにおいて, ComPEFT は圧縮比 8x - 50x を達成する。
  論文  参考訳（メタデータ） (2023-11-22T05:28:59Z)
• Non-Intrusive Adaptation: Input-Centric Parameter-efficient Fine-Tuning for Versatile Multimodal Modeling [42.42235704360381]
  大規模言語モデル(LLM)と視覚言語モデル(VLM)は、幅広いタスクにおいて優れた性能を示す。 これらの大規模化により、関心のあるタスクを前提とした、完全に専門的なモデルへの適応と展開が不可能になる。 本研究では,AdaLinkを,競合性能を実現する非侵入型PEFT技術として記述する。
  論文  参考訳（メタデータ） (2023-10-18T16:43:08Z)
• AutoPEFT: Automatic Configuration Search for Parameter-Efficient Fine-Tuning [77.61565726647784]
  ニューラルアーキテクチャ検索の進歩により,自動PEFT設定選択のためのAutoPEFTを提案する。 本稿では,AutoPEFTが検出した構成が既存のPEFT法よりも大幅に優れており,FFTと同等かそれ以上であることを示す。
  論文  参考訳（メタデータ） (2023-01-28T08:51:23Z)
• UniPELT: A Unified Framework for Parameter-Efficient Language Model Tuning [64.638804236566]
  本稿では,異なるPELTメソッドをサブモジュールとして組み込んだ統一フレームワークUniPELTを提案する。 注目すべきは、GLUEベンチマークにおいて、UniPELTは、異なる設定で微調整を組み込んだり、性能を上回る、最高のPELTメソッドと比較して、一貫して13パーセントのゲインを達成していることだ。
  論文  参考訳（メタデータ） (2021-10-14T17:40:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。