論文の概要: PEFT-Factory: Unified Parameter-Efficient Fine-Tuning of Autoregressive Large Language Models
- arxiv url: http://arxiv.org/abs/2512.02764v1
- Date: Tue, 02 Dec 2025 13:44:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-03 21:04:45.896901
- Title: PEFT-Factory: Unified Parameter-Efficient Fine-Tuning of Autoregressive Large Language Models
- Title（参考訳）: PEFT-Factory:自己回帰型大言語モデルの統一パラメータ効率の良い微調整
- Authors: Robert Belanec, Ivan Srba, Maria Bielikova,
- Abstract要約: PEFT-Factoryは、大規模言語モデルを効率的に調整するための統一されたフレームワークである。
19のPEFTメソッド、27の分類とテキスト生成データセット、および標準およびPEFT固有の評価指標の代表的なセットを提供する。
- 参考スコア（独自算出の注目度）: 5.63712607768603
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Parameter-Efficient Fine-Tuning (PEFT) methods address the increasing size of Large Language Models (LLMs). Currently, many newly introduced PEFT methods are challenging to replicate, deploy, or compare with one another. To address this, we introduce PEFT-Factory, a unified framework for efficient fine-tuning LLMs using both off-the-shelf and custom PEFT methods. While its modular design supports extensibility, it natively provides a representative set of 19 PEFT methods, 27 classification and text generation datasets addressing 12 tasks, and both standard and PEFT-specific evaluation metrics. As a result, PEFT-Factory provides a ready-to-use, controlled, and stable environment, improving replicability and benchmarking of PEFT methods. PEFT-Factory is a downstream framework that originates from the popular LLaMA-Factory, and is publicly available at https://github.com/kinit-sk/PEFT-Factory
- Abstract（参考訳）: パラメータ効率の良いファインチューニング(PEFT)法は,Large Language Models (LLMs) の増大に対処する。
現在、新しく導入されたPEFTメソッドの多くは、複製、デプロイ、比較を困難にしている。
PEFT-Factoryは,市販のPEFT法とカスタムPEFT法の両方を用いて,効率的な微調整 LLM を実現する統合フレームワークである。
モジュール設計は拡張性をサポートしているが、19のPEFTメソッド、27の分類とテキスト生成データセット、標準およびPEFT固有の評価指標をネイティブに提供している。
その結果、PEFT-Factoryは、PEFTメソッドの複製性とベンチマークを改善し、使用可能な、制御された、安定した環境を提供する。
PEFT-FactoryはLLaMA-Factoryから派生した下流フレームワークで、https://github.com/kinit-sk/PEFT-Factoryで公開されている。
関連論文リスト
- PEFT-Bench: A Parameter-Efficient Fine-Tuning Methods Benchmark [8.366144731921489]
PEFT-Benchは,自己回帰LDM上での多様なPEFT手法の評価のための,統一的なエンドツーエンドベンチマークである。
27のNLPデータセットと6つのPEFTメソッドにまたがる使用法を示す。
PEFT Soft Score Penalties(PSCP)メトリクスも導入し、トレーニング可能なパラメータ、推論速度、メモリ使用率のトレーニングを考慮に入れます。
論文 参考訳（メタデータ） (2025-11-26T11:18:06Z) - TS-PEFT: Token-Selective Parameter-Efficient Fine-Tuning with Learnable Threshold Gating [8.102270371993411]
本稿では,関数 S が位置指標のサブセットにPEFT を選択的に適用する Token-Selective PEFT (TS-PEFT) という新しいパラダイムを提案する。
実験の結果,すべての指標に対するPEFTの非差別的適用は過剰であるだけでなく,非生産的である可能性が示唆された。
論文 参考訳（メタデータ） (2025-11-20T08:41:20Z) - RLFactory: A Plug-and-Play Reinforcement Learning Post-Training Framework for LLM Multi-Turn Tool-Use [50.52940111891476]
大きな言語モデルは基本的な推論では優れているが、外部ツールとのインタラクションを必要とするタスクには苦労する。
マルチラウンドツール用プラグイン・アンド・プレイ強化学習フレームワークであるRLFactoryを提案する。
論文 参考訳（メタデータ） (2025-08-31T16:47:31Z) - PrunePEFT: Iterative Hybrid Pruning for Parameter-Efficient Fine-tuning of LLMs [8.52711842775914]
PEFT(Efficient Fine-Tuning)法は、訓練済み言語モデルにおいて、効率的かつ有望なアプローチとして登場した。
本稿では,PEFT 戦略探索をプルーニング問題として定式化する新しい手法 PrunePEFT を提案する。
論文 参考訳（メタデータ） (2025-06-09T09:32:58Z) - Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。
In-Context Learning (ICL) など。
効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。
下流タスクへのLLM。
我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
論文 参考訳（メタデータ） (2024-09-30T10:48:20Z) - Light-PEFT: Lightening Parameter-Efficient Fine-Tuning via Early Pruning [17.032155725171958]
本稿では,基礎モデルの仮設初期計画とPEFTの多官能初期計画の2つの手法を含むLight-PEFTフレームワークを提案する。
PEFT法を直接利用するのに対し、Light-PEFTはトレーニングと推論の高速化を実現し、メモリ使用量を削減し、同等のパフォーマンスを維持する。
論文 参考訳（メタデータ） (2024-06-06T07:03:29Z) - ComPEFT: Compression for Communicating Parameter Efficient Updates via Sparsification and Quantization [92.36876698509164]
PEFTモデルにおける微調整残差(タスクベクトル)を圧縮する新しい手法であるComPEFTを提案する。
200M - 65Bパラメータを持つT5, T0, LLaMA ベースのモデルにおいて, ComPEFT は圧縮比 8x - 50x を達成する。
論文 参考訳（メタデータ） (2023-11-22T05:28:59Z) - Non-Intrusive Adaptation: Input-Centric Parameter-efficient Fine-Tuning
for Versatile Multimodal Modeling [42.42235704360381]
大規模言語モデル(LLM)と視覚言語モデル(VLM)は、幅広いタスクにおいて優れた性能を示す。
これらの大規模化により、関心のあるタスクを前提とした、完全に専門的なモデルへの適応と展開が不可能になる。
本研究では,AdaLinkを,競合性能を実現する非侵入型PEFT技術として記述する。
論文 参考訳（メタデータ） (2023-10-18T16:43:08Z) - AutoPEFT: Automatic Configuration Search for Parameter-Efficient
Fine-Tuning [77.61565726647784]
ニューラルアーキテクチャ検索の進歩により,自動PEFT設定選択のためのAutoPEFTを提案する。
本稿では,AutoPEFTが検出した構成が既存のPEFT法よりも大幅に優れており,FFTと同等かそれ以上であることを示す。
論文 参考訳（メタデータ） (2023-01-28T08:51:23Z) - AdaMix: Mixture-of-Adaptations for Parameter-efficient Model Tuning [112.97430455461097]
本稿では,各トランスフォーマー層に導入される適応モジュールの混合を調整し,PLMの重みの大半を凍結させながら,汎用PEFT法を提案する。
PLMパラメータの0.1-0.2%だけをチューニングすることにより、AdaMix は NLU および NLG のタスクに対して SOTA パラメータ効率の良い微調整およびフルモデル微調整より優れていることを示す。
論文 参考訳（メタデータ） (2022-10-31T16:23:36Z) - UniPELT: A Unified Framework for Parameter-Efficient Language Model
Tuning [64.638804236566]
本稿では,異なるPELTメソッドをサブモジュールとして組み込んだ統一フレームワークUniPELTを提案する。
注目すべきは、GLUEベンチマークにおいて、UniPELTは、異なる設定で微調整を組み込んだり、性能を上回る、最高のPELTメソッドと比較して、一貫して13パーセントのゲインを達成していることだ。
論文 参考訳（メタデータ） (2021-10-14T17:40:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。