論文の概要: A Bayesian Hybrid Parameter-Efficient Fine-Tuning Method for Large Language Models
- arxiv url: http://arxiv.org/abs/2508.02711v1
- Date: Thu, 31 Jul 2025 01:20:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-06 18:18:55.573143
- Title: A Bayesian Hybrid Parameter-Efficient Fine-Tuning Method for Large Language Models
- Title（参考訳）: ベイジアンハイブリッドパラメーター効率の良い大規模言語モデルの微調整法
- Authors: Yidong Chai, Yang Liu, Yonghang Zhou, Jiaheng Xie, Daniel Dajun Zeng,
- Abstract要約: LLM(Large Language Models)は、世界を変える変革の可能性を示している。
これらのモデルは一般的なコーパスで事前訓練されているため、特定のビジネスアプリケーションのパフォーマンスを最適化するためにドメイン固有の微調整を必要とすることが多い。
実環境における不確実性認識と適応的意思決定を支援する新しいBH-PEFT法と動的微調整手法を提案する。
- 参考スコア（独自算出の注目度）: 6.289645856908972
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) have demonstrated transformative potential in reshaping the world. As these models are pretrained on general corpora, they often require domain-specific fine-tuning to optimize performance in specialized business applications. Due to their massive scale, parameter-efficient fine-tuning (PEFT) methods are widely used to reduce training costs. Among them, hybrid PEFT methods that combine multiple PEFT techniques have achieved the best performance. However, existing hybrid PEFT methods face two main challenges when fine-tuning LLMs for specialized applications: (1) relying on point estimates, lacking the ability to quantify uncertainty for reliable decision-making, and (2) struggling to dynamically adapt to emerging data, lacking the ability to suit real-world situations. We propose Bayesian Hybrid Parameter-Efficient Fine-Tuning (BH-PEFT), a novel method that integrates Bayesian learning into hybrid PEFT. BH-PEFT combines Adapter, LoRA, and prefix-tuning to fine-tune feedforward and attention layers of the Transformer. By modeling learnable parameters as distributions, BH-PEFT enables uncertainty quantification. We further propose a Bayesian dynamic fine-tuning approach where the last posterior serves as the prior for the next round, enabling effective adaptation to new data. We evaluated BH-PEFT on business tasks such as sentiment analysis, news categorization, and commonsense reasoning. Results show that our method outperforms existing PEFT baselines, enables uncertainty quantification for more reliable decisions, and improves adaptability in dynamic scenarios. This work contributes to business analytics and data science by proposing a novel BH-PEFT method and dynamic fine-tuning approach that support uncertainty-aware and adaptive decision-making in real-world situations.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、世界を変えるための変革の可能性を示している。
これらのモデルは一般的なコーパスで事前訓練されているため、特定のビジネスアプリケーションのパフォーマンスを最適化するためにドメイン固有の微調整を必要とすることが多い。
大規模であるため、パラメータ効率のよい微調整(PEFT)法は訓練コストの削減に広く用いられている。
それらのうち,複数のPEFT技術を組み合わせたハイブリッドPEFT法は,最高の性能を達成している。
しかし,既存のハイブリッドPEFT法は,1点推定に頼らず,信頼性の高い意思決定のための不確実性を定量化する能力が欠如し,2)新興データへの動的適応に苦慮し,現実の状況に適応する能力に欠ける,という2つの課題に直面する。
ベイジアン学習をハイブリッドPEFTに統合する新しい手法であるベイジアンハイブリッドパラメーター効率的な微細チューニング(BH-PEFT)を提案する。
BH-PEFTは、Adapter、LoRA、プレフィックスチューニングとTransformerの微調整フィードフォワードとアテンションレイヤーを組み合わせる。
学習可能なパラメータを分布としてモデル化することにより、BH-PEFTは不確実な定量化を可能にする。
さらに,最後の後方が次のラウンドの先行として機能し,新しいデータへの効果的な適応を可能にするベイズ動的微調整手法を提案する。
感情分析,ニュース分類,コモンセンス推論などのビジネスタスクにおけるBH-PEFTの評価を行った。
その結果,提案手法は既存のPEFTベースラインよりも優れており,信頼性の高い決定のための不確実な定量化が可能であり,動的シナリオの適応性も向上していることがわかった。
この研究は、ビジネス分析とデータサイエンスに寄与し、現実の状況における不確実性認識と適応的意思決定をサポートする新しいBH-PEFT法と動的微調整アプローチを提案する。
関連論文リスト
- Implicit Reward as the Bridge: A Unified View of SFT and DPO Connections [65.36449542323277]
本稿では,Large Language Model (LLM) 後の学習において,SFT(Supervised Fine-Tuning) と優先学習を統合した理論フレームワークを提案する。
そこで本研究では,学習率の簡易かつ効果的な削減手法を提案する。
論文 参考訳（メタデータ） (2025-06-15T05:42:29Z) - PrunePEFT: Iterative Hybrid Pruning for Parameter-Efficient Fine-tuning of LLMs [8.52711842775914]
PEFT(Efficient Fine-Tuning)法は、訓練済み言語モデルにおいて、効率的かつ有望なアプローチとして登場した。
本稿では,PEFT 戦略探索をプルーニング問題として定式化する新しい手法 PrunePEFT を提案する。
論文 参考訳（メタデータ） (2025-06-09T09:32:58Z) - A Survey on Parameter-Efficient Fine-Tuning for Foundation Models in Federated Learning [5.280048850098648]
ファンデーションモデルは、大規模データセットで事前トレーニングされた堅牢で汎用的なアーキテクチャを提供することによって、人工知能に革命をもたらした。
これらの巨大なモデルを特定の下流タスクに適用するには、微調整が必要である。
本調査は,フェデレート学習環境におけるPEFT技術の統合に関する総合的なレビューを提供する。
論文 参考訳（メタデータ） (2025-04-29T18:18:39Z) - Refining Salience-Aware Sparse Fine-Tuning Strategies for Language Models [14.68920095399595]
SPEFT(Sparsity-based PEFT)は、モデルの重み行列にトレーニング可能なスパース適応を導入する。
我々は、ゼロコストNASプロキシにインスパイアされたSPEFTのサリエンス指標を初めて体系的に評価した。
静的マスキング戦略と動的マスキング戦略を比較し、トレーニング前にゼロでないエントリを事前に決定する静的マスキングが、パフォーマンスを犠牲にすることなく効率を向上することを示した。
論文 参考訳（メタデータ） (2024-12-18T04:14:35Z) - Step-by-Step Unmasking for Parameter-Efficient Fine-tuning of Large Language Models [18.877891285367216]
我々はパラメータの重要度を連続的に計算する新しい選択型PEFT法である$textID3$を紹介した。
解析的に、$textID3$は勾配更新数を2倍に減らし、計算効率が向上することを示した。
論文 参考訳（メタデータ） (2024-08-26T17:58:53Z) - Forecast-PEFT: Parameter-Efficient Fine-Tuning for Pre-trained Motion Forecasting Models [68.23649978697027]
Forecast-PEFTは、モデルのパラメータの大部分を凍結し、新しく導入されたプロンプトとアダプタの調整に集中する微調整戦略である。
実験の結果,Forecast-PEFTは動作予測タスクにおいて従来のフルチューニング手法よりも優れていた。
Forecast-FTは予測性能をさらに改善し、従来のベースライン法よりも最大9.6%向上した。
論文 参考訳（メタデータ） (2024-07-28T19:18:59Z) - See Further for Parameter Efficient Fine-tuning by Standing on the Shoulders of Decomposition [56.87609859444084]
パラメータ効率の細かいチューニング(PEFT)は、パラメータの選択したサブセットを最適化し、残りを固定し、計算とストレージのオーバーヘッドを大幅に削減することに焦点を当てている。
分解の観点からそれらを分離することで、すべてのアプローチを統一する第一歩を踏み出します。
本稿では,PEFT技術の性能向上を目的とした,単純かつ効果的なフレームワークとともに,新しい2つのPEFT手法を提案する。
論文 参考訳（メタデータ） (2024-07-07T15:44:42Z) - ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections [59.839926875976225]
本稿では,HypErplane Reflectionsによる高効率微調整を行うETHER変換ファミリを提案する。
特に,既存のPEFT法と極めて少ないパラメータで一致または性能を向上するEtheRと緩和ETHER+を導入する。
論文 参考訳（メタデータ） (2024-05-30T17:26:02Z) - Parameter-Efficient Fine-Tuning for Pre-Trained Vision Models: A Survey and Benchmark [97.8968058408759]
事前学習された視覚モデル(PVM)は、幅広い下流の視覚タスクに顕著な適応性を示した。
これらのモデルが数十億または数兆のパラメータにスケールするにつれて、計算と記憶の要求が高いため、従来の完全な微調整はますます非現実的になっている。
パラメータ効率の良いファインチューニング(PEFT)は、モデルパラメータを最小限に調整しながら、完全なファインチューニングに匹敵するパフォーマンスを実現するための、有望な代替手段として登場した。
論文 参考訳（メタデータ） (2024-02-03T19:12:20Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳（メタデータ） (2023-05-01T20:04:46Z) - Empirical Analysis of the Strengths and Weaknesses of PEFT Techniques
for LLMs [1.867982979635437]
各種PEFT手法のベンチマークを行い、異なるデータスケールでモデル性能を評価する。
一般的な信念とは対照的に、PEFT手法は低データシナリオにおいて完全なチューニングよりも遅く収束することを実証的に証明する。
さらに,モデルのどの部分を訓練するかを選択的に選択することで,これらのPEFT手法をさらに最適化する。
論文 参考訳（メタデータ） (2023-04-28T17:39:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。