論文の概要: New Hybrid Fine-Tuning Paradigm for LLMs: Algorithm Design and Convergence Analysis Framework

• arxiv url: http://arxiv.org/abs/2604.09940v1
• Date: Fri, 10 Apr 2026 22:39:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:15.756043
• Title: New Hybrid Fine-Tuning Paradigm for LLMs: Algorithm Design and Convergence Analysis Framework
• Title（参考訳）: LLMのための新しいハイブリッドファインチューニングパラダイム:アルゴリズム設計と収束解析フレームワーク
• Authors: Shaocong Ma, Peiran Yu, Heng Huang,
• Abstract要約: fine-tuning Large Language Models (LLMs) は通常、すべてのモデルパラメータを更新するフルきめ細やかな調整を必要とする。 PEFT(Efficient Fine-Tuning)は、パラメータの小さなサブセットを調整する。 ゼロ次最適化法と1次最適化法を組み合わせて,LLMとPEFTモジュールを共同で更新するハイブリッドファインチューニング手法を提案する。
• 参考スコア（独自算出の注目度）: 52.69678300445233
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning Large Language Models (LLMs) typically involves either full fine-tuning, which updates all model parameters, or Parameter-Efficient Fine-Tuning (PEFT), which adjusts a small subset of parameters. However, both approaches have inherent limitations: full fine-tuning is computationally expensive, while PEFT often struggles to learn new knowledge and exhibits suboptimal performance. To overcome these issues, we propose a novel hybrid fine-tuning approach that jointly updates both LLMs and PEFT modules using a combination of zeroth-order and first-order optimization methods. To analyze our new algorithm, we develop a theoretical framework centered on the concept of hybrid smoothness condition, which accounts for the heterogeneous nature of the optimization landscape in joint LLM and PEFT training. We derive a rigorous convergence analysis for the convergence of reshuffling-type SGD algorithm under multiple learning rates and demonstrate its effectiveness through extensive empirical studies across various downstream tasks and model architectures. On the practical side, our results demonstrate consistent performance improvement, making the approach a viable solution for large-scale language model fine-tuning.
• Abstract（参考訳）: 細調整大型言語モデル(LLM)は通常、すべてのモデルパラメータを更新する完全な細調整と、パラメータの小さなサブセットを調整するパラメータ効率の良い細調整(PEFT)のいずれかを含む。 完全な微調整は計算に費用がかかるが、PEFTはしばしば新しい知識の習得に苦労し、準最適性能を示す。 これらの問題を解決するために,ゼロ次最適化法と1次最適化法を組み合わせて,LLMとPEFTモジュールを共同で更新するハイブリッド微調整手法を提案する。 新しいアルゴリズムを解析するために,LLMとPEFTの併用訓練における最適化景観の不均一性を考慮した,ハイブリッドな滑らか性条件の概念に基づく理論フレームワークを開発した。 我々は、複数の学習速度でリシャッフル型SGDアルゴリズムを収束させるための厳密な収束解析を導き、様々な下流タスクやモデルアーキテクチャの広範な実験を通してその効果を実証する。 実用面では、我々の結果は一貫した性能向上を示し、大規模言語モデルの微調整のためのアプローチが実現可能であることを証明している。

関連論文リスト

• Deep Unfolding: Recent Developments, Theory, and Design Guidelines [99.63555420898554]
  この記事では、最適化アルゴリズムを構造化されたトレーニング可能なMLアーキテクチャに変換するフレームワークであるDeep Unfoldingのチュートリアルスタイルの概要を提供する。 推論と学習のための最適化の基礎を概観し、深層展開のための4つの代表的な設計パラダイムを導入し、その反復的な性質から生じる特有なトレーニングスキームについて議論する。
  論文  参考訳（メタデータ） (2025-12-03T13:16:35Z)
• Prompt and Parameter Co-Optimization for Large Language Models [35.72638351230096]
  LLM(Large Language Models)トレーニングのために,迅速な最適化と微調整を共同で統合する,新しいフレームワークであるMetaTunerを紹介する。 我々のフレームワークは、プロンプトとパラメータの最適な組み合わせを見つけるために最適化されている。 様々なベンチマーク実験により、我々の手法はベースラインを一貫して上回ることがわかった。
  論文  参考訳（メタデータ） (2025-09-29T03:38:25Z)
• Implicit Reward as the Bridge: A Unified View of SFT and DPO Connections [65.36449542323277]
  本稿では,Large Language Model (LLM) 後の学習において,SFT(Supervised Fine-Tuning) と優先学習を統合した理論フレームワークを提案する。 そこで本研究では,学習率の簡易かつ効果的な削減手法を提案する。
  論文  参考訳（メタデータ） (2025-06-15T05:42:29Z)
• Optimization-Inspired Few-Shot Adaptation for Large Language Models [25.439708260502556]
  LLM(Large Language Models)は、現実世界のアプリケーションで顕著な性能を示している。 LLMを微調整によって新しいタスクに適応させるには、数ショットのシナリオでは実行不可能な、実質的なトレーニングデータと計算資源が必要となることが多い。 既存のアプローチ、例えば、コンテキスト内学習や。 PEFT(Efficient Fine-Tuning)は、重要な制限に直面している。
  論文  参考訳（メタデータ） (2025-05-25T11:54:23Z)
• Gradient Correction in Federated Learning with Adaptive Optimization [19.93709245766609]
  クライアント-ドリフト補償を適応最適化に組み込む最初のアルゴリズムである tt FAdamGC を提案する。 tt FAdamGCは、様々なレベルのデータの通信とコストにおいて、既存の手法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2025-02-04T21:21:30Z)
• Majority Kernels: An Approach to Leverage Big Model Dynamics for Efficient Small Model Training [32.154166415680066]
  蒸留、圧縮、量子化といった手法は、高性能な大きなモデルを利用してより小さな性能のモデルを誘導するのに役立つ。 本稿では、単一トレーニングランが同時に、より大きなパフォーマンスモデルをトレーニングし、より小さなデプロイメントモデルを導出できるという仮説を考察する。
  論文  参考訳（メタデータ） (2024-02-07T17:07:41Z)
• When to Update Your Model: Constrained Model-based Reinforcement Learning [50.74369835934703]
  モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。 続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。 さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
  論文  参考訳（メタデータ） (2022-10-15T17:57:43Z)
• Optimization-Inspired Learning with Architecture Augmentations and Control Mechanisms for Low-Level Vision [74.9260745577362]
  本稿では,GDC(Generative, Discriminative, and Corrective)の原則を集約する,最適化に着想を得た統合学習フレームワークを提案する。 フレキシブルな組み合わせで最適化モデルを効果的に解くために,3つのプロパゲーティブモジュールを構築した。 低レベル視覚タスクにおける実験は、GDCの有効性と適応性を検証する。
  論文  参考訳（メタデータ） (2020-12-10T03:24:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。