論文の概要: Prompt and Parameter Co-Optimization for Large Language Models

• arxiv url: http://arxiv.org/abs/2509.24245v1
• Date: Mon, 29 Sep 2025 03:38:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.72758
• Title: Prompt and Parameter Co-Optimization for Large Language Models
• Title（参考訳）: 大規模言語モデルのプロンプトとパラメータ共最適化
• Authors: Xiaohe Bo, Rui Li, Zexu Sun, Quanyu Dai, Zeyu Zhang, Zihang Tian, Xu Chen, Zhenhua Dong,
• Abstract要約: LLM(Large Language Models)トレーニングのために,迅速な最適化と微調整を共同で統合する,新しいフレームワークであるMetaTunerを紹介する。 我々のフレームワークは、プロンプトとパラメータの最適な組み合わせを見つけるために最適化されている。 様々なベンチマーク実験により、我々の手法はベースラインを一貫して上回ることがわかった。
• 参考スコア（独自算出の注目度）: 35.72638351230096
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompt optimization and fine-tuning are two major approaches to improve the performance of Large Language Models (LLMs). They enhance the capabilities of LLMs from complementary perspectives: the former through explicit natural language, and the latter through implicit parameter updates. However, prior work has typically studied them in isolation, leaving their synergistic potential largely underexplored. To bridge this gap, in this paper, we introduce MetaTuner, a novel framework that jointly integrates prompt optimization and fine-tuning for LLM training. Specifically, we introduce two neural networks to generate prompts and parameters, respectively, while allowing them to share a common bottom encoding layer to enable knowledge sharing. By the guidance of the final supervised signals, our framework is optimized to discover the optimal combinations between the prompts and parameters. Given that prompt learning involves discrete optimization while fine-tuning operates in a continuous parameter space, we design a supervised regularization loss to train our framework effectively. Extensive experiments across diverse benchmarks show that our method consistently outperforms the baselines.
• Abstract（参考訳）: プロンプト最適化と微調整は、LLM(Large Language Models)の性能向上のための2つの主要なアプローチである。 前者から明示的な自然言語、後者は暗黙的なパラメータ更新を通じて、補完的な視点からLLMの機能を強化する。 しかしながら、以前の研究は通常それらを独立した形で研究し、その相乗的ポテンシャルは大部分が未発見のままである。 本稿では,このギャップを埋めるために,LLMトレーニングの迅速な最適化と微調整を共同で行う新しいフレームワークであるMetaTunerを紹介する。 具体的には、2つのニューラルネットワークを導入し、それぞれプロンプトとパラメータを生成し、共通のボトムエンコーディング層を共有して知識共有を可能にする。 最終的な教師付き信号の誘導により,我々のフレームワークは,プロンプトとパラメータの最適な組み合わせを見つけるために最適化されている。 連続的なパラメータ空間で微調整を行う間、素早い学習には離散的な最適化が伴うことを考慮し、フレームワークを効果的に訓練するために教師付き正規化損失を設計する。 様々なベンチマークによる大規模な実験により、我々の手法はベースラインを一貫して上回ることを示した。

関連論文リスト

• A Novel Self-Evolution Framework for Large Language Models [18.62332474172811]
  本稿では,ユーザの嗜好適応とドメイン固有能力を協調的に最適化する新しいDual-Phase Self-Evolutionフレームワークを提案する。 一般的なNLPベンチマークと長期対話タスクによる実験は、DPSEが常にSupervised Fine-Tuning、Preference Optimization、Memory-Augmented baselinesより優れていることを示している。
  論文  参考訳（メタデータ） (2025-07-21T06:30:39Z)
• Implicit Reward as the Bridge: A Unified View of SFT and DPO Connections [65.36449542323277]
  本稿では,Large Language Model (LLM) 後の学習において,SFT(Supervised Fine-Tuning) と優先学習を統合した理論フレームワークを提案する。 そこで本研究では,学習率の簡易かつ効果的な削減手法を提案する。
  論文  参考訳（メタデータ） (2025-06-15T05:42:29Z)
• Align-Pro: A Principled Approach to Prompt Optimization for LLM Alignment [40.71270945505082]
  大規模言語モデル(LLM)は、様々な社会的および意思決定プロセスに統合されつつある。 人間のフィードバックからの強化学習(RLHF)のような従来の手法は、微調整モデルパラメータによるアライメントを実現する。 対照的に、迅速な最適化はLLMアライメントのためのRLHFの代替となる。
  論文  参考訳（メタデータ） (2025-01-07T03:14:39Z)
• The Ultimate Guide to Fine-Tuning LLMs from Basics to Breakthroughs: An Exhaustive Review of Technologies, Research, Best Practices, Applied Research Challenges and Opportunities [0.35998666903987897]
  本稿では,Large Language Models (LLM) の微調整について検討する。 従来の自然言語処理(NLP)モデルから、AIにおける彼らの重要な役割まで、LLMの歴史的進化を概説している。 本報告では, 微調整LDMのための構造化7段パイプラインについて紹介する。
  論文  参考訳（メタデータ） (2024-08-23T14:48:02Z)
• LLM as a Complementary Optimizer to Gradient Descent: A Case Study in Prompt Tuning [69.95292905263393]
  グラデーションベースとハイレベルなLLMは、協調最適化フレームワークを効果的に組み合わせることができることを示す。 本稿では,これらを相互に補完し,組み合わせた最適化フレームワークを効果的に連携させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-30T06:24:14Z)
• Unleashing the Potential of Large Language Models as Prompt Optimizers: Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
  本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。 モデルパラメータ学習における2つの重要な要素を同定する。 グラディエントにインスパイアされた Prompt ベースの GPO を開発した。
  論文  参考訳（メタデータ） (2024-02-27T15:05:32Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。