論文の概要: LLM as a Complementary Optimizer to Gradient Descent: A Case Study in Prompt Tuning

• arxiv url: http://arxiv.org/abs/2405.19732v4
• Date: Wed, 04 Dec 2024 15:20:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-05 15:06:08.804809
• Title: LLM as a Complementary Optimizer to Gradient Descent: A Case Study in Prompt Tuning
• Title（参考訳）: グラディエントDescenceに対する補足的最適化としてのLCM--プロンプトチューニングを例として-
• Authors: Zixian Guo, Ming Liu, Zhilong Ji, Jinfeng Bai, Yiwen Guo, Wangmeng Zuo,
• Abstract要約: グラデーションベースとハイレベルなLLMは、協調最適化フレームワークを効果的に組み合わせることができることを示す。 本稿では,これらを相互に補完し,組み合わせた最適化フレームワークを効果的に連携させることができることを示す。
• 参考スコア（独自算出の注目度）: 69.95292905263393
• License:
• Abstract: Mastering a skill generally relies on both hands-on experience from doers and insightful, high-level guidance by mentors. Will this strategy also work well for solving complex non-convex optimization problems? Here, a common gradient-based optimizer acts like a disciplined doer, making locally optimal updates at each step. Large Language Models (LLMs) can also search for better solutions by inferring from natural language instructions, akin to a high-level mentor. In this paper, we show that these two participators are complementary to each other and can effectively collaborate as a combined optimization framework. The collaborative optimization is achieved by alternating between the gradient-based and LLM-based optimizers. We instruct LLMs to generate possibly improved solutions by taking parameter trajectories recorded during the previous stage of gradient-based optimization into account. Inferred results of LLMs are used as restarting points for the next stage of gradient optimization. We verify the effectiveness of this optimization framework on prompt tuning. By leveraging both the locally rigorous gradient-based optimizer and the high-level deductive LLM-based optimizer, the combined optimization method consistently yields improvements over competitive baselines on a variety of tasks. Our results demonstrate the synergistic effect of conventional gradient-based optimization and the inference ability of LLMs. The code is released at https://github.com/guozix/LLM-catalyst.
• Abstract（参考訳）: スキルの習得は一般的に、実践者からのハンズオン経験と、メンターによる洞察に富んだハイレベルなガイダンスの両方に依存します。 この戦略は複雑な非凸最適化問題の解決にも有効か? ここでは、共通の勾配ベースのオプティマイザが規律のあるドーラのように動作し、各ステップで局所的に最適な更新を行う。 大規模言語モデル(LLM)は、高レベルのメンターと同様、自然言語命令から推論することで、より良いソリューションを探すこともできる。 本稿では,これら2つの参加者が相互に補完的であり,統合最適化フレームワークとして効果的に連携可能であることを示す。 協調最適化は、勾配に基づく最適化とLLMに基づく最適化を交互に行うことで達成される。 我々は、勾配最適化の前の段階で記録されたパラメータ軌跡を考慮に入れ、LCMに潜在的に改善可能な解を生成するよう指示する。 勾配最適化の次の段階における再起動点として, LLMの推算結果を用いる。 本稿では,この最適化フレームワークの即時チューニングにおける有効性を検証する。 局所的な厳密な勾配に基づく最適化器と高レベルな導出性LLMに基づく最適化器の両方を活用することにより、組合せ最適化法は様々なタスクにおける競争ベースラインよりも一貫して改善される。 本研究は,従来の勾配最適化の相乗効果とLLMの推論能力を示すものである。 コードはhttps://github.com/guozix/LLM-catalystでリリースされる。

関連論文リスト

• Search-Based LLMs for Code Optimization [16.843870288512363]
  開発者によって書かれたコードは、通常効率上の問題に悩まされ、様々なパフォーマンス上のバグを含んでいる。 最近の研究は、タスクをシーケンス生成問題とみなし、大規模言語モデル(LLM)のようなディープラーニング(DL)技術を活用している。 改良された最適化手法の反復的洗練と発見を可能にする,SBLLM という検索ベース LLM フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-22T06:59:46Z)
• Iterative or Innovative? A Problem-Oriented Perspective for Code Optimization [81.88668100203913]
  大規模言語モデル(LLM)は、幅広いプログラミングタスクを解く上で強力な能力を示している。 本稿では,パフォーマンス向上に着目したコード最適化について検討する。
  論文  参考訳（メタデータ） (2024-06-17T16:10:10Z)
• The Importance of Directional Feedback for LLM-based Optimizers [23.669705029245645]
  本研究では,自然言語と数値フィードバックを用いてテキスト空間の問題を解決する対話型言語モデル (LLM) の可能性について検討する。 我々は,過去の最適化トレースから指向性フィードバックを合成し,繰り返しよりも信頼性の高い改善を実現するLLMベースの新しい設計を行う。
  論文  参考訳（メタデータ） (2024-05-26T05:22:35Z)
• Large Language Model-Based Evolutionary Optimizer: Reasoning with elitism [1.1463861912335864]
  大規模言語モデル(LLM)は、顕著な推論能力を示している。 本稿では,LLMが様々なシナリオにまたがるゼロショット最適化能力を有していることを主張する。 LLMを用いた数値最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-03-04T13:57:37Z)
• Unleashing the Potential of Large Language Models as Prompt Optimizers: An Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
  本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。 モデルパラメータ学習における2つの重要な要素を同定する。 特に、勾配に基づく最適化から理論的な枠組みや学習手法を借用し、改良された戦略を設計する。
  論文  参考訳（メタデータ） (2024-02-27T15:05:32Z)
• Large Language Models as Optimizers [106.52386531624532]
  本稿では,大規模言語モデル (LLM) をプロンプトとして活用するためのシンプルで効果的な手法である Prompting (OPRO) を提案する。 各最適化ステップにおいて、LLMは、前述した値を含むプロンプトから新しい解を生成する。 OPROにより最適化された最良のプロンプトは、GSM8Kで最大8%、Big-Bench Hardタスクで最大50%向上することを示した。
  論文  参考訳（メタデータ） (2023-09-07T00:07:15Z)
• An Empirical Evaluation of Zeroth-Order Optimization Methods on AI-driven Molecule Optimization [78.36413169647408]
  分子目的を最適化するための様々なZO最適化手法の有効性について検討する。 ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。 本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-10-27T01:58:10Z)
• A Primer on Zeroth-Order Optimization in Signal Processing and Machine Learning [95.85269649177336]
  ZO最適化は、勾配推定、降下方向、ソリューション更新の3つの主要なステップを反復的に実行する。 我々は,ブラックボックス深層学習モデルによる説明文の評価や生成,効率的なオンラインセンサ管理など,ZO最適化の有望な応用を実証する。
  論文  参考訳（メタデータ） (2020-06-11T06:50:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。