論文の概要: The Importance of Directional Feedback for LLM-based Optimizers

• arxiv url: http://arxiv.org/abs/2405.16434v2
• Date: Thu, 20 Jun 2024 16:10:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-22 03:49:28.194391
• Title: The Importance of Directional Feedback for LLM-based Optimizers
• Title（参考訳）: LLMを用いた最適化における方向フィードバックの重要性
• Authors: Allen Nie, Ching-An Cheng, Andrey Kolobov, Adith Swaminathan,
• Abstract要約: 本研究では,自然言語と数値フィードバックを用いてテキスト空間の問題を解決する対話型言語モデル (LLM) の可能性について検討する。 我々は,過去の最適化トレースから指向性フィードバックを合成し,繰り返しよりも信頼性の高い改善を実現するLLMベースの新しい設計を行う。
• 参考スコア（独自算出の注目度）: 23.669705029245645
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the potential of using large language models (LLMs) as an interactive optimizer for solving maximization problems in a text space using natural language and numerical feedback. Inspired by the classical optimization literature, we classify the natural language feedback into directional and non-directional, where the former is a generalization of the first-order feedback to the natural language space. We find that LLMs are especially capable of optimization when they are provided with {directional feedback}. Based on this insight, we design a new LLM-based optimizer that synthesizes directional feedback from the historical optimization trace to achieve reliable improvement over iterations. Empirically, we show our LLM-based optimizer is more stable and efficient in solving optimization problems, from maximizing mathematical functions to optimizing prompts for writing poems, compared with existing techniques.
• Abstract（参考訳）: 自然言語と数値フィードバックを用いてテキスト空間における最大化問題を解くための対話型オプティマイザとして,大規模言語モデル(LLM)を用いる可能性について検討する。 古典最適化の文献に触発されて、我々は自然言語のフィードバックを指向性および非指向性に分類し、前者は自然言語空間への一階フィードバックの一般化である。 指向性フィードバックが提供される場合, LLM は特に最適化可能であることがわかった。 この知見に基づいて,従来の最適化トレースから指向性フィードバックを合成し,繰り返しよりも信頼性の高い改善を実現するLLMベースのオプティマイザを設計する。 実験により, LLMに基づく最適化手法は, 数学的関数の最大化から詩の書き方への最適化に至るまで, 既存の手法と比較して, 最適化問題の解法において, より安定かつ効率的であることを示す。

関連論文リスト

• Towards Explainable Evolution Strategies with Large Language Models [0.0]
  本稿では,自己適応的進化戦略(ES)と大規模言語モデル(LLM)を統合するアプローチを提案する。 我々は、フィットネスの進化、ステップサイズの調整、停滞によるイベントの再スタートなど、最適化の旅の詳細なログを収集する。 LLMを使用してこれらのログを処理し、簡潔でユーザフレンドリーな要約を生成する。
  論文  参考訳（メタデータ） (2024-07-11T09:28:27Z)
• Iterative or Innovative? A Problem-Oriented Perspective for Code Optimization [81.88668100203913]
  大規模言語モデル(LLM)は、幅広いプログラミングタスクを解く上で強力な能力を示している。 本稿では,パフォーマンス向上に着目したコード最適化について検討する。
  論文  参考訳（メタデータ） (2024-06-17T16:10:10Z)
• Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
  オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。 我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。 実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:58:41Z)
• Two Optimizers Are Better Than One: LLM Catalyst Empowers Gradient-Based Optimization for Prompt Tuning [69.95292905263393]
  我々は,勾配に基づく最適化と大規模言語モデル(MsLL)が相互補完的であることを示し,協調的な最適化手法を提案する。 私たちのコードはhttps://www.guozix.com/guozix/LLM-catalystでリリースされています。
  論文  参考訳（メタデータ） (2024-05-30T06:24:14Z)
• Large Language Model-Based Evolutionary Optimizer: Reasoning with elitism [1.1463861912335864]
  大規模言語モデル(LLM)は、顕著な推論能力を示している。 本稿では,LLMが様々なシナリオにまたがるゼロショット最適化能力を有していることを主張する。 LLMを用いた数値最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-03-04T13:57:37Z)
• Unleashing the Potential of Large Language Models as Prompt Optimizers: An Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
  本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。 モデルパラメータ学習における2つの重要な要素を同定する。 特に、勾配に基づく最適化から理論的な枠組みや学習手法を借用し、改良された戦略を設計する。
  論文  参考訳（メタデータ） (2024-02-27T15:05:32Z)
• Are Large Language Models Good Prompt Optimizers? [65.48910201816223]
  我々は,LLMに基づくPrompt Optimizationの実際のメカニズムを明らかにするために研究を行っている。 以上の結果から, LLMは, 反射中の誤差の真の原因を特定するのに苦慮し, 自己の事前知識に偏っていることが明らかとなった。 我々は、より制御可能な方法でターゲットモデルの振舞いを直接最適化する新しい「自動振舞い最適化」パラダイムを導入する。
  論文  参考訳（メタデータ） (2024-02-03T09:48:54Z)
• Large Language Models as Optimizers [106.52386531624532]
  本稿では,大規模言語モデル (LLM) をプロンプトとして活用するためのシンプルで効果的な手法である Prompting (OPRO) を提案する。 各最適化ステップにおいて、LLMは、前述した値を含むプロンプトから新しい解を生成する。 OPROにより最適化された最良のプロンプトは、GSM8Kで最大8%、Big-Bench Hardタスクで最大50%向上することを示した。
  論文  参考訳（メタデータ） (2023-09-07T00:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。