論文の概要: Textual Gradients are a Flawed Metaphor for Automatic Prompt Optimization

• arxiv url: http://arxiv.org/abs/2512.13598v1
• Date: Mon, 15 Dec 2025 17:52:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-16 17:54:56.788301
• Title: Textual Gradients are a Flawed Metaphor for Automatic Prompt Optimization
• Title（参考訳）: テキストグラディエントは自動プロンプト最適化のための欠陥メタファーである
• Authors: Daniel Melcer, Qi Chen, Wen-Hao Chiang, Shweta Garg, Pranav Garg, Christian Bock,
• Abstract要約: 十分にエンジニアリングされたプロンプトは、大きな言語モデルの性能を向上させることができる。 自動プロンプト最適化技術は、プロンプトを調整するために人間の努力を必要とせず、パフォーマンスを向上させることを目的としている。
• 参考スコア（独自算出の注目度）: 6.847611418249102
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A well-engineered prompt can increase the performance of large language models; automatic prompt optimization techniques aim to increase performance without requiring human effort to tune the prompts. One leading class of prompt optimization techniques introduces the analogy of textual gradients. We investigate the behavior of these textual gradient methods through a series of experiments and case studies. While such methods often result in a performance improvement, our experiments suggest that the gradient analogy does not accurately explain their behavior. Our insights may inform the selection of prompt optimization strategies, and development of new approaches.
• Abstract（参考訳）: 十分にエンジニアリングされたプロンプトは、大きな言語モデルの性能を高めることができ、自動プロンプト最適化技術は、プロンプトを調整するために人間の努力を必要とせずに、パフォーマンスを向上させることを目的としている。 プロンプト最適化手法の第一級クラスは、テキスト勾配の類似を導入している。 本稿では, 一連の実験と事例研究を通じて, これらのテキスト勾配法の挙動について検討する。 このような手法は性能改善をもたらすことが多いが,本実験は勾配類似法がそれらの挙動を正確に説明していないことを示唆している。 我々の洞察は、迅速な最適化戦略の選択と新しいアプローチの開発を知らせるかもしれない。

関連論文リスト

• AutoGD: Automatic Learning Rate Selection for Gradient Descent [54.195493042469]
  本稿では,ある反復における学習率の増大や減少を自動的に決定する勾配降下法であるAutoGDを紹介する。 我々は、滑らか性定数の知識を必要とせず、幅広い種類の函数に対して、GDの最適速度(定数まで)を回復できることを示した。
  論文  参考訳（メタデータ） (2025-10-10T23:47:22Z)
• StraGo: Harnessing Strategic Guidance for Prompt Optimization [35.96577924228001]
  StraGoは、成功したケースと失敗したケースの両方からの洞察を活用することで、迅速な漂流を軽減するために設計された、新しいアプローチである。 具体的な行動可能な戦略を定式化するために、コンテキスト内学習を統合するハウツード手法を採用している。 推論、自然言語理解、ドメイン固有の知識、産業アプリケーションなど、さまざまなタスクで実施された実験は、StraGoの優れたパフォーマンスを実証している。
  論文  参考訳（メタデータ） (2024-10-11T07:55:42Z)
• Unleashing the Potential of Large Language Models as Prompt Optimizers: Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
  本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。 モデルパラメータ学習における2つの重要な要素を同定する。 グラディエントにインスパイアされた Prompt ベースの GPO を開発した。
  論文  参考訳（メタデータ） (2024-02-27T15:05:32Z)
• Interpreting Adaptive Gradient Methods by Parameter Scaling for Learning-Rate-Free Optimization [14.009179786857802]
  深層ニューラルネットワークの学習に使用される適応的勾配法について,学習率を推定する上での課題に対処する。 学習速度のないいくつかのアプローチが提案されているが、それらは典型的には最も急降下に適したものである。 本稿では,適応勾配法をパラメータスケールネットワークに適用した最も急勾配と解釈する。
  論文  参考訳（メタデータ） (2024-01-06T15:45:29Z)
• Automatic Prompt Optimization with "Gradient Descent" and Beam Search [64.08364384823645]
  大きな言語モデル(LLM)は汎用エージェントとして優れたパフォーマンスを示しているが、その能力はプロンプトに大きく依存している。 この問題に対する単純で非パラメトリックな解である自動プロンプト最適化(APO)を提案する。 APOはデータのミニバッチを使用して、現在のプロンプトを批判する自然言語「段階的」を形成する。 次に、勾配の反対の意味方向のプロンプトを編集することで、勾配をプロンプトに「伝播」する。
  論文  参考訳（メタデータ） (2023-05-04T15:15:22Z)
• Gradient-Free Textual Inversion [34.474779413929426]
  プロセス推論モデル推論モデルにのみアクセスすることで、テキストインバージョンを最適化できるかどうかを疑問視するのは自然なことです。 反復的進化戦略において,連続的なテキストの反転を最適化するための進化戦略を導入する。 提案手法を応用したテキスト・画像モデルの性能評価実験を行った。
  論文  参考訳（メタデータ） (2023-04-12T12:46:27Z)
• Adapting Stepsizes by Momentumized Gradients Improves Optimization and Generalization [89.66571637204012]
  textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。 textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。 textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。
  論文  参考訳（メタデータ） (2021-06-22T03:13:23Z)
• A Primer on Zeroth-Order Optimization in Signal Processing and Machine Learning [95.85269649177336]
  ZO最適化は、勾配推定、降下方向、ソリューション更新の3つの主要なステップを反復的に実行する。 我々は,ブラックボックス深層学習モデルによる説明文の評価や生成,効率的なオンラインセンサ管理など,ZO最適化の有望な応用を実証する。
  論文  参考訳（メタデータ） (2020-06-11T06:50:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。