論文の概要: A Survey of Automatic Prompt Engineering: An Optimization Perspective

• arxiv url: http://arxiv.org/abs/2502.11560v1
• Date: Mon, 17 Feb 2025 08:48:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:14:34.942132
• Title: A Survey of Automatic Prompt Engineering: An Optimization Perspective
• Title（参考訳）: 自動プロンプト工学に関するサーベイ:最適化の視点から
• Authors: Wenwu Li, Xiangfeng Wang, Wenhao Li, Bo Jin,
• Abstract要約: 本稿では,統合最適化理論レンズによる自動プロンプト工学の総合的な研究について紹介する。 我々は離散的かつ連続的でハイブリッドなプロンプト空間上の問題としてプロンプト最適化を定式化する。 制約のある最適化とエージェント指向のプロンプト設計において、未探索のフロンティアを強調した。
• 参考スコア（独自算出の注目度）: 18.933465526053453
• License:
• Abstract: The rise of foundation models has shifted focus from resource-intensive fine-tuning to prompt engineering, a paradigm that steers model behavior through input design rather than weight updates. While manual prompt engineering faces limitations in scalability, adaptability, and cross-modal alignment, automated methods, spanning foundation model (FM) based optimization, evolutionary methods, gradient-based optimization, and reinforcement learning, offer promising solutions. Existing surveys, however, remain fragmented across modalities and methodologies. This paper presents the first comprehensive survey on automated prompt engineering through a unified optimization-theoretic lens. We formalize prompt optimization as a maximization problem over discrete, continuous, and hybrid prompt spaces, systematically organizing methods by their optimization variables (instructions, soft prompts, exemplars), task-specific objectives, and computational frameworks. By bridging theoretical formulation with practical implementations across text, vision, and multimodal domains, this survey establishes a foundational framework for both researchers and practitioners, while highlighting underexplored frontiers in constrained optimization and agent-oriented prompt design.
• Abstract（参考訳）: 基礎モデルの台頭は、リソース集約的な微調整からエンジニアリングの促進へと焦点を移している。 手動のプロンプトエンジニアリングは、スケーラビリティ、適応性、クロスモーダルアライメント、自動化されたメソッド、ファンデーションモデル(FM)ベースの最適化、進化的手法、勾配に基づく最適化、強化学習の制限に直面している。 しかし、既存の調査は、モダリティと方法論にまたがって断片化されている。 本稿では,統合最適化理論レンズによる自動プロンプト工学の総合的な研究について紹介する。 離散的かつ連続的かつハイブリッドなプロンプト空間上の最大化問題としてプロンプト最適化を形式化し、最適化変数(命令、ソフトプロンプト、例)、タスク固有の目的、計算フレームワークによる手法を体系的に整理する。 本研究は,テキスト,ビジョン,マルチモーダル領域にまたがる実践的実装による理論的定式化を図り,制約のある最適化とエージェント指向のプロンプト設計において未探索のフロンティアを強調しながら,研究者と実践者の基盤となる枠組みを確立する。

関連論文リスト

• Hateful Meme Detection through Context-Sensitive Prompting and Fine-Grained Labeling [9.166963162285064]
  複雑なタスクにおけるモデル最適化のためのエンドツーエンドの概念フレームワークを提案する。 実験は、この伝統的な新しいフレームワークの有効性をサポートし、高い精度とAUROCを達成する。
  論文  参考訳（メタデータ） (2024-11-13T08:05:41Z)
• Prompt Tuning with Diffusion for Few-Shot Pre-trained Policy Generalization [55.14484317645865]
  我々は,オフライン強化学習タスクにおいて,例外的な品質向上を促す条件拡散モデルを構築した。 本稿では,Promptディフューザがプロンプトチューニングプロセスの堅牢かつ効果的なツールであることを示し,メタRLタスクにおいて高い性能を示す。
  論文  参考訳（メタデータ） (2024-11-02T07:38:02Z)
• Deep Insights into Automated Optimization with Large Language Models and Evolutionary Algorithms [3.833708891059351]
  大きな言語モデル(LLM)と進化的アルゴリズム(EA)は、制限を克服し、最適化をより自動化するための有望な新しいアプローチを提供する。 LLMは最適化戦略の生成、洗練、解釈が可能な動的エージェントとして機能する。 EAは進化作用素を通して、複雑な解空間を効率的に探索する。
  論文  参考訳（メタデータ） (2024-10-28T09:04:49Z)
• Learning Joint Models of Prediction and Optimization [56.04498536842065]
  Predict-Then-Thenフレームワークは、機械学習モデルを使用して、最適化問題の未知のパラメータを、解決前の機能から予測する。 本稿では,共同予測モデルを用いて観測可能特徴から最適解を直接学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-07T19:52:14Z)
• Unleashing the Potential of Large Language Models as Prompt Optimizers: Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
  本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。 モデルパラメータ学習における2つの重要な要素を同定する。 グラディエントにインスパイアされた Prompt ベースの GPO を開発した。
  論文  参考訳（メタデータ） (2024-02-27T15:05:32Z)
• End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
  機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。 本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。 この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:33:35Z)
• Aligning Optimization Trajectories with Diffusion Models for Constrained Design Generation [17.164961143132473]
  本稿では,拡散モデルのサンプリング軌跡と従来の物理法に基づく最適化軌跡との整合性を示す学習フレームワークを提案する。 提案手法では,高コストプリプロセッシングや外部サロゲートモデル,ラベル付きデータの追加を必要とせずに,実用的で高性能な設計を2段階で生成することができる。 この結果から, TAは分布内構成における最先端の深層生成モデルより優れ, 推論計算コストを半減することがわかった。
  論文  参考訳（メタデータ） (2023-05-29T09:16:07Z)
• Diffusing the Optimal Topology: A Generative Optimization Approach [6.375982344506753]
  トポロジ最適化は、システム性能を最大化しながら制約セットを満たす最良の設計を見つけようとしている。 SIMPのような従来の反復最適化手法は計算コストがかかり、ローカルのミニマに留まることがある。 本研究では、SIMPのような古典最適化を深い生成モデルによって生成されるトポロジの精製機構として統合する生成最適化手法を提案する。
  論文  参考訳（メタデータ） (2023-03-17T03:47:10Z)
• Agent-based Collaborative Random Search for Hyper-parameter Tuning and Global Function Optimization [0.0]
  本稿では,機械学習モデルにおける任意のハイパーパラメータの任意の集合に対する近似値を求めるためのエージェントベース協調手法を提案する。 提案モデルの動作,特に設計パラメータの変化に対して,機械学習およびグローバル関数最適化アプリケーションの両方で検討する。
  論文  参考訳（メタデータ） (2023-03-03T21:10:17Z)
• Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。 本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
  論文  参考訳（メタデータ） (2023-01-28T01:50:42Z)
• Optimization-Inspired Learning with Architecture Augmentations and Control Mechanisms for Low-Level Vision [74.9260745577362]
  本稿では,GDC(Generative, Discriminative, and Corrective)の原則を集約する,最適化に着想を得た統合学習フレームワークを提案する。 フレキシブルな組み合わせで最適化モデルを効果的に解くために,3つのプロパゲーティブモジュールを構築した。 低レベル視覚タスクにおける実験は、GDCの有効性と適応性を検証する。
  論文  参考訳（メタデータ） (2020-12-10T03:24:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。