論文の概要: A Survey of Automatic Prompt Engineering: An Optimization Perspective

• arxiv url: http://arxiv.org/abs/2502.11560v1
• Date: Mon, 17 Feb 2025 08:48:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 20:34:45.158976
• Title: A Survey of Automatic Prompt Engineering: An Optimization Perspective
• Title（参考訳）: 自動プロンプト工学に関するサーベイ:最適化の視点から
• Authors: Wenwu Li, Xiangfeng Wang, Wenhao Li, Bo Jin,
• Abstract要約: 本稿では,統合最適化理論レンズによる自動プロンプト工学の総合的な研究について紹介する。 我々は離散的かつ連続的でハイブリッドなプロンプト空間上の問題としてプロンプト最適化を定式化する。 制約のある最適化とエージェント指向のプロンプト設計において、未探索のフロンティアを強調した。
• 参考スコア（独自算出の注目度）: 18.933465526053453
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rise of foundation models has shifted focus from resource-intensive fine-tuning to prompt engineering, a paradigm that steers model behavior through input design rather than weight updates. While manual prompt engineering faces limitations in scalability, adaptability, and cross-modal alignment, automated methods, spanning foundation model (FM) based optimization, evolutionary methods, gradient-based optimization, and reinforcement learning, offer promising solutions. Existing surveys, however, remain fragmented across modalities and methodologies. This paper presents the first comprehensive survey on automated prompt engineering through a unified optimization-theoretic lens. We formalize prompt optimization as a maximization problem over discrete, continuous, and hybrid prompt spaces, systematically organizing methods by their optimization variables (instructions, soft prompts, exemplars), task-specific objectives, and computational frameworks. By bridging theoretical formulation with practical implementations across text, vision, and multimodal domains, this survey establishes a foundational framework for both researchers and practitioners, while highlighting underexplored frontiers in constrained optimization and agent-oriented prompt design.
• Abstract（参考訳）: 基礎モデルの台頭は、リソース集約的な微調整からエンジニアリングの促進へと焦点を移している。 手動のプロンプトエンジニアリングは、スケーラビリティ、適応性、クロスモーダルアライメント、自動化されたメソッド、ファンデーションモデル(FM)ベースの最適化、進化的手法、勾配に基づく最適化、強化学習の制限に直面している。 しかし、既存の調査は、モダリティと方法論にまたがって断片化されている。 本稿では,統合最適化理論レンズによる自動プロンプト工学の総合的な研究について紹介する。 離散的かつ連続的かつハイブリッドなプロンプト空間上の最大化問題としてプロンプト最適化を形式化し、最適化変数(命令、ソフトプロンプト、例)、タスク固有の目的、計算フレームワークによる手法を体系的に整理する。 本研究は,テキスト,ビジョン,マルチモーダル領域にまたがる実践的実装による理論的定式化を図り,制約のある最適化とエージェント指向のプロンプト設計において未探索のフロンティアを強調しながら,研究者と実践者の基盤となる枠組みを確立する。

関連論文リスト

• Offline Model-Based Optimization: Comprehensive Review [61.91350077539443]
  オフライン最適化は、オフラインデータセットのみを使用してブラックボックス機能の最適化を目標とする、科学とエンジニアリングの基本的な課題である。 モデルベース最適化の最近の進歩は、オフライン固有の代理モデルと生成モデルを開発するために、ディープニューラルネットワークの一般化能力を活用している。 科学的な発見を加速させる効果が増大しているにもかかわらず、この分野は包括的なレビューを欠いている。
  論文  参考訳（メタデータ） (2025-03-21T16:35:02Z)
• A Survey on the Optimization of Large Language Model-based Agents [16.733092886211097]
  大規模言語モデル(LLM)は様々な分野で広く採用されており、自律的な意思決定や対話的なタスクに欠かせないものとなっている。 しかしながら、現在の作業は通常、バニラLLMに適用された迅速な設計や微調整戦略に依存している。 LLMに基づくエージェント最適化手法の総合的なレビューを行い、パラメータ駆動型およびパラメータフリーな手法に分類する。
  論文  参考訳（メタデータ） (2025-03-16T10:09:10Z)
• A Survey on Inference Optimization Techniques for Mixture of Experts Models [50.40325411764262]
  大規模Mixture of Experts(MoE)モデルは、条件計算によるモデル容量と計算効率の向上を提供する。 これらのモデル上で推論をデプロイし実行することは、計算資源、レイテンシ、エネルギー効率において大きな課題を示す。 本調査では,システムスタック全体にわたるMoEモデルの最適化手法について分析する。
  論文  参考訳（メタデータ） (2024-12-18T14:11:15Z)
• Prompt Tuning with Diffusion for Few-Shot Pre-trained Policy Generalization [55.14484317645865]
  我々は,オフライン強化学習タスクにおいて,例外的な品質向上を促す条件拡散モデルを構築した。 本稿では,Promptディフューザがプロンプトチューニングプロセスの堅牢かつ効果的なツールであることを示し,メタRLタスクにおいて高い性能を示す。
  論文  参考訳（メタデータ） (2024-11-02T07:38:02Z)
• Deep Insights into Automated Optimization with Large Language Models and Evolutionary Algorithms [3.833708891059351]
  大きな言語モデル(LLM)と進化的アルゴリズム(EA)は、制限を克服し、最適化をより自動化するための有望な新しいアプローチを提供する。 LLMは最適化戦略の生成、洗練、解釈が可能な動的エージェントとして機能する。 EAは進化作用素を通して、複雑な解空間を効率的に探索する。
  論文  参考訳（メタデータ） (2024-10-28T09:04:49Z)
• Learning Joint Models of Prediction and Optimization [56.04498536842065]
  Predict-Then-Thenフレームワークは、機械学習モデルを使用して、最適化問題の未知のパラメータを、解決前の機能から予測する。 本稿では,共同予測モデルを用いて観測可能特徴から最適解を直接学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-07T19:52:14Z)
• Aligning Optimization Trajectories with Diffusion Models for Constrained Design Generation [17.164961143132473]
  本稿では,拡散モデルのサンプリング軌跡と従来の物理法に基づく最適化軌跡との整合性を示す学習フレームワークを提案する。 提案手法では,高コストプリプロセッシングや外部サロゲートモデル,ラベル付きデータの追加を必要とせずに,実用的で高性能な設計を2段階で生成することができる。 この結果から, TAは分布内構成における最先端の深層生成モデルより優れ, 推論計算コストを半減することがわかった。
  論文  参考訳（メタデータ） (2023-05-29T09:16:07Z)
• Diffusing the Optimal Topology: A Generative Optimization Approach [6.375982344506753]
  トポロジ最適化は、システム性能を最大化しながら制約セットを満たす最良の設計を見つけようとしている。 SIMPのような従来の反復最適化手法は計算コストがかかり、ローカルのミニマに留まることがある。 本研究では、SIMPのような古典最適化を深い生成モデルによって生成されるトポロジの精製機構として統合する生成最適化手法を提案する。
  論文  参考訳（メタデータ） (2023-03-17T03:47:10Z)
• Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。 本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
  論文  参考訳（メタデータ） (2023-01-28T01:50:42Z)
• Optimization-Inspired Learning with Architecture Augmentations and Control Mechanisms for Low-Level Vision [74.9260745577362]
  本稿では,GDC(Generative, Discriminative, and Corrective)の原則を集約する,最適化に着想を得た統合学習フレームワークを提案する。 フレキシブルな組み合わせで最適化モデルを効果的に解くために,3つのプロパゲーティブモジュールを構築した。 低レベル視覚タスクにおける実験は、GDCの有効性と適応性を検証する。
  論文  参考訳（メタデータ） (2020-12-10T03:24:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。