論文の概要: What Should We Engineer in Prompts? Training Humans in Requirement-Driven LLM Use

• arxiv url: http://arxiv.org/abs/2409.08775v3
• Date: Mon, 28 Apr 2025 16:07:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-29 18:43:10.923146
• Title: What Should We Engineer in Prompts? Training Humans in Requirement-Driven LLM Use
• Title（参考訳）: プロンプトのエンジニアは何をすればいいのか? : 要求駆動型LLM使用のトレーニング人間
• Authors: Qianou Ma, Weirui Peng, Chenyang Yang, Hua Shen, Kenneth Koedinger, Tongshuang Wu,
• Abstract要約: 既存のプロンプトエンジニアリングの指示は、しばしば要求調節に焦点を合わせる訓練を欠いている。 本稿では,要求指向型プロンプトエンジニアリング(ROPE)について紹介する。 30人の初心者によるランダム化制御実験では、ROPEは従来のプロンプトエンジニアリングトレーニングよりも大幅に優れています。
• 参考スコア（独自算出の注目度）: 30.933375576806156
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompting LLMs for complex tasks (e.g., building a trip advisor chatbot) needs humans to clearly articulate customized requirements (e.g., "start the response with a tl;dr"). However, existing prompt engineering instructions often lack focused training on requirement articulation and instead tend to emphasize increasingly automatable strategies (e.g., tricks like adding role-plays and "think step-by-step"). To address the gap, we introduce Requirement-Oriented Prompt Engineering (ROPE), a paradigm that focuses human attention on generating clear, complete requirements during prompting. We implement ROPE through an assessment and training suite that provides deliberate practice with LLM-generated feedback. In a randomized controlled experiment with 30 novices, ROPE significantly outperforms conventional prompt engineering training (20% vs. 1% gains), a gap that automatic prompt optimization cannot close. Furthermore, we demonstrate a direct correlation between the quality of input requirements and LLM outputs. Our work paves the way to empower more end-users to build complex LLM applications.
• Abstract（参考訳）: 複雑なタスク(例:トリップアドバイザチャットボットの構築)のためにLLMをプロンプトするには、人間が明確にカスタマイズされた要求(例:「tl;drで応答を開始する」)を明確にする必要がある。 しかしながら、既存のプロンプトエンジニアリングの指示は、要求の具体化に関するトレーニングを欠いていることが多く、代わりに、より自動化可能な戦略(例えば、ロールプレイの追加や"ステップバイステップ"のようなトリック)を強調する傾向がある。 このギャップに対処するために,我々は要求指向型プロンプトエンジニアリング(ROPE)を紹介した。 LLM生成フィードバックを意図的に実践する評価・トレーニングスイートを通じてROPEを実装した。 30人の初心者によるランダム化制御実験では、ROPEは従来のプロンプトエンジニアリングトレーニング(20%対1%ゲイン)よりも大幅に優れており、自動プロンプト最適化ではクローズできないギャップがある。 さらに,入力条件の品質とLLM出力との直接的な相関関係を示す。 当社の作業は、より多くのエンドユーザが複雑なLLMアプリケーションを構築するための道を開くものです。

関連論文リスト

• Grounding Multimodal LLMs to Embodied Agents that Ask for Help with Reinforcement Learning [48.098838027631494]
  現実の環境で活動する身体的エージェントは、曖昧で特定されていない人間の指示を解釈しなければならない。 本研究では,Ask-to-Actタスクを導入し,具体的エージェントがホーム環境においてあいまいな指示を受けると,特定のオブジェクトインスタンスをフェッチしなければならない。 LLM生成報酬を用いたオンライン強化学習(RL)を用いた視覚言語行動(VLA)ポリシーとして,マルチモーダル大規模言語モデル(MLLM)を微調整する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2025-04-01T15:41:50Z)
• PECTP: Parameter-Efficient Cross-Task Prompts for Incremental Vision Transformer [76.39111896665585]
  インクリメンタルラーニング(IL)は、シーケンシャルタスクの深いモデルを継続的に学習することを目的としている。 近年の大規模事前訓練モデル (PTM) は, 従来の試料を含まない実用ILにおいて, 即時的手法により優れた性能を発揮している。
  論文  参考訳（メタデータ） (2024-07-04T10:37:58Z)
• RePrompt: Planning by Automatic Prompt Engineering for Large Language Models Agents [27.807695570974644]
  LLMエージェントに与えられたプロンプトのステップバイステップ命令を最適化するために、段階的な降下を行う新しい方法、textscRePromptを提案する。 中間的なフィードバックを活用することで、 textscRePromptは最終的なソリューションチェッカーを必要とせずにプロンプトを最適化できる。
  論文  参考訳（メタデータ） (2024-06-17T01:23:11Z)
• Towards Hierarchical Multi-Agent Workflows for Zero-Shot Prompt Optimization [19.200989737492595]
  大規模言語モデル(LLM)は、ユーザの質問に答える上で大きな進歩を見せている。 LLMの出力の品質はプロンプト設計に大きく依存しており、優れたプロンプトによってLLMが非常に難しい問題に正しく答えられる可能性がある。 LLMの階層構造を提案し、まず、正確な指示と正確な単語を階層的に生成し、次に、このプロンプトを用いてユーザクエリの最終回答を生成する。
  論文  参考訳（メタデータ） (2024-05-30T17:05:45Z)
• PromptWizard: Task-Aware Prompt Optimization Framework [2.618253052454435]
  大規模言語モデル(LLM)は、さまざまなドメインでAIを変換している。 手動プロンプトエンジニアリングは、労働集約的かつドメイン固有である。 本稿では、離散的なプロンプト最適化のための新しい完全に自動化されたフレームワークであるPromptWizardを紹介する。
  論文  参考訳（メタデータ） (2024-05-28T17:08:31Z)
• Efficient Prompting Methods for Large Language Models: A Survey [50.171011917404485]
  プロンプティングは、特定の自然言語処理タスクに大規模言語モデル(LLM)を適用するための主流パラダイムとなっている。 このアプローチは、LLMの振る舞いをガイドし、制御するために、モデル推論と人間の努力のさらなる計算負担をもたらす。 本稿では, 今後の研究の方向性を明らかにするため, 促進, 効率的な促進のための進歩を概説する。
  論文  参考訳（メタデータ） (2024-04-01T12:19:08Z)
• Exploring Prompt Engineering Practices in the Enterprise [3.7882262667445734]
  プロンプト(英: prompt)は、モデルから特定の振る舞いや出力を引き出すように設計された自然言語命令である。 特定の要求のある複雑なタスクやタスクに対して、迅速な設計は簡単ではない。 我々は、プロンプト編集行動のセッションを分析し、ユーザが反復したプロンプトの一部と、それらが行った変更の種類を分類する。
  論文  参考訳（メタデータ） (2024-03-13T20:32:32Z)
• Towards Generalist Prompting for Large Language Models by Mental Models [105.03747314550591]
  大規模言語モデル(LLM)は多くのタスクにおいて素晴らしいパフォーマンスを示している。 最適な性能を達成するには、特別に設計されたプロンプト法が必要である。 本稿では,最適あるいは準最適性能を実現する設計原理に基づくジェネラリストプロンプトの概念を紹介する。
  論文  参考訳（メタデータ） (2024-02-28T11:29:09Z)
• A Prompt Learning Framework for Source Code Summarization [19.24919436211323]
  本稿では,PromptCSと呼ばれるコード要約のための効果的なプロンプト学習フレームワークを提案する。 PromptCSはプロンプトエージェントを訓練し、コード要約において大きな言語モデルの可能性を解き放つために連続的なプロンプトを生成する。
  論文  参考訳（メタデータ） (2023-12-26T14:37:55Z)
• A Survey on Prompting Techniques in LLMs [0.0]
  自己回帰型大規模言語モデルは自然言語処理のランドスケープに変化をもたらした。 本研究は,既存の文献の分類手法について紹介し,この分類法に基づく簡潔な調査を行う。 我々は、将来の研究の方向性として役立つ自己回帰型LSMの推進という領域において、いくつかの未解決の問題を特定した。
  論文  参考訳（メタデータ） (2023-11-28T17:56:34Z)
• AlignedCoT: Prompting Large Language Models via Native-Speaking Demonstrations [52.43593893122206]
  Alignedcotは、大規模言語モデルを呼び出すためのコンテキスト内学習技術である。 ゼロショットシナリオでは、一貫した正しいステップワイズプロンプトを達成する。 数学的推論とコモンセンス推論の実験を行う。
  論文  参考訳（メタデータ） (2023-11-22T17:24:21Z)
• Mastering Robot Manipulation with Multimodal Prompts through Pretraining and Multi-task Fine-tuning [49.92517970237088]
  我々はマルチモーダルなプロンプトを理解するためにロボットを訓練する問題に取り組む。 このようなタスクは、視覚と言語信号の相互接続と相補性を理解するロボットの能力にとって大きな課題となる。 マルチモーダルプロンプトを用いてロボット操作を行うためのポリシーを学習する効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-14T22:24:58Z)
• EvoPrompt: Connecting LLMs with Evolutionary Algorithms Yields Powerful Prompt Optimizers [67.64162164254809]
  EvoPromptは離散的なプロンプト最適化のためのフレームワークである。 進化的アルゴリズム(EA)の概念は、優れた性能と高速収束を示すものである。 人為的なプロンプトと既存の方法で自動プロンプト生成を著しく上回っている。
  論文  参考訳（メタデータ） (2023-09-15T16:50:09Z)
• Revisiting Prompt Engineering via Declarative Crowdsourcing [16.624577543520093]
  大規模言語モデル(LLM)は、テキスト形式でデータを解釈し、生成するのに驚くほど強力ですが、脆弱でエラーを起こします。 私たちは宣言的な急進的なエンジニアリングのビジョンを打ち出した。 ソート、実体分解、計算に関する予備的ケーススタディは、我々のアプローチの可能性を実証している。
  論文  参考訳（メタデータ） (2023-08-07T18:04:12Z)
• How Can Recommender Systems Benefit from Large Language Models: A Survey [82.06729592294322]
  大きな言語モデル(LLM)は、印象的な汎用知性と人間のような能力を示している。 我々は,実世界のレコメンデータシステムにおけるパイプライン全体の観点から,この研究の方向性を包括的に調査する。
  論文  参考訳（メタデータ） (2023-06-09T11:31:50Z)
• Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
  我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
  論文  参考訳（メタデータ） (2023-02-22T17:44:15Z)
• RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
  本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。 RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。 少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-25T07:50:31Z)
• AdaPrompt: Adaptive Model Training for Prompt-based NLP [77.12071707955889]
  PLMの継続事前学習のための外部データを適応的に検索するAdaPromptを提案する。 5つのNLPベンチマークの実験結果から、AdaPromptは数ショット設定で標準PLMよりも改善可能であることが示された。 ゼロショット設定では、標準のプロンプトベースの手法を26.35%の相対誤差削減で上回ります。
  論文  参考訳（メタデータ） (2022-02-10T04:04:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。