論文の概要: What You Say = What You Want? Teaching Humans to Articulate Requirements for LLMs

• arxiv url: http://arxiv.org/abs/2409.08775v1
• Date: Fri, 13 Sep 2024 12:34:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-16 16:39:02.425389
• Title: What You Say = What You Want? Teaching Humans to Articulate Requirements for LLMs
• Title（参考訳）: 何て言ったらいいのか? LLMに必要なことを人間に教える
• Authors: Qianou Ma, Weirui Peng, Hua Shen, Kenneth Koedinger, Tongshuang Wu,
• Abstract要約: 本稿では,要求指向型プロンプトエンジニアリング(ROPE)について紹介する。 30名の初級者を対象にした研究では,要求重視の訓練が初級者の性能を2倍に向上させ,従来のプロンプトエンジニアリングトレーニングと即時最適化を著しく上回った。 我々の研究は、人間とLLMの協調的なプロンプトにおいて、より効果的なタスクデリゲーションの道を開く。
• 参考スコア（独自算出の注目度）: 26.398086645901742
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompting ChatGPT to achieve complex goals (e.g., creating a customer support chatbot) often demands meticulous prompt engineering, including aspects like fluent writing and chain-of-thought techniques. While emerging prompt optimizers can automatically refine many of these aspects, we argue that clearly conveying customized requirements (e.g., how to handle diverse inputs) remains a human-centric challenge. In this work, we introduce Requirement-Oriented Prompt Engineering (ROPE), a paradigm that focuses human attention on generating clear, complete requirements during prompting. We implement ROPE through an assessment and training suite that provides deliberate practice with LLM-generated feedback. In a study with 30 novices, we show that requirement-focused training doubles novices' prompting performance, significantly outperforming conventional prompt engineering training and prompt optimization. We also demonstrate that high-quality LLM outputs are directly tied to the quality of input requirements. Our work paves the way for more effective task delegation in human-LLM collaborative prompting.
• Abstract（参考訳）: ChatGPTに複雑な目標(例えば、カスタマーサポートチャットボットの作成)を達成させるには、流動的な書き込みやチェーン・オブ・ソート技術といった側面を含む、綿密な迅速なエンジニアリングが必要になります。 新たなプロンプトオプティマイザは、これらの側面の多くを自動的に洗練しますが、カスタマイズされた要件(例えば、多様な入力を処理する方法)を明確に伝達することは、人間中心の課題である、と私たちは主張しています。 本研究では,要求指向型プロンプトエンジニアリング(ROPE)について紹介する。 LLM生成フィードバックを意図的に実践する評価・トレーニングスイートを通じてROPEを実装した。 30名の初級者を対象にした研究では,要求重視の訓練が初級者の性能を2倍に向上させ,従来のプロンプトエンジニアリングトレーニングと即時最適化を著しく上回った。 また、高品質のLCM出力が入力要求の品質と直接結びついていることも示している。 我々の研究は、人間とLLMの協調的なプロンプトにおいて、より効果的なタスクデリゲーションの道を開く。

関連論文リスト

• PECTP: Parameter-Efficient Cross-Task Prompts for Incremental Vision Transformer [76.39111896665585]
  インクリメンタルラーニング(IL)は、シーケンシャルタスクの深いモデルを継続的に学習することを目的としている。 近年の大規模事前訓練モデル (PTM) は, 従来の試料を含まない実用ILにおいて, 即時的手法により優れた性能を発揮している。
  論文  参考訳（メタデータ） (2024-07-04T10:37:58Z)
• PromptWizard: Task-Aware Prompt Optimization Framework [2.618253052454435]
  大規模言語モデル(LLM)は、さまざまなドメインでAIを変換している。 手動プロンプトエンジニアリングは、労働集約的かつドメイン固有である。 本稿では、離散的なプロンプト最適化のための新しい完全に自動化されたフレームワークであるPromptWizardを紹介する。
  論文  参考訳（メタデータ） (2024-05-28T17:08:31Z)
• Efficient Prompting Methods for Large Language Models: A Survey [50.171011917404485]
  プロンプティングは、特定の自然言語処理タスクに大規模言語モデル(LLM)を適用するための主流パラダイムとなっている。 このアプローチは、LLMの振る舞いをガイドし、制御するために、モデル推論と人間の努力のさらなる計算負担をもたらす。 本稿では, 今後の研究の方向性を明らかにするため, 促進, 効率的な促進のための進歩を概説する。
  論文  参考訳（メタデータ） (2024-04-01T12:19:08Z)
• Exploring Prompt Engineering Practices in the Enterprise [3.7882262667445734]
  プロンプト(英: prompt)は、モデルから特定の振る舞いや出力を引き出すように設計された自然言語命令である。 特定の要求のある複雑なタスクやタスクに対して、迅速な設計は簡単ではない。 我々は、プロンプト編集行動のセッションを分析し、ユーザが反復したプロンプトの一部と、それらが行った変更の種類を分類する。
  論文  参考訳（メタデータ） (2024-03-13T20:32:32Z)
• Towards Generalist Prompting for Large Language Models by Mental Models [105.03747314550591]
  大規模言語モデル(LLM)は多くのタスクにおいて素晴らしいパフォーマンスを示している。 最適な性能を達成するには、特別に設計されたプロンプト法が必要である。 本稿では,最適あるいは準最適性能を実現する設計原理に基づくジェネラリストプロンプトの概念を紹介する。
  論文  参考訳（メタデータ） (2024-02-28T11:29:09Z)
• A Survey on Prompting Techniques in LLMs [0.0]
  自己回帰型大規模言語モデルは自然言語処理のランドスケープに変化をもたらした。 本研究は,既存の文献の分類手法について紹介し,この分類法に基づく簡潔な調査を行う。 我々は、将来の研究の方向性として役立つ自己回帰型LSMの推進という領域において、いくつかの未解決の問題を特定した。
  論文  参考訳（メタデータ） (2023-11-28T17:56:34Z)
• Mastering Robot Manipulation with Multimodal Prompts through Pretraining and Multi-task Fine-tuning [49.92517970237088]
  我々はマルチモーダルなプロンプトを理解するためにロボットを訓練する問題に取り組む。 このようなタスクは、視覚と言語信号の相互接続と相補性を理解するロボットの能力にとって大きな課題となる。 マルチモーダルプロンプトを用いてロボット操作を行うためのポリシーを学習する効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-14T22:24:58Z)
• Revisiting Prompt Engineering via Declarative Crowdsourcing [16.624577543520093]
  大規模言語モデル(LLM)は、テキスト形式でデータを解釈し、生成するのに驚くほど強力ですが、脆弱でエラーを起こします。 私たちは宣言的な急進的なエンジニアリングのビジョンを打ち出した。 ソート、実体分解、計算に関する予備的ケーススタディは、我々のアプローチの可能性を実証している。
  論文  参考訳（メタデータ） (2023-08-07T18:04:12Z)
• RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
  本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。 RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。 少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-25T07:50:31Z)
• AdaPrompt: Adaptive Model Training for Prompt-based NLP [77.12071707955889]
  PLMの継続事前学習のための外部データを適応的に検索するAdaPromptを提案する。 5つのNLPベンチマークの実験結果から、AdaPromptは数ショット設定で標準PLMよりも改善可能であることが示された。 ゼロショット設定では、標準のプロンプトベースの手法を26.35%の相対誤差削減で上回ります。
  論文  参考訳（メタデータ） (2022-02-10T04:04:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。