論文の概要: Less Back-and-Forth: A Comparative Study of Structured Prompting
- arxiv url: http://arxiv.org/abs/2605.20149v1
- Date: Tue, 19 May 2026 17:40:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-20 15:03:09.560192
- Title: Less Back-and-Forth: A Comparative Study of Structured Prompting
- Title(参考訳): 小さめのバック・アンド・フォース:構造化プロンプティングの比較研究
- Authors: Saurav Ghosh, Gabriella Polach, Abdou Sow,
- Abstract要約: 大規模言語モデル(LLM)は、オープンエンドタスクに広く使われているが、不特定なプロンプトは、低品質な回答と追加の相互作用をもたらす可能性がある。
我々は、生のプロンプト、チェックリスト改善プロンプト、明確化プロンプトの3つのプロンプト条件を比較した。
チェックリスト改善プロンプトは8点中7.50点、生プロンプトは5.67点、クエストは6.67点だった。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are widely used for open-ended tasks, but underspecified prompts can lead to low-quality answers and additional interaction. This paper studies whether structured prompt design improves response quality while reducing user effort. We compare three prompt conditions: a raw prompt, a checklist-improved prompt, and a clarifying-question prompt. We evaluate these conditions across four task types--summarization, planning, explanation, and coding--using three LLM systems: ChatGPT, Claude, and Grok. Each output is scored with a unified rubric covering task completion, correctness, compliance, and clarity. Checklist-improved prompts achieved the highest mean rubric score, 7.50 out of 8, compared with 5.67 for raw prompts and 6.67 for clarifying-question prompts. Checklist prompts also produced the best quality-effort tradeoff, using fewer average tokens than both raw and clarifying prompts. These results suggest that a simple prompt checklist can improve LLM responses while reducing unnecessary interaction.
- Abstract(参考訳): 大規模言語モデル(LLM)は、オープンエンドタスクに広く使われているが、不特定なプロンプトは、低品質な回答と追加の相互作用をもたらす可能性がある。
本稿では,構造化されたプロンプト設計がユーザの労力を減らしながら応答品質を向上させるかどうかを考察する。
我々は、生のプロンプト、チェックリスト改善プロンプト、明確化プロンプトの3つのプロンプト条件を比較した。
本研究は,3つのLCMシステム(ChatGPT,Claude,Grok)を要約,計画,説明,コーディングの4種類のタスクタイプで評価する。
各出力は、タスクの完了、正確性、コンプライアンス、明確さをカバーした統一されたルーリックでスコアされる。
チェックリスト改善プロンプトは8点中7.50点、生プロンプトは5.67点、探索プロンプトは6.67点だった。
チェックリストのプロンプトは、生のプロンプトと明快なプロンプトよりも平均トークンを少なくして、最高の品質と快適なトレードオフを生み出した。
これらの結果から、簡単なプロンプトチェックリストは不要な相互作用を減らしながらLLM応答を改善することが示唆された。
関連論文リスト
- Grammar-Guided Evolutionary Search for Discrete Prompt Optimisation [63.97051732013936]
本稿では,2段階からなる離散的な自動最適化に対する進化的探索手法を提案する。
第1段階では、文法誘導型遺伝的プログラミングが実行され、プロンプト生成プログラムを合成する。
第2段階では、局所探索を用いて、最高のパフォーマンスプログラムの周辺を探索する。
論文 参考訳(メタデータ) (2025-07-14T14:34:15Z) - Promptriever: Instruction-Trained Retrievers Can Be Prompted Like Language Models [54.272894325370956]
本稿では,LMのように誘導できる最初の検索モデルであるPromptrieverを紹介する。
Promptrieverは、標準的な検索タスクで高いパフォーマンスを達成し、命令に従う。
論文 参考訳(メタデータ) (2024-09-17T12:42:55Z) - Large Language Models Might Not Care What You Are Saying: Prompt Format Beats Descriptions [20.81006665769144]
本稿では,複数のコンテキスト内サンプルの選択基準を記述するためのアンサンブルプロンプトフレームワークを提案する。
6つの翻訳方向にわたる機械翻訳(MT)の予備実験により、このフレームワークがICLの性能を高めることが確認された。
論文 参考訳(メタデータ) (2024-08-16T14:49:04Z) - RankPrompt: Step-by-Step Comparisons Make Language Models Better Reasoners [38.30539869264287]
大きな言語モデル(LLM)は、様々な推論タスクで素晴らしいパフォーマンスを実現しています。
しかし、ChatGPTのような最先端のLCMでさえ、推論プロセス中に論理的な誤りを犯しやすい。
新たなプロンプト手法である RankPrompt を導入し,LLM が追加リソースを必要とせずに応答を自己ランクできる手法を提案する。
論文 参考訳(メタデータ) (2024-03-19T02:34:18Z) - TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。
従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。
本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
論文 参考訳(メタデータ) (2022-11-21T22:38:20Z) - RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。
RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。
少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-05-25T07:50:31Z) - CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented
Dialog Systems [56.302581679816775]
本稿では,タスク固有の命令でPLMを利用する包括的インストラクション(CINS)を提案する。
命令のスキーマ(定義、制約、プロンプト)と、ToDの3つの重要な下流タスクに対するカスタマイズされた実現を設計する。
これらのToDタスクに対して,小さな検証データを用いた現実的な数ショット学習シナリオで実験を行った。
論文 参考訳(メタデータ) (2021-09-10T03:23:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。