論文の概要: From Prompts to Templates: A Systematic Prompt Template Analysis for Real-world LLMapps

• arxiv url: http://arxiv.org/abs/2504.02052v2
• Date: Mon, 07 Apr 2025 08:25:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 14:13:58.816827
• Title: From Prompts to Templates: A Systematic Prompt Template Analysis for Real-world LLMapps
• Title（参考訳）: プロンプトからテンプレートへ:現実世界のLLMappのシステム的プロンプトテンプレート分析
• Authors: Yuetian Mao, Junjie He, Chunyang Chen,
• Abstract要約: 大規模言語モデル(LLM)は、自然言語のプロンプトを通じて直感的なタスク実行を可能にすることで、人間とAIのインタラクションに革命をもたらした。 構造や単語の小さなバリエーションは、出力に大きな違いをもたらす可能性がある。 本稿では,実用LLMappにおけるプロンプトテンプレートの包括的解析について述べる。
• 参考スコア（独自算出の注目度）: 20.549178260624043
• License:
• Abstract: Large Language Models (LLMs) have revolutionized human-AI interaction by enabling intuitive task execution through natural language prompts. Despite their potential, designing effective prompts remains a significant challenge, as small variations in structure or wording can result in substantial differences in output. To address these challenges, LLM-powered applications (LLMapps) rely on prompt templates to simplify interactions, enhance usability, and support specialized tasks such as document analysis, creative content generation, and code synthesis. However, current practices heavily depend on individual expertise and iterative trial-and-error processes, underscoring the need for systematic methods to optimize prompt template design in LLMapps. This paper presents a comprehensive analysis of prompt templates in practical LLMapps. We construct a dataset of real-world templates from open-source LLMapps, including those from leading companies like Uber and Microsoft. Through a combination of LLM-driven analysis and human review, we categorize template components and placeholders, analyze their distributions, and identify frequent co-occurrence patterns. Additionally, we evaluate the impact of identified patterns on LLMs' instruction-following performance through sample testing. Our findings provide practical insights on prompt template design for developers, supporting the broader adoption and optimization of LLMapps in industrial settings.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自然言語のプロンプトを通じて直感的なタスク実行を可能にすることで、人間とAIのインタラクションに革命をもたらした。 その可能性にもかかわらず、効率的なプロンプトを設計することは大きな課題であり、構造や単語の小さなバリエーションは出力の実質的な違いをもたらす。 これらの課題に対処するため、LLMapps(LLLM)は、対話を単純化し、ユーザビリティを高め、文書分析、クリエイティブコンテンツ生成、コード合成といった特別なタスクをサポートするために、プロンプトテンプレートに依存している。 しかし、現在のプラクティスは個々の専門知識と反復的な試行錯誤プロセスに大きく依存しており、LLMappsのテンプレート設計を最適化するための体系的な手法の必要性を強調している。 本稿では,実用LLMappにおけるプロンプトテンプレートの包括的解析について述べる。 私たちは、UberやMicrosoftといった大手企業を含むオープンソースのLLMappsから、現実世界のテンプレートのデータセットを構築しています。 LLMによる分析と人間のレビューを組み合わせることで、テンプレートコンポーネントとプレースホルダーを分類し、それらの分布を分析し、頻繁な共起パターンを同定する。 さらに,特定パターンがLLMの命令追従性能に与える影響をサンプル試験により評価した。 本研究は,企業環境におけるLLMappsの採用と最適化を支援するため,開発者のテンプレート設計の促進に関する実践的な知見を提供する。

関連論文リスト

• An efficient approach to represent enterprise web application structure using Large Language Model in the service of Intelligent Quality Engineering [0.0]
  本稿では,Large Language Models (LLM) を用いたエンタープライズWebアプリケーション構造を表現する新しい手法を提案する。 LLMの少数ショット学習能力を最適化する階層的表現手法を提案する。 我々の方法論は、自動ソフトウェアテストにおけるジェネレーティブAI技術の使用に関する既存の課題に対処する。
  論文  参考訳（メタデータ） (2025-01-12T15:10:57Z)
• From Human Annotation to LLMs: SILICON Annotation Workflow for Management Research [13.818244562506138]
  LLM(Large Language Models)は、人間のアノテーションに対する費用対効果と効率的な代替手段を提供する。 本稿では、SILICON (Systematic Inference with LLMs for Information Classification and Notation) ワークフローを紹介する。 このワークフローは、人間のアノテーションの確立した原則と、体系的な迅速な最適化とモデル選択を統合している。
  論文  参考訳（メタデータ） (2024-12-19T02:21:41Z)
• Fine-tuning Multimodal Large Language Models for Product Bundling [53.01642741096356]
  Bundle-MLLMは,大規模言語モデル(LLM)をハイブリットアイテムトークン化アプローチにより微調整する新しいフレームワークである。 具体的には、テキスト、メディア、およびリレーショナルデータを統一トークン化に統合し、テキストトークンと非テキストトークンを区別するソフトな分離トークンを導入する。 1)バンドルパターンを学習し,2)製品バンドル固有のマルチモーダルセマンティック理解の強化を行う。
  論文  参考訳（メタデータ） (2024-07-16T13:30:14Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• DOLLmC: DevOps for Large Language model Customization [0.0]
  本研究の目的は、LLMカスタマイズのためのスケーラブルで効率的なフレームワークを確立することである。 我々は,LLMの継続的学習,シームレスな展開,厳密なバージョン管理を向上する堅牢なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-19T15:20:27Z)
• Thinking Fair and Slow: On the Efficacy of Structured Prompts for Debiasing Language Models [14.405446719317291]
  既存のデバイアス技術はトレーニングベースまたはモデルの内部および出力分布へのアクセスを必要とするのが一般的である。 我々は,システム2の思考プロセスを適用し,論理的,反射的,批判的テキスト生成を誘導する,包括的エンドユーザー中心のデバイアスの反復的枠組みを評価する。
  論文  参考訳（メタデータ） (2024-05-16T20:27:58Z)
• Sample Design Engineering: An Empirical Study of What Makes Good Downstream Fine-Tuning Samples for LLMs [23.766782325052418]
  本稿では,大規模言語モデルの性能向上のための方法論的アプローチであるサンプル設計工学(SDE)を紹介する。 LLMのダウンストリーム性能に対する様々な設計オプションの影響を評価するために、一連のドメイン内(ID)および外部(OOD)実験を行う。 本稿では,SDE統合戦略を提案し,最も効果的な選択肢を組み合わせるとともに,複雑な下流タスクにおけるサンプル設計よりも一貫した優位性を検証した。
  論文  参考訳（メタデータ） (2024-04-19T17:47:02Z)
• PPTC-R benchmark: Towards Evaluating the Robustness of Large Language Models for PowerPoint Task Completion [96.47420221442397]
  文,意味,多言語レベルでユーザ命令を攻撃することにより,逆ユーザ命令を構築する。 我々は、ロバストネス設定を組み込んだベンチマークを用いて、3つのクローズドソースと4つのオープンソースLCMをテストする。 GPT-4は我々のベンチマークで最も高い性能と強靭性を示す。
  論文  参考訳（メタデータ） (2024-03-06T15:33:32Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)
• Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
  我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
  論文  参考訳（メタデータ） (2023-02-22T17:44:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。