論文の概要: SCULPT: Systematic Tuning of Long Prompts

• arxiv url: http://arxiv.org/abs/2410.20788v1
• Date: Mon, 28 Oct 2024 07:10:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:17:30.872851
• Title: SCULPT: Systematic Tuning of Long Prompts
• Title（参考訳）: SCULPT:Long Promptのシステマティックチューニング
• Authors: Shanu Kumar, Akhila Yesantarao Venkata, Shubhanshu Khandelwal, Bishal Santra, Parag Agrawal, Manish Gupta,
• Abstract要約: SCULPTは,階層的に構造化し,反復的なアクター批判機構を適用することで,長いプロンプトを体系的に洗練するフレームワークである。 SCULPTはオーバーフィッティングを回避し、パフォーマンスを一貫した改善を保証する。 実験の結果, 精度が向上し, 強靭性が向上した。
• 参考スコア（独自算出の注目度）: 17.00433893207345
• License:
• Abstract: As large language models become increasingly central to solving complex tasks, the challenge of optimizing long, unstructured prompts has become critical. Existing optimization techniques often struggle to effectively handle such prompts, leading to suboptimal performance. We introduce SCULPT (Systematic Tuning of Long Prompts), a novel framework that systematically refines long prompts by structuring them hierarchically and applying an iterative actor-critic mechanism. To enhance robustness and generalizability, SCULPT utilizes two complementary feedback mechanisms: Preliminary Assessment, which assesses the prompt's structure before execution, and Error Assessment, which diagnoses and addresses errors post-execution. By aggregating feedback from these mechanisms, SCULPT avoids overfitting and ensures consistent improvements in performance. Our experimental results demonstrate significant accuracy gains and enhanced robustness, particularly in handling erroneous and misaligned prompts. SCULPT consistently outperforms existing approaches, establishing itself as a scalable solution for optimizing long prompts across diverse and real-world tasks.
• Abstract（参考訳）: 大規模言語モデルが複雑なタスクの解決の中心となるにつれ、長く構造化されていないプロンプトを最適化するという課題が重要になっている。 既存の最適化手法は、しばしばそのようなプロンプトを効果的に処理するのに苦労する。 SCULPT(Systematic Tuning of Long Prompts)は,長いプロンプトを階層的に構造化し,反復的アクター批判機構を適用して体系的に洗練する新しいフレームワークである。 強靭性と一般化性を高めるため、SCULPTでは、実行前にプロンプトの構造を評価する予備評価(Preliminary Assessment)と、実行後のエラーを診断し対処するエラー評価(Error Assessment)という2つの補完的なフィードバックメカニズムを使用している。 これらのメカニズムからのフィードバックを集約することで、SCULPTはオーバーフィッティングを回避し、パフォーマンスが一貫した改善を実現する。 実験の結果, 精度が向上し, 強靭性が向上した。 SCULPTは既存のアプローチを一貫して上回り、様々な現実世界のタスクにまたがる長いプロンプトを最適化するためのスケーラブルなソリューションとしての地位を確立している。

関連論文リスト

• QUEST-A: Untrained Filtering with Trained Focusing led to Enhanced Quantum Architectures [14.288836269941207]
  量子アーキテクチャサーチ(QAS)は、量子機械学習における根本的な課題である。 本研究は、QASを最適回路構造検索とパラメータ最適化という2つの代替解サブプロブレムに分解する。 本稿では,QUEST-A(Quantum Untrained-Explored Synergistic Trained Architecture)を提案する。
  論文  参考訳（メタデータ） (2024-10-31T01:57:14Z)
• SPRIG: Improving Large Language Model Performance by System Prompt Optimization [45.96513122345295]
  大きな言語モデル(LLM)は多くのシナリオで印象的な機能を示しているが、そのパフォーマンスはプロンプトの選択に依存している。 本研究では,モデルの性能を最大化するために,既定成分からのプロンプトを反復的に構築する編集に基づく遺伝的アルゴリズムであるSPRIGを提案する。 47種類のタスクの集合に対して,システムプロンプトの性能を評価し,一般化性を確保する。
  論文  参考訳（メタデータ） (2024-10-18T18:51:44Z)
• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• DynaThink: Fast or Slow? A Dynamic Decision-Making Framework for Large Language Models [42.95876831743256]
  大規模言語モデル(LLM)は、Chains-of-Thoughtプロンプトを通じて、さまざまな推論タスクにまたがる創発的な機能を示している。 本稿では,LLMが高速かつ低速な推論手法を自律的に選択できることの課題に対処する。 LLMが高速に高信頼の解を識別するタスクに指定された「Fast」と、LLMが複雑だと認識するタスクに割り当てられた「Slow」という2つの異なる経路に分類する動的意思決定フレームワークを導入する。
  論文  参考訳（メタデータ） (2024-07-01T06:45:13Z)
• Sparser is Faster and Less is More: Efficient Sparse Attention for Long-Range Transformers [58.5711048151424]
  SPARSEK Attention(SPARSEK Attention)は、計算およびメモリ障害を克服するために設計された、新しいスパースアテンション機構である。 提案手法では,各クエリに対して一定数のKVペアを選択するために,スコアリングネットワークと差別化可能なトップkマスク演算子であるSPARSEKを統合する。 実験結果から,SPARSEK注意は従来のスパースアテンション法よりも優れていた。
  論文  参考訳（メタデータ） (2024-06-24T15:55:59Z)
• On the Worst Prompt Performance of Large Language Models [93.13542053835542]
  大規模言語モデル(LLM)の性能は,プロンプトの表現に非常に敏感である。 セマンティックに等価なケースレベルのクエリで構成される新しいベンチマークであるRobustAlpacaEvalを紹介する。 RobustAlpacaEvalとChatGPT、およびLlama、Mistral、Gemmaファミリーの6つのオープンソースLLMによる実験により、モデル性能のかなりのばらつきが明らかになった。
  論文  参考訳（メタデータ） (2024-06-08T13:40:38Z)
• Thread Detection and Response Generation using Transformers with Prompt Optimisation [5.335657953493376]
  本稿では,スレッドを識別し,その重要度に基づいて応答生成を優先するエンドツーエンドモデルを開発する。 モデルは最大10倍の速度向上を実現し、既存のモデルに比べて一貫性のある結果を生成する。
  論文  参考訳（メタデータ） (2024-03-09T14:50:20Z)
• PhaseEvo: Towards Unified In-Context Prompt Optimization for Large Language Models [9.362082187605356]
  本稿では、LLMの生成能力と進化アルゴリズムのグローバル検索能力を組み合わせた効率的な自動プロンプト最適化フレームワークであるPhaseEvoについて述べる。 PhaseEvoは、優れた効率を維持しながら、最先端のベースライン手法を大きなマージンで大幅に上回っている。
  論文  参考訳（メタデータ） (2024-02-17T17:47:10Z)
• PromptAgent: Strategic Planning with Language Models Enables Expert-level Prompt Optimization [60.00631098364391]
  PromptAgentは、エキスパートレベルのプロンプトを、専門家による手工芸品と同等の品質で作成する最適化手法である。 PromptAgentは人間のような試行錯誤の探索にインスパイアされ、専門家レベルの正確な洞察と詳細な指示を誘導する。 PromptAgentを3つの実践領域にまたがる12のタスクに適用する。
  論文  参考訳（メタデータ） (2023-10-25T07:47:01Z)
• Robust Prompt Optimization for Large Language Models Against Distribution Shifts [80.6757997074956]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて重要な能力を示している。 本稿では,LLMの分散シフトに対するロバストな最適化法を提案する。 この問題は、ラベル付けされたソースグループに最適化されたプロンプトを同時にラベル付けされていないターゲットグループに一般化する必要がある。
  論文  参考訳（メタデータ） (2023-05-23T11:30:43Z)
• Adversarial Self-Attention for Language Understanding [89.265747130584]
  本稿では,textitAdversarial Self-Attention Mechanism (ASA)を提案する。 ASAはトランスフォーマーの注意を逆向きに再構築し、汚染されたモデル構造からのモデルトレーニングを促進する。 微調整の場合、ASAを動力とするモデルは、一般化とロバスト性の両方を考慮すると、単純モデルよりも常に大きなマージンで勝る。
  論文  参考訳（メタデータ） (2022-06-25T09:18:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。