論文の概要: CriSPO: Multi-Aspect Critique-Suggestion-guided Automatic Prompt Optimization for Text Generation

• arxiv url: http://arxiv.org/abs/2410.02748v3
• Date: Tue, 14 Jan 2025 17:20:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-15 13:27:43.715302
• Title: CriSPO: Multi-Aspect Critique-Suggestion-guided Automatic Prompt Optimization for Text Generation
• Title（参考訳）: CriSPO:テキスト生成のための多視点批評・提案誘導自動プロンプト最適化
• Authors: Han He, Qianchu Liu, Lei Xu, Chaitanya Shivade, Yi Zhang, Sundararajan Srinivasan, Katrin Kirchhoff,
• Abstract要約: 本稿では,CriSPO(Prompt Optimization)アプローチを提案する。 CriSPO はコアコンポーネントとして critique-suggestion モジュールを導入している。 このモジュールは自然にアスペクトを発見し、これらのアスペクト間で生成された参照テキストを比較し、即時修正のための実行可能な提案を提供する。 マルチメトリック最適化によりCrisPOをさらに改善するため、複数のメトリクスにわたるタスクプロンプトのパフォーマンスを向上させるために、自動サフィックスチューニング(AST)拡張を導入する。
• 参考スコア（独自算出の注目度）: 18.39379838806384
• License:
• Abstract: Existing automatic prompt engineering methods are typically designed for discriminative tasks, where new task prompts are iteratively refined with limited feedback from a single metric reflecting a single aspect. However, these approaches are suboptimal for generative tasks, which require more nuanced guidance beyond a single numeric metric to improve the prompt and optimize multiple aspects of the generated text. To address these challenges, we propose a novel multi-aspect Critique-Suggestion-guided automatic Prompt Optimization (CriSPO) approach. CriSPO introduces a critique-suggestion module as its core component. This module spontaneously discovers aspects, and compares generated and reference texts across these aspects, providing specific suggestions for prompt modification. These clear critiques and actionable suggestions guide a receptive optimizer module to make more substantial changes, exploring a broader and more effective search space. To further improve CriSPO with multi-metric optimization, we introduce an Automatic Suffix Tuning (AST) extension to enhance the performance of task prompts across multiple metrics. We evaluate CriSPO on 4 state-of-the-art LLMs across 4 summarization and 5 QA datasets. Extensive experiments show 3-4% ROUGE score improvement on summarization and substantial improvement of various metrics on QA. Code available at https://github.com/amazon-science/crispo
• Abstract（参考訳）: 既存の自動プロンプトエンジニアリング手法は一般的に差別的なタスクのために設計され、新しいタスクプロンプトは単一の側面を反映する単一のメトリクスからの限られたフィードバックで反復的に洗練される。 しかし、これらの手法は生成タスクに最適であり、生成したテキストのプロンプトを改善し、複数の側面を最適化するために、1つの数値メトリック以上のニュアンスなガイダンスを必要とする。 これらの課題に対処するため、我々は新しいマルチアスペクト・クリティーク・サジェスション誘導自動プロンプト最適化(CriSPO)手法を提案する。 CriSPO はコアコンポーネントとして critique-suggestion モジュールを導入している。 このモジュールは自然にアスペクトを発見し、これらのアスペクト間で生成されたテキストと参照テキストを比較し、迅速な修正のための具体的な提案を提供する。 これらの明確な批判と行動可能な提案は、より実質的な変更を行うために受容オプティマイザモジュールをガイドし、より広範で効果的な検索空間を探索する。 マルチメトリック最適化によりCrisPOをさらに改善するため、複数のメトリクスにわたるタスクプロンプトのパフォーマンスを向上させるために、自動サフィックスチューニング(AST)拡張を導入する。 CriSPOを4つの要約と5つのQAデータセットにまたがる4つの最先端LCM上で評価した。 総合的な実験では、要約におけるROUGEスコアが3～4%向上し、QAにおける様々な指標が大幅に改善された。 Code available at https://github.com/amazon-science/crispo

関連論文リスト

• TAPO: Task-Referenced Adaptation for Prompt Optimization [18.533289140594146]
  本稿では,3つの鍵モジュールからなるマルチタスク対応プロンプト最適化フレームワークTAPOを紹介する。 まず、タスク固有のプロンプト生成機能を強化するために、タスク対応メトリック選択モジュールを提案する。 次に,複数視点からのプロンプトを共同評価するマルチメトリック評価モジュールを提案する。 第3に、自動プロンプト改善のための進化ベースの最適化フレームワークが導入され、様々なタスクへの適応性が改善されている。
  論文  参考訳（メタデータ） (2025-01-12T02:43:59Z)
• DMQR-RAG: Diverse Multi-Query Rewriting for RAG [26.518517678671376]
  大きな言語モデルは、しばしば静的な知識と幻覚による課題に遭遇し、その信頼性を損なう。 DMQR-RAG(Diverse Multi-Query Rewriting framework)を導入し、RAGにおける文書検索と最終応答の両方の性能を改善する。
  論文  参考訳（メタデータ） (2024-11-20T09:43:30Z)
• AMPO: Automatic Multi-Branched Prompt Optimization [43.586044739174646]
  本稿では,障害事例をフィードバックとして多分岐プロンプトを反復的に開発する自動プロンプト最適化手法AMPOを提案する。 5つのタスクにわたる実験では、AMPOが常に最良の結果を達成する。
  論文  参考訳（メタデータ） (2024-10-11T10:34:28Z)
• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• MAPO: Boosting Large Language Model Performance with Model-Adaptive Prompt Optimization [73.7779735046424]
  異なるプロンプトを異なるLarge Language Models (LLM) に適応させることで,NLP の様々な下流タスクにまたがる機能の向上が期待できる。 次に、下流タスクにおける各LLMに対して、元のプロンプトを最適化するモデル適応プロンプト(MAPO)手法を提案する。
  論文  参考訳（メタデータ） (2024-07-04T18:39:59Z)
• Unleashing the Potential of Large Language Models as Prompt Optimizers: Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
  本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。 モデルパラメータ学習における2つの重要な要素を同定する。 グラディエントにインスパイアされた Prompt ベースの GPO を開発した。
  論文  参考訳（メタデータ） (2024-02-27T15:05:32Z)
• Query-Dependent Prompt Evaluation and Optimization with Offline Inverse RL [62.824464372594576]
  ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。 このような最適化では、以前見過ごされたクエリ依存の目的を特定します。 本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
  論文  参考訳（メタデータ） (2023-09-13T01:12:52Z)
• Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
  我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
  論文  参考訳（メタデータ） (2023-02-22T17:44:15Z)
• TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
  強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。 従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。 本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
  論文  参考訳（メタデータ） (2022-11-21T22:38:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。