論文の概要: CriSPO: Multi-Aspect Critique-Suggestion-guided Automatic Prompt Optimization for Text Generation

• arxiv url: http://arxiv.org/abs/2410.02748v1
• Date: Wed, 9 Oct 2024 18:29:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 01:03:22.944808
• Title: CriSPO: Multi-Aspect Critique-Suggestion-guided Automatic Prompt Optimization for Text Generation
• Title（参考訳）: CriSPO:テキスト生成のための多視点批評・提案誘導自動プロンプト最適化
• Authors: Han He, Qianchu Liu, Lei Xu, Chaitanya Shivade, Yi Zhang, Sundararajan Srinivasan, Katrin Kirchhoff,
• Abstract要約: 大規模言語モデル (LLMs) は、プロンプト技術を用いて、ドメイン間の流動的な要約を生成することができる。 キーフレーズをプロンプトに追加することで、ROUGE F1とリコールが改善されることを示す。 本研究は,素早い要約システム構築における有能な情報の活用に関する知見を提供する。
• 参考スコア（独自算出の注目度）: 18.39379838806384
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) can generate fluent summaries across domains using prompting techniques, reducing the need to train models for summarization applications. However, crafting effective prompts that guide LLMs to generate summaries with the appropriate level of detail and writing style remains a challenge. In this paper, we explore the use of salient information extracted from the source document to enhance summarization prompts. We show that adding keyphrases in prompts can improve ROUGE F1 and recall, making the generated summaries more similar to the reference and more complete. The number of keyphrases can control the precision-recall trade-off. Furthermore, our analysis reveals that incorporating phrase-level salient information is superior to word- or sentence-level. However, the impact on hallucination is not universally positive across LLMs. To conduct this analysis, we introduce Keyphrase Signal Extractor (CriSPO), a lightweight model that can be finetuned to extract salient keyphrases. By using CriSPO, we achieve consistent ROUGE improvements across datasets and open-weight and proprietary LLMs without any LLM customization. Our findings provide insights into leveraging salient information in building prompt-based summarization systems.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、プロンプト技術を用いて、ドメイン間の流動的な要約を生成することができ、要約アプリケーションのためのモデルをトレーニングする必要がなくなる。 しかし、LLMが適切な詳細レベルと書き方で要約を生成するための効果的なプロンプトは、依然として課題である。 本稿では,ソース文書から抽出した有能な情報を用いて要約の促進を図る。 命令にキーフレーズを追加することで、ROUGE F1とリコールが改善され、生成された要約が参照とよりよく似ており、より完全であることが示される。 キーフレーズの数は、精度-リコールトレードオフを制御することができる。 さらに, 句レベルの有意情報の導入は, 単語レベルや文レベルよりも優れていることが明らかとなった。 しかし、幻覚に対する影響はLLM全体では肯定的ではない。 この分析を行うために,ケプラーゼシグナルエクストラクタ (CriSPO) を導入する。 CriSPOを使用することで、データセットとオープンウェイトでプロプライエタリなLLMをLLMのカスタマイズなしで一貫したROUGE改善を実現します。 本研究は,素早い要約システム構築における有能な情報の活用に関する知見を提供する。

関連論文リスト

• DMQR-RAG: Diverse Multi-Query Rewriting for RAG [26.518517678671376]
  大きな言語モデルは、しばしば静的な知識と幻覚による課題に遭遇し、その信頼性を損なう。 DMQR-RAG(Diverse Multi-Query Rewriting framework)を導入し、RAGにおける文書検索と最終応答の両方の性能を改善する。
  論文  参考訳（メタデータ） (2024-11-20T09:43:30Z)
• Building Trust in Black-box Optimization: A Comprehensive Framework for Explainability [1.3812010983144802]
  代理最適化(SO)は共通の解決法であるが、その独自性は説明可能性と透明性の欠如につながっている。 EmphInclusive Explainability Metrics for Surrogate Optimization (IEMSO)を提案する。 これらのメトリクスは、SOアプローチの透明性、信頼性、説明可能性を高める。
  論文  参考訳（メタデータ） (2024-10-18T16:20:17Z)
• AMPO: Automatic Multi-Branched Prompt Optimization [43.586044739174646]
  本稿では,障害事例をフィードバックとして多分岐プロンプトを反復的に開発する自動プロンプト最適化手法AMPOを提案する。 5つのタスクにわたる実験では、AMPOが常に最良の結果を達成する。
  論文  参考訳（メタデータ） (2024-10-11T10:34:28Z)
• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• MAPO: Boosting Large Language Model Performance with Model-Adaptive Prompt Optimization [73.7779735046424]
  異なるプロンプトを異なるLarge Language Models (LLM) に適応させることで,NLP の様々な下流タスクにまたがる機能の向上が期待できる。 次に、下流タスクにおける各LLMに対して、元のプロンプトを最適化するモデル適応プロンプト(MAPO)手法を提案する。
  論文  参考訳（メタデータ） (2024-07-04T18:39:59Z)
• Unleashing the Potential of Large Language Models as Prompt Optimizers: An Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
  本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。 モデルパラメータ学習における2つの重要な要素を同定する。 特に、勾配に基づく最適化から理論的な枠組みや学習手法を借用し、改良された戦略を設計する。
  論文  参考訳（メタデータ） (2024-02-27T15:05:32Z)
• Efficient Prompt Optimization Through the Lens of Best Arm Identification [50.56113809171805]
  この作業は、明示的な予算制約の下でプロンプト選択を効率的に行うための、原則化されたフレームワークであるTRIPLEを提供する。 マルチアームバンディット(MAB)における即時最適化と固定予算ベストアーム識別(BAI-FB)の間に確立された新しい接続上に構築されている。
  論文  参考訳（メタデータ） (2024-02-15T05:31:13Z)
• Query-Dependent Prompt Evaluation and Optimization with Offline Inverse RL [62.824464372594576]
  ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。 このような最適化では、以前見過ごされたクエリ依存の目的を特定します。 本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
  論文  参考訳（メタデータ） (2023-09-13T01:12:52Z)
• TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
  強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。 従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。 本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
  論文  参考訳（メタデータ） (2022-11-21T22:38:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。