論文の概要: DORY: Deliberative Prompt Recovery for LLM

• arxiv url: http://arxiv.org/abs/2405.20657v1
• Date: Fri, 31 May 2024 07:51:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-03 15:16:48.621647
• Title: DORY: Deliberative Prompt Recovery for LLM
• Title（参考訳）: DORY: LLMのリベラル・プロンプト・リカバリ
• Authors: Lirong Gao, Ru Peng, Yiming Zhang, Junbo Zhao,
• Abstract要約: Deliberative PrOmpt Recovery (DORY)は、不確実性を利用してプロンプトを正確に回収する新しいアプローチである。 DORYは出力からのドラフトを再構築し、ヒントでそれらを精製し、不確実性に基づいてノイズを除去する。 評価の結果,DORYは既存のベースラインを上回る性能を示し,約10.82%の性能向上を実現している。
• 参考スコア（独自算出の注目度）: 11.988508965818767
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompt recovery in large language models (LLMs) is crucial for understanding how LLMs work and addressing concerns regarding privacy, copyright, etc. The trend towards inference-only APIs complicates this task by restricting access to essential outputs for recovery. To tackle this challenge, we extract prompt-related information from limited outputs and identify a strong(negative) correlation between output probability-based uncertainty and the success of prompt recovery. This finding led to the development of Deliberative PrOmpt RecoverY (DORY), our novel approach that leverages uncertainty to recover prompts accurately. DORY involves reconstructing drafts from outputs, refining these with hints, and filtering out noise based on uncertainty. Our evaluation across diverse LLMs and prompt benchmarks shows that DORY outperforms existing baselines, improving performance by approximately 10.82% and establishing a new state-of-the-art record in prompt recovery tasks. Significantly, DORY operates using a single LLM without any external resources or model, offering a cost-effective, user-friendly prompt recovery solution.
• Abstract（参考訳）: 大規模言語モデル(LLM)のプロンプトリカバリは、LLMの動作方法を理解し、プライバシや著作権などに関する懸念に対処するために不可欠である。 推論のみのAPIへのトレンドは、リカバリに必要なアウトプットへのアクセスを制限することで、このタスクを複雑にしている。 この課題に対処するため、限られた出力からプロンプト関連情報を抽出し、出力確率に基づく不確実性とプロンプト回復の成功との強い(負の)相関を同定する。 この発見は、不確実性を利用してプロンプトを正確に回収する新しいアプローチであるDeliberative PrOmpt Recovery (DORY)の開発につながった。 DORYは出力からのドラフトを再構築し、ヒントでそれらを精製し、不確実性に基づいてノイズを除去する。 多様なLCMとプロンプトベンチマークによる評価の結果,DORYは既存のベースラインより優れ,約10.82%向上し,回復作業の迅速化のために新たな最先端記録を樹立した。 重要なことは、DORYは外部リソースやモデルなしで単一のLLMを使用しており、費用対効果が高く、ユーザフレンドリな迅速な回復ソリューションを提供する。

関連論文リスト

• Confident or Seek Stronger: Exploring Uncertainty-Based On-device LLM Routing From Benchmarking to Generalization [61.02719787737867]
  大規模言語モデル(LLM)はますますエッジデバイスにデプロイされ、民主化されている。 1つの有望な解決策は不確実性に基づくSLMルーティングであり、SLM上での低信頼応答が発生すると、高い要求を強いLCMにオフロードする。 我々は1500以上の設定でSLMからLLMへの不確実性駆動型ルーティング戦略のベンチマークと一般化を包括的に調査する。
  論文  参考訳（メタデータ） (2025-02-06T18:59:11Z)
• RL-based Query Rewriting with Distilled LLM for online E-Commerce Systems [19.674493253615235]
  効率と効率のバランスをとる新しいQR用ハイブリッドパイプラインを提案する。 オンライン強化学習(RL)を用いて,オフラインの知識蒸留を併用し,リアルタイムフィードバックを用いて動的にクエリ書き換えを行う。 Amazon ESCIデータセットの実験結果は、クエリ関連性、多様性、適応性を大幅に改善したことを示している。
  論文  参考訳（メタデータ） (2025-01-29T23:41:12Z)
• Provenance: A Light-weight Fact-checker for Retrieval Augmented LLM Generation Output [49.893971654861424]
  検索強化生成(RAG)から非実効出力を検出する軽量な手法を提案する。 私たちは、二項決定を下すためにしきい値にできる事実性スコアを計算します。 実験の結果, ROC曲線 (AUC) の下では, 関連するオープンソースデータセットの広範囲にわたって高い面積を示すことができた。
  論文  参考訳（メタデータ） (2024-11-01T20:44:59Z)
• LLM Self-Correction with DeCRIM: Decompose, Critique, and Refine for Enhanced Following of Instructions with Multiple Constraints [86.59857711385833]
  実世界のマルチ制約命令に従うLLMの能力を評価するために設計された最初のベンチマークであるRealInstructを紹介する。 オープンソースモデルとプロプライエタリモデルのパフォーマンスギャップを解決するため,Decompose, Critique and Refine(DeCRIM)自己補正パイプラインを提案する。 この結果から,DeCRIMはフィードバックが弱い場合でも,RealInstructでは7.3%,IFEvalでは8.0%,Mistralでは7.3%向上した。
  論文  参考訳（メタデータ） (2024-10-09T01:25:10Z)
• FIRST: Faster Improved Listwise Reranking with Single Token Decoding [56.727761901751194]
  まず、第1生成識別子の出力ロジットを活用して、候補のランク付け順序を直接取得する新しいリストワイズLLMリグレードアプローチであるFIRSTを紹介する。 実験結果から、BEIRベンチマークの利得により、FIRSTはロバストなランキング性能を維持しつつ、推論を50%高速化することが示された。 以上の結果から,LLMリランカーはクロスエンコーダに比べて強い蒸留信号を提供できることが示唆された。
  論文  参考訳（メタデータ） (2024-06-21T21:27:50Z)
• SuRe: Summarizing Retrievals using Answer Candidates for Open-domain QA of LLMs [85.54906813106683]
  大規模言語モデル(LLM)を用いたオープンドメイン質問応答(ODQA)の簡易かつ効果的なフレームワークを提案する。 SuRe は LLM が与えられた質問に対するより正確な回答を予測するのに役立つ。 様々なODQAベンチマークの実験結果はSuReの優位性を示し、標準的なプロンプトアプローチよりも4.6%、F1スコアが4.0%向上した。
  論文  参考訳（メタデータ） (2024-04-17T01:15:54Z)
• Recover: A Neuro-Symbolic Framework for Failure Detection and Recovery [2.0554045007430672]
  本稿では,オンライン障害識別と回復のためのニューロシンボリック・フレームワークであるRecoverを紹介する。 論理ルールとLLMベースのプランナを統合することで、Recoverはシンボル情報を利用してLLMの回復計画を生成する能力を高める。
  論文  参考訳（メタデータ） (2024-03-31T17:54:22Z)
• Revisiting Large Language Models as Zero-shot Relation Extractors [8.953462875381888]
  リレーショナル抽出(RE)は、ゼロショット設定下であっても、一定のラベル付きまたはラベルなしのデータを一貫して含む。 近年の研究では、大きな言語モデル(LLM)が、単に自然言語のプロンプトを与えられただけで、新しいタスクにうまく移行していることが示されている。 本研究はゼロショット関係抽出器としてLLMを探索することに焦点を当てる。
  論文  参考訳（メタデータ） (2023-10-08T06:17:39Z)
• Query-Dependent Prompt Evaluation and Optimization with Offline Inverse RL [62.824464372594576]
  ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。 このような最適化では、以前見過ごされたクエリ依存の目的を特定します。 本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
  論文  参考訳（メタデータ） (2023-09-13T01:12:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。