論文の概要: Passage-specific Prompt Tuning for Passage Reranking in Question Answering with Large Language Models

• arxiv url: http://arxiv.org/abs/2405.20654v1
• Date: Fri, 31 May 2024 07:43:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-03 15:16:48.628866
• Title: Passage-specific Prompt Tuning for Passage Reranking in Question Answering with Large Language Models
• Title（参考訳）: 大規模言語モデルを用いた質問応答におけるパッセージ特化プロンプトチューニング
• Authors: Xuyang Wu, Zhiyuan Peng, Sravanthi Rajanala, Hsin-Tai Wu, Yi Fang,
• Abstract要約: オープンドメイン質問応答(PSPT)における再ランク付けのためのパス固有プロンプトチューニングを提案する。 PSPTは、学習可能なパス固有のソフトプロンプトを微調整するパラメータ効率の手法である。 我々は,Llama-2-chat-7Bモデルを用いた3つの公開領域質問応答データセットの広範な実験を行った。
• 参考スコア（独自算出の注目度）: 12.104956167496503
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Effective passage retrieval and reranking methods have been widely utilized to identify suitable candidates in open-domain question answering tasks, recent studies have resorted to LLMs for reranking the retrieved passages by the log-likelihood of the question conditioned on each passage. Although these methods have demonstrated promising results, the performance is notably sensitive to the human-written prompt (or hard prompt), and fine-tuning LLMs can be computationally intensive and time-consuming. Furthermore, this approach limits the leverage of question-passage relevance pairs and passage-specific knowledge to enhance the ranking capabilities of LLMs. In this paper, we propose passage-specific prompt tuning for reranking in open-domain question answering (PSPT): a parameter-efficient method that fine-tunes learnable passage-specific soft prompts, incorporating passage-specific knowledge from a limited set of question-passage relevance pairs. The method involves ranking retrieved passages based on the log-likelihood of the model generating the question conditioned on each passage and the learned soft prompt. We conducted extensive experiments utilizing the Llama-2-chat-7B model across three publicly available open-domain question answering datasets and the results demonstrate the effectiveness of the proposed approach.
• Abstract（参考訳）: オープンドメイン質問応答タスクの適切な候補を特定するために,有効経路検索と再ランク法が広く利用されてきたが,近年の研究では,各項目に条件付き質問のログ化によって,検索された経路を再ランク付けするLLMを用いている。 これらの手法は有望な結果を示したが、その性能は人書きのプロンプト(あるいはハードプロンプト)に顕著に敏感であり、微調整 LLM は計算集約的で時間を要する可能性がある。 さらに,LLMのランク付け能力を高めるために,質問パス関連ペアとパス固有知識の活用を制限した。 本稿では,学習可能なパス固有のソフトプロンプトを微調整するパラメータ効率の手法である,オープンドメイン質問応答(PSPT)における再ランク付けのためのパス固有プロンプトチューニングを提案する。 本手法は,各経路に条件付き質問と学習したソフトプロンプトを生成するモデルのログ類似度に基づいて,検索したパスのランク付けを行う。 Llama-2-chat-7Bモデルを3つの公開領域質問応答データセットに適用し,提案手法の有効性を実証した。

関連論文リスト

• Ground Every Sentence: Improving Retrieval-Augmented LLMs with Interleaved Reference-Claim Generation [51.8188846284153]
  RAGは大規模言語モデル(LLM)を強化するために広く採用されている。 分散テキスト生成(ATG)が注目され、RAGにおけるモデルの応答をサポートするための引用を提供する。 本稿では,ReClaim(Refer & Claim)と呼ばれる詳細なATG手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T20:47:47Z)
• QPaug: Question and Passage Augmentation for Open-Domain Question Answering of LLMs [5.09189220106765]
  オープンドメイン問合せタスクのための大規模言語モデル(LLM)を介してQPaug(Q and passage augmentation)と呼ばれるシンプルで効率的な手法を提案する。 実験の結果,QPaugは従来の最先端技術よりも優れており,既存のRAG法よりも大きな性能向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2024-06-20T12:59:27Z)
• SuRe: Summarizing Retrievals using Answer Candidates for Open-domain QA of LLMs [85.54906813106683]
  大規模言語モデル(LLM)を用いたオープンドメイン質問応答(ODQA)の簡易かつ効果的なフレームワークを提案する。 SuRe は LLM が与えられた質問に対するより正確な回答を予測するのに役立つ。 様々なODQAベンチマークの実験結果はSuReの優位性を示し、標準的なプロンプトアプローチよりも4.6%、F1スコアが4.0%向上した。
  論文  参考訳（メタデータ） (2024-04-17T01:15:54Z)
• Query-Dependent Prompt Evaluation and Optimization with Offline Inverse RL [62.824464372594576]
  ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。 このような最適化では、以前見過ごされたクエリ依存の目的を特定します。 本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
  論文  参考訳（メタデータ） (2023-09-13T01:12:52Z)
• Modeling Uncertainty and Using Post-fusion as Fallback Improves Retrieval Augmented Generation with LLMs [80.74263278847063]
  検索されたパスと大きな言語モデル(LLM)の統合は、オープンドメインの質問応答の改善に大きく貢献している。 本稿では,検索したパスをLLMと組み合わせて回答生成を向上させる方法について検討する。
  論文  参考訳（メタデータ） (2023-08-24T05:26:54Z)
• Evidentiality-aware Retrieval for Overcoming Abstractiveness in Open-Domain Question Answering [29.00167886463793]
  本稿では, 証拠パスを注意散逸者から識別するためのEADPR (Evidentiality-Aware Passage Retrieval) を提案する。 提案手法が複数の抽象型ODQAタスクにおいて有効であることを示すため,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-04-06T12:42:37Z)
• Passage-Mask: A Learnable Regularization Strategy for Retriever-Reader Models [36.58955176223759]
  Retriever-Readerモデルは、オープン質問応答や対話会話など、多くの異なるNLPタスク間での競合的なパフォーマンスを実現する。 学習可能なパスマスク機構を導入し、トップランクの検索パスからの影響を減らし、モデルが過度に適合しないようにする。
  論文  参考訳（メタデータ） (2022-11-02T06:39:46Z)
• Multifaceted Improvements for Conversational Open-Domain Question Answering [54.913313912927045]
  対話型オープンドメイン質問回答(MICQA)のための多面的改善フレームワークを提案する。 第一に、提案したKL分割に基づく正規化は、検索と解答のためのより良い質問理解をもたらすことができる。 第二に、追加されたポストランカモジュールは、より関連性の高いパスをトップにプッシュし、2アスペクトの制約で読者に選択できる。 第3に、十分に設計されたカリキュラム学習戦略は、訓練と推論の黄金の通路設定のギャップを効果的に狭め、黄金の通路支援なしで真の答えを見つけることを奨励する。
  論文  参考訳（メタデータ） (2022-04-01T07:54:27Z)
• Learning to Ask Conversational Questions by Optimizing Levenshtein Distance [83.53855889592734]
  明示的な編集動作によって最小レベンシュテイン距離(MLD)を最適化する強化反復シーケンス編集(RISE)フレームワークを導入する。 RISEは会話の特徴に関連するトークンに注意を払うことができる。 2つのベンチマークデータセットの実験結果から、RISEは最先端の手法を大幅に上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-30T08:44:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。