論文の概要: Grounding by Trying: LLMs with Reinforcement Learning-Enhanced Retrieval

• arxiv url: http://arxiv.org/abs/2410.23214v1
• Date: Wed, 30 Oct 2024 17:02:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:28:26.549109
• Title: Grounding by Trying: LLMs with Reinforcement Learning-Enhanced Retrieval
• Title（参考訳）: 試行による接地:強化学習強化検索付きLLM
• Authors: Sheryl Hsu, Omar Khattab, Chelsea Finn, Archit Sharma,
• Abstract要約: 大きな言語モデル(LLM)は、しばしば適切な検索クエリのポーズに苦労する。 私たちは$underlineLe$arningを$underlineRe$trieveに$underlineT$rying (LeReT)を導入します。 LeReTは、検索クエリを探索し、好みベースの最適化を使用して品質を改善する強化学習フレームワークである。
• 参考スコア（独自算出の注目度）: 55.63711219190506
• License:
• Abstract: The hallucinations of large language models (LLMs) are increasingly mitigated by allowing LLMs to search for information and to ground their answers in real sources. Unfortunately, LLMs often struggle with posing the right search queries, especially when dealing with complex or otherwise indirect topics. Observing that LLMs can learn to search for relevant facts by $\textit{trying}$ different queries and learning to up-weight queries that successfully produce relevant results, we introduce $\underline{Le}$arning to $\underline{Re}$trieve by $\underline{T}$rying (LeReT), a reinforcement learning framework that explores search queries and uses preference-based optimization to improve their quality. \methodclass can improve the absolute retrieval accuracy by up to 29\% and the downstream generator evaluations by 17\%. The simplicity and flexibility of LeReT allows it to be applied to arbitrary off-the-shelf retrievers and makes it a promising technique for improving general LLM pipelines. Project website: http://sherylhsu.com/LeReT/.
• Abstract（参考訳）: 大規模言語モデル(LLM)の幻覚は、LLMが情報を探し出し、その答えを実際の情報源で裏付けることによって、ますます緩和されている。 残念ながら、LLMは、特に複雑で間接的なトピックを扱う場合、適切な検索クエリのポーズに苦労することが多い。 LLMが関連する事実を検索するために、$\textit{trying}$クエリを学習し、関連する結果の獲得に成功するアップウェイトなクエリに学習するのを見て、$\underline{Le}$arning to $\underline{Re}$trieve by $\underline{T}$rying (LeReT)を紹介します。 \methodclassは、絶対精度を最大29\%改善し、下流ジェネレータの評価を17\%向上させることができる。 LeReTの単純さと柔軟性により、任意のオフザシェルフレトリバーに適用でき、一般的なLLMパイプラインを改善する上で有望な技術となっている。 プロジェクトウェブサイト: http://sherylhsu.com/LeReT/.com

関連論文リスト

• Refiner: Restructure Retrieval Content Efficiently to Advance Question-Answering Capabilities [30.1331670544648]
  大規模言語モデル(LLM)はパラメトリックな知識によって制限され、知識集約的なタスクに幻覚をもたらす。 我々は、RAGの検索後のプロセスで機能するエンドツーエンドの抽出・再構成パラダイムである$textitRefiner$を提案する。
  論文  参考訳（メタデータ） (2024-06-17T09:25:10Z)
• When Do LLMs Need Retrieval Augmentation? Mitigating LLMs' Overconfidence Helps Retrieval Augmentation [66.01754585188739]
  大規模言語モデル(LLM)は、特定の知識を持っていないことを知るのが困難であることが判明した。 Retrieval Augmentation (RA)はLLMの幻覚を緩和するために広く研究されている。 本稿では,LLMの知識境界に対する認識を高めるためのいくつかの手法を提案する。
  論文  参考訳（メタデータ） (2024-02-18T04:57:19Z)
• Effective Large Language Model Adaptation for Improved Grounding and Citation Generation [48.07830615309543]
  本稿では,検索した文の応答を基底にして,引用を提供することにより,大規模言語モデル(LLM)の改善に焦点を当てる。 我々は、全体論的観点から基盤を改善する新しいフレームワーク AGREE を提案する。 我々のフレームワークは, LLMを調整し, その要求を自己評価し, 検索した文書に正確な引用を提供する。
  論文  参考訳（メタデータ） (2023-11-16T03:22:25Z)
• LLatrieval: LLM-Verified Retrieval for Verifiable Generation [67.93134176912477]
  検証可能な生成は、大きな言語モデル(LLM)がドキュメントをサポートするテキストを生成することを目的としている。 本稿では,LLatrieval (Large Language Model Verified Retrieval)を提案する。 実験により、LLatrievalは幅広いベースラインを著しく上回り、最先端の結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-11-14T01:38:02Z)
• Rephrase and Respond: Let Large Language Models Ask Better Questions for Themselves [57.974103113675795]
  本稿では,Rephrase and Respond'(RaR)という手法を提案する。 RaRは、パフォーマンスを改善するためのシンプルだが効果的なプロンプト方法として機能する。 また,RaRは理論的にも経験的にも,一般的なChain-of-Thought(CoT)法と相補的であることを示す。
  論文  参考訳（メタデータ） (2023-11-07T18:43:34Z)
• EcoAssistant: Using LLM Assistant More Affordably and Accurately [36.29735258966917]
  EcoAssistantというフレームワークをコントリビュートすることで,大規模言語モデルによるコード駆動クエリの応答を,より安価かつ正確に行えるようにします。 まず、LLMアシスタントが自動コード実行器と会話することで、コードを反復的に洗練したり、実行結果に基づいて回答を生成できる。 第二に、LLMアシスタントの階層を使い、より弱く安価なLCMでクエリに答えようとする。
  論文  参考訳（メタデータ） (2023-10-03T22:16:13Z)
• FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance [36.94826820536239]
  一般的な大言語モデル(LLM)のクエリに関するコストについてレビューする。 LLMの使用に伴う推論コストを削減するために,ユーザが活用できる3つの戦略について論じる。 実験の結果,FrugalGPTは最大98%のコスト削減や,同じコストでGPT-4の精度を4%向上できることがわかった。
  論文  参考訳（メタデータ） (2023-05-09T05:11:02Z)
• Large Language Models are Strong Zero-Shot Retriever [89.16756291653371]
  ゼロショットシナリオにおける大規模検索に大規模言語モデル(LLM)を適用するための簡単な手法を提案する。 我々の手法であるRetriever(LameR)は,LLM以外のニューラルモデルに基づいて構築された言語モデルである。
  論文  参考訳（メタデータ） (2023-04-27T14:45:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。