論文の概要: Stochastic RAG: End-to-End Retrieval-Augmented Generation through Expected Utility Maximization

• arxiv url: http://arxiv.org/abs/2405.02816v1
• Date: Sun, 5 May 2024 05:42:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-07 18:10:30.094618
• Title: Stochastic RAG: End-to-End Retrieval-Augmented Generation through Expected Utility Maximization
• Title（参考訳）: Stochastic RAG: 実用性最大化によるエンドツーエンド検索生成
• Authors: Hamed Zamani, Michael Bendersky,
• Abstract要約: RAGは、検索拡張生成(RAG)モデルのエンドツーエンド最適化のための新しいアプローチである。 我々はGumbel-top-k をストレートスルーで使い、置換せずにサンプリングに微分可能な近似を提供する。
• 参考スコア（独自算出の注目度）: 35.74911182120259
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces Stochastic RAG--a novel approach for end-to-end optimization of retrieval-augmented generation (RAG) models that relaxes the simplifying assumptions of marginalization and document independence, made in most prior work. Stochastic RAG casts the retrieval process in RAG as a stochastic sampling without replacement process. Through this formulation, we employ straight-through Gumbel-top-k that provides a differentiable approximation for sampling without replacement and enables effective end-to-end optimization for RAG. We conduct extensive experiments on seven diverse datasets on a wide range of tasks, from open-domain question answering to fact verification to slot-filling for relation extraction and to dialogue systems. By applying this optimization method to a recent and effective RAG model, we advance state-of-the-art results on six out of seven datasets.
• Abstract（参考訳）: 本稿では,検索拡張生成モデル(RAG)のエンドツーエンド最適化のための新しいアプローチであるStochastic RAGを紹介する。 確率RAGは、RAGの検索プロセスを置換プロセスなしで確率的なサンプリングとしてキャストする。 この定式化により、Gumbel-top-k をストレートスルーで使用し、置換せずにサンプリングに微分可能な近似を提供し、RAG の効率的なエンドツーエンド最適化を可能にする。 オープンドメイン質問応答から事実検証,関係抽出のためのスロットフィリング,対話システムなど,幅広いタスクに関する7つの多様なデータセットについて広範な実験を行った。 この最適化手法を最近のRAGモデルに適用することにより、7つのデータセットのうち6つについて最先端の結果を前進させる。

関連論文リスト

• End-to-End Trainable Soft Retriever for Low-resource Relation Extraction [7.613942320502336]
  本研究は,テキスト生成モデルを用いたインスタンスベースの関係抽出における重要な課題に対処する。 本稿では, ニューラルプロンプト法により, エンド・ツー・エンドのトラインブル・ソフトKアネレスト・リトリーバー (ETRASK) を提案する。
  論文  参考訳（メタデータ） (2024-06-06T07:01:50Z)
• Blended RAG: Improving RAG (Retriever-Augmented Generation) Accuracy with Semantic Search and Hybrid Query-Based Retrievers [0.0]
  Retrieval-Augmented Generation (RAG) は、大規模言語モデル (LLM) で文書のプライベートな知識基盤を注入し、生成的Q&A (Question-Answering) システムを構築するための一般的なアプローチである。 本稿では,Vector インデックスや Sparse インデックスなどのセマンティック検索手法をハイブリッドクエリ手法と組み合わせた 'Blended RAG' 手法を提案する。 本研究は,NQ や TREC-COVID などの IR (Information Retrieval) データセットの検索結果の改善と,新たなベンチマーク設定を行う。
  論文  参考訳（メタデータ） (2024-03-22T17:13:46Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)
• Regression with Label Differential Privacy [64.21020761920322]
  与えられた回帰損失関数の下で最適なラベルDPランダム化機構を導出する。 我々は、最適メカニズムが「ビンのランダム化応答」の形をとることを証明した。
  論文  参考訳（メタデータ） (2022-12-12T17:41:32Z)
• Surrogate modeling for Bayesian optimization beyond a single Gaussian process [62.294228304646516]
  本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。 拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。 提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
  論文  参考訳（メタデータ） (2022-05-27T16:43:10Z)
• Fast Variational AutoEncoder with Inverted Multi-Index for Collaborative Filtering [59.349057602266]
  変分オートエンコーダ (VAE) は, 協調フィルタリングの非線形手法として拡張されている。 内積に基づくソフトマックス確率を逆多重インデックスに基づいて分解する。 FastVAEはサンプリング品質と効率の両面で最先端のベースラインを上回っます。
  論文  参考訳（メタデータ） (2021-09-13T08:31:59Z)
• RSO: A Novel Reinforced Swarm Optimization Algorithm for Feature Selection [0.0]
  本稿では,Reinforced Swarm Optimization (RSO) という特徴選択アルゴリズムを提案する。 このアルゴリズムは、広く使われているBee Swarm Optimization (BSO)アルゴリズムとReinforcement Learning (RL)アルゴリズムを組み込んで、優れた検索エージェントの報酬を最大化し、劣悪なエージェントを罰する。 提案手法は、バランスの取れたデータと不均衡なデータの完全なブレンドを含む、広く知られている25のUCIデータセットで評価される。
  論文  参考訳（メタデータ） (2021-07-29T17:38:04Z)
• Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
  高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。 我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。 また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
  論文  参考訳（メタデータ） (2021-07-02T16:21:52Z)
• Gaussian Process Bandit Optimization of the Thermodynamic Variational Objective [36.062939523856066]
  本稿では,ソートされた離散化点を自動選択するガウス過程帯域最適化手法を提案する。 我々は,帯域最適化が積分点の最小化選択に収束することを理論的に保証する。 本アルゴリズムの実証検証は,変分オートエンコーダとシグモイド・リーフ・ネットワークにおける学習と推論の改善の観点から行われる。
  論文  参考訳（メタデータ） (2020-10-29T16:57:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。