論文の概要: Beyond Prompting: An Efficient Embedding Framework for Open-Domain Question Answering

• arxiv url: http://arxiv.org/abs/2503.01606v1
• Date: Mon, 03 Mar 2025 14:41:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:27:18.770990
• Title: Beyond Prompting: An Efficient Embedding Framework for Open-Domain Question Answering
• Title（参考訳）: Beyond Prompting: オープンドメイン質問回答のための効率的な埋め込みフレームワーク
• Authors: Zhanghao Hu, Hanqi Yan, Qingling Zhu, Zhenyi Shen, Yulan He, Lin Gui,
• Abstract要約: 大規模言語モデルは、最近、新しいフロンティアにオープンドメインの質問に答えた。 一般的なレトリバーリーダーパイプラインは、しばしば複数のプロンプトレベル命令に依存する。 EmbQAは,レシーバとリーダの両方を強化した埋め込みレベルのフレームワークである。
• 参考スコア（独自算出の注目度）: 15.04887070246276
• License:
• Abstract: Large language models have recently pushed open domain question answering (ODQA) to new frontiers. However, prevailing retriever-reader pipelines often depend on multiple rounds of prompt level instructions, leading to high computational overhead, instability, and suboptimal retrieval coverage. In this paper, we propose EmbQA, an embedding-level framework that alleviates these shortcomings by enhancing both the retriever and the reader. Specifically, we refine query representations via lightweight linear layers under an unsupervised contrastive learning objective, thereby reordering retrieved passages to highlight those most likely to contain correct answers. Additionally, we introduce an exploratory embedding that broadens the model's latent semantic space to diversify candidate generation and employs an entropy-based selection mechanism to choose the most confident answer automatically. Extensive experiments across three open-source LLMs, three retrieval methods, and four ODQA benchmarks demonstrate that EmbQA substantially outperforms recent baselines in both accuracy and efficiency.
• Abstract（参考訳）: 大規模言語モデルは、最近、新しいフロンティアにオープンドメイン質問応答(ODQA)をプッシュした。 しかし、一般的なレトリバー・リーダー・パイプラインは、しばしば複数のプロンプトレベルの命令に頼り、高い計算オーバーヘッド、不安定性、そして準最適検索カバレッジをもたらす。 本稿では,レシーバとリーダの双方を強化することで,これらの欠点を軽減する組込みレベルのフレームワークであるEmbQAを提案する。 具体的には、教師なしのコントラスト学習目標の下で、軽量な線形層を介してクエリ表現を洗練し、検索されたパスを並べ替えて、最も正しい答えを含む可能性が高いものをハイライトする。 さらに、モデルの潜在意味空間を広げて候補生成を多様化させ、エントロピーに基づく選択機構を用いて、最も自信のある回答を自動的に選択する探索的埋め込みを導入する。 3つのオープンソースLCM、3つの検索方法、および4つのODQAベンチマークによる大規模な実験により、EmbQAは精度と効率の両方で最近のベースラインを大幅に上回っていることが示された。

関連論文リスト

• Emulating Retrieval Augmented Generation via Prompt Engineering for Enhanced Long Context Comprehension in LLMs [23.960451986662996]
  本稿では,レトリーバル拡張生成(RAG)を特殊エンジニアリングとチェーンオブ思考推論によりエミュレートする手法を提案する。 我々は,BABILong から選択したタスクに対するアプローチを評価し,大量の散逸テキストを用いた標準 bAbI QA 問題をインターリーブする。
  論文  参考訳（メタデータ） (2025-02-18T02:49:40Z)
• W-RAG: Weakly Supervised Dense Retrieval in RAG for Open-domain Question Answering [28.79851078451609]
  大規模言語モデル(LLM)は、内部(パラメトリック)知識にのみ依存して、事実的な回答を生成するのに苦労することが多い。 この制限に対処するため、Retrieval-Augmented Generation (RAG)システムでは、外部ソースから関連情報を検索することでLLMを強化している。 我々はLLMのランキング機能を活用してW-RAGを提案する。
  論文  参考訳（メタデータ） (2024-08-15T22:34:44Z)
• Adaptive Query Rewriting: Aligning Rewriters through Marginal Probability of Conversational Answers [66.55612528039894]
  AdaQRは、シードデータセットからの限定的な書き直しアノテーションと完全にパスラベルのないクエリ書き換えモデルをトレーニングするフレームワークである。 会話クエリに条件付き回答の確率を用いて,これらの候補に対する検索者の嗜好を評価する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-16T16:09:05Z)
• SuRe: Summarizing Retrievals using Answer Candidates for Open-domain QA of LLMs [85.54906813106683]
  大規模言語モデル(LLM)を用いたオープンドメイン質問応答(ODQA)の簡易かつ効果的なフレームワークを提案する。 SuRe は LLM が与えられた質問に対するより正確な回答を予測するのに役立つ。 様々なODQAベンチマークの実験結果はSuReの優位性を示し、標準的なプロンプトアプローチよりも4.6%、F1スコアが4.0%向上した。
  論文  参考訳（メタデータ） (2024-04-17T01:15:54Z)
• Harnessing Multi-Role Capabilities of Large Language Models for Open-Domain Question Answering [40.2758450304531]
  オープンドメイン質問応答 (ODQA) は情報システムにおいて重要な研究スポットライトとなっている。 本稿では,ODQA処理をクエリ拡張,文書選択,回答生成という3つの基本ステップに定式化するフレームワークを提案する。 我々は,ロールプレイングプロンプトを洗練するための新しいプロンプト最適化アルゴリズムを導入し,高品質なエビデンスと回答を生成する。
  論文  参考訳（メタデータ） (2024-03-08T11:09:13Z)
• Strong and Efficient Baselines for Open Domain Conversational Question Answering [2.773656427800412]
  The State-of-the-Art (SotA) Dense Passage Retrieval (DPR) retriever and Fusion-in-Decoder (FiD) reader pipeline。 本稿では,レシーバとリーダの間に高速なリグレードコンポーネントを導入することで,強力でシンプルで効率的なベースラインを提案し,評価する。 TopiOCQA と OR-QuAC という2つの ODConvQA タスクの実験により,本手法が SotA 結果を改善するとともに,読み出し遅延を60%削減することを示した。
  論文  参考訳（メタデータ） (2023-10-23T08:48:14Z)
• Allies: Prompting Large Language Model with Beam Search [107.38790111856761]
  本研究では,ALIESと呼ばれる新しい手法を提案する。 入力クエリが与えられた場合、ALLIESはLLMを活用して、元のクエリに関連する新しいクエリを反復的に生成する。 元のクエリのスコープを反復的に精錬して拡張することにより、ALLIESは直接検索できない隠れた知識をキャプチャし、利用する。
  論文  参考訳（メタデータ） (2023-05-24T06:16:44Z)
• Query Rewriting for Retrieval-Augmented Large Language Models [139.242907155883]
  大規模言語モデル(LLM)は、検索対象のパイプラインで強力なブラックボックスリーダーを動作させる。 この作業では、検索拡張LDMに対する以前の検索テーマ読み込みの代わりに、新しいフレームワークであるRewrite-Retrieve-Readを導入する。
  論文  参考訳（メタデータ） (2023-05-23T17:27:50Z)
• Generate rather than Retrieve: Large Language Models are Strong Context Generators [74.87021992611672]
  本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。 我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
  論文  参考訳（メタデータ） (2022-09-21T01:30:59Z)
• Tradeoffs in Sentence Selection Techniques for Open-Domain Question Answering [54.541952928070344]
  文選択のためのモデルの2つのグループについて述べる。QAベースのアプローチは、解答候補を特定するための完全なQAシステムを実行し、検索ベースのモデルは、各質問に特に関連する各節の一部を見つける。 非常に軽量なQAモデルは、このタスクではうまく機能するが、検索ベースモデルは高速である。
  論文  参考訳（メタデータ） (2020-09-18T23:39:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。