論文の概要: A Comprehensive Evaluation of Transformer-Based Question Answering Models and RAG-Enhanced Design

• arxiv url: http://arxiv.org/abs/2509.21845v1
• Date: Fri, 26 Sep 2025 04:11:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.169846
• Title: A Comprehensive Evaluation of Transformer-Based Question Answering Models and RAG-Enhanced Design
• Title（参考訳）: 変圧器による質問応答モデルとRAG強化設計の総合的評価
• Authors: Zichen Zhang, Kunlong Zhang, Hongwei Ruan, Yiming Luo,
• Abstract要約: トランスフォーマーベースのモデルは質問応答の分野を進歩させてきたが、複数の経路にまたがるエビデンスを必要とするマルチホップ推論は依然として困難である。 本稿では,検索強化生成フレームワーク内でのマルチホップ質問応答に対する検索戦略を総合的に評価する。 HotpotQAデータセットの実験は、ハイブリッドアプローチがベースラインメソッドを大幅に上回っていることを示している。
• 参考スコア（独自算出の注目度）: 3.974953368025457
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer-based models have advanced the field of question answering, but multi-hop reasoning, where answers require combining evidence across multiple passages, remains difficult. This paper presents a comprehensive evaluation of retrieval strategies for multi-hop question answering within a retrieval-augmented generation framework. We compare cosine similarity, maximal marginal relevance, and a hybrid method that integrates dense embeddings with lexical overlap and re-ranking. To further improve retrieval, we adapt the EfficientRAG pipeline for query optimization, introducing token labeling and iterative refinement while maintaining efficiency. Experiments on the HotpotQA dataset show that the hybrid approach substantially outperforms baseline methods, achieving a relative improvement of 50 percent in exact match and 47 percent in F1 score compared to cosine similarity. Error analysis reveals that hybrid retrieval improves entity recall and evidence complementarity, while remaining limited in handling distractors and temporal reasoning. Overall, the results suggest that hybrid retrieval-augmented generation provides a practical zero-shot solution for multi-hop question answering, balancing accuracy, efficiency, and interpretability.
• Abstract（参考訳）: トランスフォーマーベースのモデルは質問応答の分野を進歩させてきたが、複数の経路にまたがるエビデンスを必要とするマルチホップ推論は依然として困難である。 本稿では,検索強化生成フレームワーク内でのマルチホップ質問応答に対する検索戦略を総合的に評価する。 我々は,コサインの類似性,最大縁関係性,および語彙重なりと再ランク付けと密着な埋め込みを統合するハイブリッド手法を比較した。 検索をさらに改善するため,効率的なRAGパイプラインをクエリ最適化に適用し,トークンラベリングと反復リファインメントを導入し,効率を向上する。 HotpotQAデータセットの実験では、ハイブリッドアプローチがベースライン法を大幅に上回り、コサイン類似性と比較して50%の正確な一致率と47%のF1スコアの相対的な改善を実現している。 エラー分析により、ハイブリッド検索はエンティティリコールとエビデンス補完性を向上する一方で、気晴らしや時間的推論に制限を課すことが判明した。 総合的な結果から,ハイブリッド検索拡張生成は,マルチホップ質問応答,精度のバランス,効率,解釈可能性に実用的なゼロショットソリューションを提供する可能性が示唆された。

関連論文リスト

• DAT: Dynamic Alpha Tuning for Hybrid Retrieval in Retrieval-Augmented Generation [0.0]
  DAT(Dynamic Alpha Tuning)は,クエリ毎に密度の高い検索とBM25のバランスをとる,新しいハイブリッド検索フレームワークである。 固定重み付きハイブリッド検索法を様々な評価指標で一貫して上回る。 小さなモデルであっても、DATは高いパフォーマンスを提供し、その効率性と適応性を強調します。
  論文  参考訳（メタデータ） (2025-03-29T08:35:01Z)
• From Retrieval to Generation: Comparing Different Approaches [15.31883349259767]
  我々は,知識集約型タスクに対する検索ベース,生成ベース,ハイブリッドモデルの評価を行った。 我々は、高密度レトリバー、特にDPRは、NQ上でトップ1の精度が50.17%のODQAにおいて高い性能を発揮することを示す。 また、WikiText-103を用いて言語モデリングタスクを解析し、BM25のような検索に基づくアプローチは、生成的手法やハイブリッド手法に比べて難易度が低いことを示す。
  論文  参考訳（メタデータ） (2025-02-27T16:29:14Z)
• LevelRAG: Enhancing Retrieval-Augmented Generation with Multi-hop Logic Planning over Rewriting Augmented Searchers [24.01783076521377]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)における幻覚を緩和するための重要な方法である 既存のRAGメソッドは通常、検索範囲を広げるためにハイブリッド検索を使用しながら、ユーザ意図を明確にし、マルチホップロジックを管理するためにクエリ書き換えを使用する。 本稿では,複雑なクエリをアトミックなクエリに分解する高レベル検索手法を提案する。 高精度なキーワード検索にスパース検索の長所を利用するために,Lucene構文を用いて検索精度を向上させるスパース検索手法を開発した。
  論文  参考訳（メタデータ） (2025-02-25T12:09:16Z)
• Chain-of-Retrieval Augmented Generation [72.06205327186069]
  本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。 提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
  論文  参考訳（メタデータ） (2025-01-24T09:12:52Z)
• SiReRAG: Indexing Similar and Related Information for Multihop Reasoning [96.60045548116584]
  SiReRAGは、類似情報と関連する情報の両方を明示的に考慮する新しいRAGインデックス方式である。 SiReRAGは、3つのマルチホップデータセットの最先端インデックス手法を一貫して上回る。
  論文  参考訳（メタデータ） (2024-12-09T04:56:43Z)
• Domain-specific Question Answering with Hybrid Search [39.85176264551715]
  本研究では,細調整された高密度検索器とキーワードベーススパース検索を併用したハイブリッド手法により,性能が著しく向上することを示す。 実験結果から, このハイブリッド方式は, シングルレトリバーシステムより優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-12-04T22:04:13Z)
• Hybrid and Collaborative Passage Reranking [144.83902343298112]
  本稿では,HybRank(HybRank)手法を提案する。 スパースとシークエンスレトリバーの語彙的および意味的特性を組み込んで再ランク付けする。 HybRankは、既製のレトリバー機能をベースに構築されており、任意のパスリストを拡張できるプラグインリランカである。
  論文  参考訳（メタデータ） (2023-05-16T09:38:52Z)
• ECO-TR: Efficient Correspondences Finding Via Coarse-to-Fine Refinement [80.94378602238432]
  粗大な処理で対応性を見出すことにより、ECO-TR(Correspondence Efficient Transformer)と呼ばれる効率的な構造を提案する。 これを実現するために、複数の変圧器ブロックは段階的に連結され、予測された座標を徐々に洗練する。 種々のスパースタスクと密マッチングタスクの実験は、既存の最先端技術に対する効率性と有効性の両方において、我々の手法の優位性を実証している。
  論文  参考訳（メタデータ） (2022-09-25T13:05:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。