論文の概要: RAGtifier: Evaluating RAG Generation Approaches of State-of-the-Art RAG Systems for the SIGIR LiveRAG Competition

• arxiv url: http://arxiv.org/abs/2506.14412v1
• Date: Tue, 17 Jun 2025 11:14:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-18 17:34:59.441582
• Title: RAGtifier: Evaluating RAG Generation Approaches of State-of-the-Art RAG Systems for the SIGIR LiveRAG Competition
• Title（参考訳）: RAGtifier: SIGIR LiveRAGコンペティションのための最先端RAGシステムのRAG生成アプローチの評価
• Authors: Tim Cofala, Oleh Astappiev, William Xion, Hailay Teklehaymanot,
• Abstract要約: LiveRAG 2025チャレンジでは、DataMorganaのQAペアの精度を最大化するためのRAGソリューションが検討されている。 このチャレンジは、Fineweb 10BTデータセットのスパースOpenSearchと密度の高いPineconeインデックスへのアクセスを提供する。 SIGIR 2025 LiveRAG Challengeでは,正当性スコアが1.13,忠実度スコアが0.55,SIGIR 2025 LiveRAG Challengeが4位となった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Retrieval-Augmented Generation (RAG) enriches Large Language Models (LLMs) by combining their internal, parametric knowledge with external, non-parametric sources, with the goal of improving factual correctness and minimizing hallucinations. The LiveRAG 2025 challenge explores RAG solutions to maximize accuracy on DataMorgana's QA pairs, which are composed of single-hop and multi-hop questions. The challenge provides access to sparse OpenSearch and dense Pinecone indices of the Fineweb 10BT dataset. It restricts model use to LLMs with up to 10B parameters and final answer generation with Falcon-3-10B. A judge-LLM assesses the submitted answers along with human evaluators. By exploring distinct retriever combinations and RAG solutions under the challenge conditions, our final solution emerged using InstructRAG in combination with a Pinecone retriever and a BGE reranker. Our solution achieved a correctness score of 1.13 and a faithfulness score of 0.55, placing fourth in the SIGIR 2025 LiveRAG Challenge.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG) は、内部のパラメトリック知識を外部のパラメトリックソースと組み合わせ、事実の正しさを改善し、幻覚を最小化することで、Large Language Models (LLMs) を強化している。 LiveRAG 2025チャレンジでは、単一ホップとマルチホップの質問からなるDataMorganaのQAペアの精度を最大化するために、RAGソリューションを探求している。 このチャレンジは、Fineweb 10BTデータセットのスパースOpenSearchと密度の高いPineconeインデックスへのアクセスを提供する。 モデルの使用は最大10Bパラメータとファルコン-3-10Bによる最終回答生成でLLMに制限される。 審査員LLMは、提出された回答と人間の評価者を評価する。 InstructRAGとPineconeレトリバーとBGEリランカを併用して,課題条件下で異なるレトリバーの組み合わせとRAGソリューションを探索した。 SIGIR 2025 LiveRAG Challengeでは,正当性スコアが1.13,忠実度スコアが0.55,SIGIR 2025 LiveRAG Challengeが4位となった。

関連論文リスト

• RMIT-ADM+S at the SIGIR 2025 LiveRAG Challenge [4.364909807482374]
  本稿では,SIGIR 2025 LiveRAG ChallengeにおけるRMIT--ADM+S参加について述べる。 我々のGAG(Generation-Retrieval-Augmented Generation)アプローチは、元の質問とともに、検索フェーズで使用される仮説的な回答を生成することに依存しています。 システムアーキテクチャと設計選択の背後にある根拠について説明する。
  論文  参考訳（メタデータ） (2025-06-17T13:41:12Z)
• LTRR: Learning To Rank Retrievers for LLMs [53.285436927963865]
  ルーティングベースのRAGシステムは、単一リトリバーベースのシステムよりも優れていることを示す。 パフォーマンス向上は、特にAnswer Correctness(AC)メトリックでトレーニングされたモデルで顕著である。 SIGIR 2025 LiveRAG チャレンジの一環として,提案システムを用いて提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2025-06-16T17:53:18Z)
• Reinforced Informativeness Optimization for Long-Form Retrieval-Augmented Generation [77.10390725623125]
  LFQA(Long-form Question answering)は、大規模言語モデルに固有の課題を提示する。 RioRAGは、強化情報性最適化を通じて長めのRAGを進化させる新しい強化学習フレームワークである。
  論文  参考訳（メタデータ） (2025-05-27T07:34:41Z)
• Chain-of-Retrieval Augmented Generation [72.06205327186069]
  本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。 提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
  論文  参考訳（メタデータ） (2025-01-24T09:12:52Z)
• Retrieval-Augmented Generation for Domain-Specific Question Answering: A Case Study on Pittsburgh and CMU [3.1787418271023404]
  我々は、ドメイン固有の質問に答えるために、関連文書を含む大規模言語モデルを提供するために、検索型拡張生成システム(RAG)を設計した。 我々は,グリーディスクレーピング戦略を用いて1,800以上のサブページを抽出し,手動とMistralの生成した質問応答ペアを組み合わせたハイブリッドアノテーションプロセスを用いた。 我々のRAGフレームワークはBM25とFAISSレトリバーを統合し、文書検索精度を向上させるリランカで強化した。
  論文  参考訳（メタデータ） (2024-11-20T20:10:43Z)
• CRAG -- Comprehensive RAG Benchmark [58.15980697921195]
  Retrieval-Augmented Generation (RAG) は、Large Language Model (LLM) の知識不足を緩和するための有望なソリューションとして最近登場した。 既存のRAGデータセットは、現実世界の質問回答(QA)タスクの多様性と動的な性質を適切に表現していない。 このギャップを埋めるために、包括的RAGベンチマーク(CRAG)を導入する。 CRAGは、Webと知識グラフ(KG)検索をシミュレートする4,409組の質問応答ペアとモックAPIの実際の質問応答ベンチマークである。
  論文  参考訳（メタデータ） (2024-06-07T08:43:07Z)
• The Chronicles of RAG: The Retriever, the Chunk and the Generator [0.0]
  本稿では,ブラジルポルトガル語のRAGの実装,最適化,評価を行うための優れたプラクティスを提案する。 我々は最初のハリー・ポッターの本についての質問に答えるための様々な方法を探究する。
  論文  参考訳（メタデータ） (2024-01-15T18:25:18Z)
• Rotation Invariance and Extensive Data Augmentation: a strategy for the Mitosis Domain Generalization (MIDOG) Challenge [1.52292571922932]
  我々は,MIDOG 2021コンペティションに参加するための戦略を提示する。 このコンペティションの目的は、目に見えないターゲットスキャナーで取得した画像に対する解の一般化を評価することである。 本稿では,最先端のディープラーニング手法の組み合わせに基づく解を提案する。
  論文  参考訳（メタデータ） (2021-09-02T10:09:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。