論文の概要: Revisiting the Solution of Meta KDD Cup 2024: CRAG

• arxiv url: http://arxiv.org/abs/2409.15337v1
• Date: Mon, 9 Sep 2024 07:28:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 19:54:40.797773
• Title: Revisiting the Solution of Meta KDD Cup 2024: CRAG
• Title（参考訳）: メタKDDカップ2024の解法再考:CRAG
• Authors: Jie Ouyang, Yucong Luo, Mingyue Cheng, Daoyu Wang, Shuo Yu, Qi Liu, Enhong Chen,
• Abstract要約: 本稿では,Meta KDD CUP 2024: CRAG Comprehensive RAG Benchmark ChallengeにおけるAPEXのソリューションについて述べる。 CRAGベンチマークは、Retrieval-Augmented Generation (RAG)システムで直面する多種多様な動的課題を評価する際に、既存のQAベンチマークの限界に対処する。 本稿では,ルーティングに基づく領域と動的適応型RAGパイプラインを提案する。
• 参考スコア（独自算出の注目度）: 45.217913880930155
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents the solution of our team APEX in the Meta KDD CUP 2024: CRAG Comprehensive RAG Benchmark Challenge. The CRAG benchmark addresses the limitations of existing QA benchmarks in evaluating the diverse and dynamic challenges faced by Retrieval-Augmented Generation (RAG) systems. It provides a more comprehensive assessment of RAG performance and contributes to advancing research in this field. We propose a routing-based domain and dynamic adaptive RAG pipeline, which performs specific processing for the diverse and dynamic nature of the question in all three stages: retrieval, augmentation, and generation. Our method achieved superior performance on CRAG and ranked 2nd for Task 2&3 on the final competition leaderboard. Our implementation is available at this link: https://github.com/USTCAGI/CRAG-in-KDD-Cup2024.
• Abstract（参考訳）: 本稿では,Meta KDD CUP 2024: CRAG Comprehensive RAG Benchmark ChallengeにおけるAPEXのソリューションについて述べる。 CRAGベンチマークは、Retrieval-Augmented Generation (RAG)システムで直面する多種多様な動的課題を評価する際に、既存のQAベンチマークの限界に対処する。 RAGのパフォーマンスをより包括的に評価し、この分野の研究の進展に貢献する。 本稿では,ルーティングに基づく領域と動的適応型RAGパイプラインを提案する。このパイプラインは,探索,拡張,生成という3つの段階において,質問の多様かつ動的な性質に対して,特定の処理を行う。 本手法はCRAGにおいて優れた性能を示し,第2&3タスクの2位にランクインした。 https://github.com/USTCAGI/CRAG-in-KDD-Cup2024. https://github.com/USTCAGI/CRAG-in-KDD-Cup2024.com/in-KDD-Cup2024.com/in-in-in-KDD-Cup2024.

関連論文リスト

• Do RAG Systems Cover What Matters? Evaluating and Optimizing Responses with Sub-Question Coverage [74.70255719194819]
  サブクエストカバレッジに基づく新しいフレームワークを導入し、RAGシステムが質問の異なる面にどのように対処するかを計測する。 このフレームワークを使用して、You.com、Perplexity AI、Bing Chatの3つの商用生成応答エンジンを評価します。 すべての回答エンジンは、バックグラウンドやフォローアップよりも、コアサブクエストを頻繁にカバーしていますが、コアサブクエストの約50%を見逃しています。
  論文  参考訳（メタデータ） (2024-10-20T22:59:34Z)
• Toward General Instruction-Following Alignment for Retrieval-Augmented Generation [63.611024451010316]
  Retrieval-Augmented Generation (RAG) システムの効果的な適用には、自然な指示に従うことが不可欠である。 RAGシステムにおける命令追従アライメントのための,最初の自動化,拡張性,検証可能な合成パイプラインであるVIF-RAGを提案する。
  論文  参考訳（メタデータ） (2024-10-12T16:30:51Z)
• MARAGS: A Multi-Adapter System for Multi-Task Retrieval Augmented Generation Question Answering [0.43512163406552007]
  KDD CUP 2024 のための Meta's Comprehensive RAG (CRAG) コンペティションのためのマルチアダプタ検索拡張システム (MARAGS) を提案する。 タスク1では2位,タスク2では3位となった。
  論文  参考訳（メタデータ） (2024-09-05T01:58:29Z)
• A Knowledge-Centric Benchmarking Framework and Empirical Study for Retrieval-Augmented Generation [4.359511178431438]
  Retrieval-Augmented Generation (RAG)は、検索機構を統合することで生成モデルを強化する。 その利点にもかかわらず、RAGは特に現実世界のクエリを効果的に処理する上で、大きな課題に直面している。 本稿では,これらの課題に対処する新しいRAGベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-09-03T03:31:37Z)
• RAGChecker: A Fine-grained Framework for Diagnosing Retrieval-Augmented Generation [61.14660526363607]
  本稿では,検索モジュールと生成モジュールの両方に対して,一連の診断指標を組み込んだ詳細な評価フレームワークであるRAGCheckerを提案する。 RAGCheckerは、他の評価指標よりも、人間の判断との相関が著しく優れている。 RAGCheckerのメトリクスは、より効果的なRAGシステムの開発において研究者や実践者を導くことができる。
  論文  参考訳（メタデータ） (2024-08-15T10:20:54Z)
• Ragnarök: A Reusable RAG Framework and Baselines for TREC 2024 Retrieval-Augmented Generation Track [51.25144287084172]
  RAGベースの検索システムを構築、テスト、視覚化、体系的に評価するためのアリーナを持つことが不可欠である。 TREC 2024 RAG Trackを提案する。
  論文  参考訳（メタデータ） (2024-06-24T17:37:52Z)
• CRAG -- Comprehensive RAG Benchmark [58.15980697921195]
  Retrieval-Augmented Generation (RAG) は、Large Language Model (LLM) の知識不足を緩和するための有望なソリューションとして最近登場した。 既存のRAGデータセットは、現実世界の質問回答(QA)タスクの多様性と動的な性質を適切に表現していない。 このギャップを埋めるために、包括的RAGベンチマーク(CRAG)を導入する。 CRAGは、Webと知識グラフ(KG)検索をシミュレートする4,409組の質問応答ペアとモックAPIの実際の質問応答ベンチマークである。
  論文  参考訳（メタデータ） (2024-06-07T08:43:07Z)
• Evaluation of Retrieval-Augmented Generation: A Survey [13.633909177683462]
  本稿では,Retrieval-Augmented Generation (RAG)システムの評価とベンチマークについて概観する。 具体的には、検索・生成要素の定量化指標(関連性、正確性、忠実性など)について検討・比較する。 次に、様々なデータセットとメトリクスを分析し、現在のベンチマークの限界について議論し、RAGベンチマークの分野を前進させる潜在的な方向性を提案する。
  論文  参考訳（メタデータ） (2024-05-13T02:33:25Z)
• Retrieval-Augmented Generation for AI-Generated Content: A Survey [38.50754568320154]
  このような課題に対処するためのパラダイムとして,レトリーバル拡張生成(RAG)が登場している。 RAGは情報検索プロセスを導入し、利用可能なデータストアから関連オブジェクトを検索することで生成プロセスを強化する。 本稿では,RAG手法をAIGCシナリオに統合する既存の取り組みを概観的にレビューする。
  論文  参考訳（メタデータ） (2024-02-29T18:59:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。