論文の概要: BRIGHT+: Upgrading the BRIGHT Benchmark with MARCUS, a Multi-Agent RAG Clean-Up Suite

• arxiv url: http://arxiv.org/abs/2506.07116v1
• Date: Sun, 08 Jun 2025 12:59:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 21:10:47.081387
• Title: BRIGHT+: Upgrading the BRIGHT Benchmark with MARCUS, a Multi-Agent RAG Clean-Up Suite
• Title（参考訳）: BRIGHT+:マルチエージェントRAGクリーンアップスイートMARCUSでBRIGHTベンチマークをアップグレード
• Authors: Liyang Chen, Yujun Cai, Jieqiong Dong, Yiwei Wang,
• Abstract要約: MARCUSは、BRIGHTを系統的に浄化し、高品質なコーパスであるBRIGHT-Plusに変換するパイプラインである。 MARCUSは、構造的ノイズ除去とセマンティックセグメンテーションのための専用エージェントを適用し、応答を含むスパンを保存し、文脈整合性を改善する。 我々はBRIGHT-PlusコーパスとMARCUSパイプラインを共にリリースし、ロバストで推論中心の検索の今後の研究を支援する。
• 参考スコア（独自算出の注目度）: 13.006716139877838
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-Augmented Generation (RAG) systems require corpora that are both structurally clean and semantically coherent. BRIGHT is a recent and influential benchmark designed to evaluate complex multi-hop retrieval across diverse, high-reasoning domains. However, its practical effectiveness is limited by common web-crawled artifacts - such as content redundancy and semantic discontinuity - that impair retrieval accuracy and downstream reasoning. Notably, we find that such issues are concentrated in seven StackExchange-derived subdomains, while other domains (e.g., Coding and Theorem-based content) remain relatively clean. In this study, we present MARCUS, a multi-agent pipeline that leverages large language models (LLMs) to systematically clean and re-chunk BRIGHT into a higher-quality corpus: BRIGHT-Plus. MARCUS applies dedicated agents for structural noise removal and semantic segmentation, preserving answer-bearing spans while improving contextual integrity. Experimental evaluations demonstrate that BRIGHT-Plus yields consistent and significant improvements in both retrieval accuracy and multi-hop reasoning across a diverse set of retrievers. We release both the BRIGHT-Plus corpus and the MARCUS pipeline to support future research on robust, reasoning-centric retrieval.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG) システムは構造的にクリーンでセマンティックなコヒーレントなコーパスを必要とする。 BRIGHTは、多分野にわたる複雑なマルチホップ検索を評価するために設計された、最近かつ影響力のあるベンチマークである。 しかし、その実用性は、コンテンツ冗長性やセマンティック不連続性といった一般的なウェブクローリングされたアーティファクトによって制限され、検索精度や下流の推論が損なわれている。 特に、これらの問題はStackExchangeから派生した7つのサブドメインに集中しているのに対して、他のドメイン(例えば、CodingやTheoremベースのコンテンツ)は比較的クリーンである。 本研究では,大規模言語モデル(LLM)を利用したマルチエージェントパイプラインであるMARCUSを,系統的にBRIGHTを清潔にし,高品質なコーパスであるBRIGHT-Plusに変換する。 MARCUSは、構造的ノイズ除去とセマンティックセグメンテーションのための専用エージェントを適用し、応答を含むスパンを保存し、文脈整合性を改善する。 実験により,BRIGHT-Plusは検索精度とマルチホップ推論の両方において,多種多様な検索者間で一貫した,有意な改善をもたらすことが示された。 我々はBRIGHT-PlusコーパスとMARCUSパイプラインを共にリリースし、ロバストで推論中心の検索の今後の研究を支援する。

関連論文リスト

• LaSER: Internalizing Explicit Reasoning into Latent Space for Dense Retrieval [74.72139580745511]
  LaSERは、レトリバーの潜在空間に明示的な推論を内部化する、新しい自己蒸留フレームワークである。 提案手法は, 明示的なCoTパイプラインの推論深度と, 標準的な高密度検索器の推論効率をうまく組み合わせる。
  論文  参考訳（メタデータ） (2026-03-02T04:11:18Z)
• RAGalyst: Automated Human-Aligned Agentic Evaluation for Domain-Specific RAG [0.0]
  Retrieval-Augmented Generation (RAG) は、LLM(Large Language Models)を実際に証明するための重要な手法である。 既存の評価フレームワークは多くの場合、ドメイン固有のニュアンスをキャプチャできないメトリクスに依存します。 本稿では,RAGalystについて紹介する。RAGalystは,ドメイン固有のRAGシステムの厳密な評価を目的とした,人力による自動エージェントフレームワークである。
  論文  参考訳（メタデータ） (2025-11-06T16:22:52Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• SIRAG: Towards Stable and Interpretable RAG with A Process-Supervised Multi-Agent Framework [7.37561751991963]
  本稿では,レシーバとジェネレータのギャップを埋めるプロセス管理型マルチエージェントフレームワークを提案する。 提案するフレームワークはモジュール式でプラグアンドプレイで、レトリバーやジェネレータを変更する必要はない。
  論文  参考訳（メタデータ） (2025-09-17T09:09:28Z)
• PRGB Benchmark: A Robust Placeholder-Assisted Algorithm for Benchmarking Retrieval-Augmented Generation [15.230902967865925]
  Retrieval-Augmented Generation (RAG)は、外部知識を統合することで、大規模言語モデル(LLM)を強化する。 現在のベンチマークでは、ノイズの堅牢性などの幅広い側面を強調しているが、文書利用に関する体系的できめ細かい評価フレームワークは欠如している。 我々のベンチマークは、より信頼性が高く効率的なRAGシステムを開発するための再現可能なフレームワークを提供する。
  論文  参考訳（メタデータ） (2025-07-23T16:14:08Z)
• Towards Agentic RAG with Deep Reasoning: A Survey of RAG-Reasoning Systems in LLMs [69.10441885629787]
  Retrieval-Augmented Generation (RAG) は、外部知識を注入することによって、Large Language Models (LLM) の事実性を高める。 逆に、純粋に推論指向のアプローチは、しばしば幻覚的あるいは誤った事実を必要とする。 この調査は両鎖を統一的推論-検索の観点から合成する。
  論文  参考訳（メタデータ） (2025-07-13T03:29:41Z)
• Benchmarking Deep Search over Heterogeneous Enterprise Data [73.55304268238474]
  検索強化生成(RAG)の形式を評価するための新しいベンチマークを提案する。 RAGは、多種多様な、しかし関連するソースに対して、ソースを意識したマルチホップ推論を必要とする。 製品計画、開発、サポートステージをまたいだビジネスをシミュレートする合成データパイプラインを使用して構築します。
  論文  参考訳（メタデータ） (2025-06-29T08:34:59Z)
• ComposeRAG: A Modular and Composable RAG for Corpus-Grounded Multi-Hop Question Answering [42.238086712267396]
  ComposeRAGは、RAGパイプラインをアトミックで構成可能なモジュールに分解する、新しいモジュラー抽象化である。 精度と接地忠実性の両方において、一貫して強いベースラインを上回ります。 検証ファーストの設計は、低品質の検索設定において、未解決の回答を10%以上削減する。
  論文  参考訳（メタデータ） (2025-05-30T21:10:30Z)
• DO-RAG: A Domain-Specific QA Framework Using Knowledge Graph-Enhanced Retrieval-Augmented Generation [4.113142669523488]
  ドメイン固有のQAシステムは、生成頻度を必要とするが、構造化専門家の知識に基づく高い事実精度を必要とする。 本稿では,マルチレベル知識グラフ構築と意味ベクトル検索を統合した,スケーラブルでカスタマイズ可能なハイブリッドQAフレームワークであるDO-RAGを提案する。
  論文  参考訳（メタデータ） (2025-05-17T06:40:17Z)
• Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
  Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。 RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。 批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。 AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
  論文  参考訳（メタデータ） (2025-04-21T04:56:47Z)
• On the Influence of Context Size and Model Choice in Retrieval-Augmented Generation Systems [5.69361786082969]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)の拡張手法として登場した。 我々は,様々なコンテキストサイズ,BM25,セマンティック検索を検索として評価し,8つの基本LLMについて検討した。 以上の結果から, 最終QA成績は最大15スニペットで着実に改善するが, 停滞あるいは低下がみられた。
  論文  参考訳（メタデータ） (2025-02-20T17:34:34Z)
• The BrowserGym Ecosystem for Web Agent Research [151.90034093362343]
  BrowserGymエコシステムは、Webエージェントの効率的な評価とベンチマークの必要性の高まりに対処する。 本稿では,Webエージェント研究のためのBrowserGymベースの拡張エコシステムを提案する。 大規模なマルチベンチマークWebエージェント実験を初めて実施し、6つのWebエージェントベンチマークで6つの最先端LCMの性能を比較した。
  論文  参考訳（メタデータ） (2024-12-06T23:43:59Z)
• A Thorough Performance Benchmarking on Lightweight Embedding-based Recommender Systems [67.52782366565658]
  State-of-the-art recommender system (RS) は、埋め込みベクトルによって符号化される分類的特徴に依存し、結果として非常に大きな埋め込みテーブルとなる。 軽量埋め込み型RSの繁栄にもかかわらず、評価プロトコルには幅広い多様性が見られる。 本研究では, LERSの性能, 効率, クロスタスク転送性について, 徹底的なベンチマークによる検討を行った。
  論文  参考訳（メタデータ） (2024-06-25T07:45:00Z)
• Pistis-RAG: Enhancing Retrieval-Augmented Generation with Human Feedback [41.88662700261036]
  RAGシステムは、セマンティックな関連性だけでは生成品質の向上を保証していない場合に制限に直面している。 我々は、LLMと人間の嗜好をよりよく整合させるために、コンテンツ中心のアプローチで設計された新しいRAGフレームワークであるPristis-RAGを提案する。
  論文  参考訳（メタデータ） (2024-06-21T08:52:11Z)
• Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection [74.51523859064802]
  我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。 自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。 様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-10-17T18:18:32Z)
• Building Interpretable and Reliable Open Information Retriever for New Domains Overnight [67.03842581848299]
  情報検索は、オープンドメイン質問応答(QA)など、多くのダウンストリームタスクにとって重要な要素である。 本稿では、エンティティ/イベントリンクモデルとクエリ分解モデルを用いて、クエリの異なる情報単位により正確にフォーカスする情報検索パイプラインを提案する。 より解釈可能で信頼性が高いが,提案したパイプラインは,5つのIRおよびQAベンチマークにおける通過カバレッジと記述精度を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-08-09T07:47:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。