論文の概要: Not All RAGs Are Created Equal: A Component-Wise Empirical Study for Software Engineering Tasks

• arxiv url: http://arxiv.org/abs/2605.14503v1
• Date: Thu, 14 May 2026 07:47:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 21:45:34.693518
• Title: Not All RAGs Are Created Equal: A Component-Wise Empirical Study for Software Engineering Tasks
• Title（参考訳）: すべてのRAGが平等に作成される訳ではない - ソフトウェアエンジニアリングの課題に対するコンポーネント指向の実証的研究
• Authors: Qiang Ke, Yanjie Zhao, Hongjin Leng, Shengming Zhao, Haoyu Wang,
• Abstract要約: Retrieval-Augmented Generation (RAG) は、ソフトウェアアーティファクトのLarge Language Models (LLM) に採用されている。 本稿では,RAGパイプラインを識別する包括的,コンポーネントワイドな実証的研究について述べる。 本研究は,4つのクエリ処理手法,疎度・密度・ハイブリッドパラダイムにまたがる7つの検索モデル,4つのコンテキスト改善手法,および6つの異なるジェネレータを系統的に分離・評価する。
• 参考スコア（独自算出の注目度）: 6.791773673737528
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While Retrieval-Augmented Generation (RAG) is increasingly adopted to ground Large Language Models (LLMs) in software artifacts, the optimal configuration of its components remains an open question for software engineering (SE) tasks. The lack of systematic guidance forces practitioners into costly, ad-hoc experimentation. This paper presents a comprehensive, component-wise empirical study that dissects the RAG pipeline, evaluating over 21 distinct models and methods. Our study systematically isolates and evaluates 4 query processing techniques, 7 retrieval models spanning sparse, dense, and hybrid paradigms, 4 context refinement methods, and 6 distinct generators. We test these components on a suite of 3 core SE tasks: code generation, summarization, and repair. Our empirical findings reveal a crucial insight: the retriever-side components, particularly the choice of the retrieval algorithm, often exert a more significant influence on final system performance than the selection of the generator model. Strikingly, the classic lexical retriever BM25 demonstrates exceptionally robust performance across diverse tasks. Our analysis provides a practical, data-driven roadmap for researchers and practitioners, offering clear guidance on prioritizing optimization efforts when constructing effective RAG systems for software engineering contexts.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG) は、ソフトウェアアーティファクトにおけるLarge Language Models (LLM) の基盤としてますます採用されているが、そのコンポーネントの最適構成は、ソフトウェア工学(SE)タスクに対するオープンな疑問である。 体系的な指導の欠如は、実践者に費用がかかるアドホックな実験を強制する。 本稿では、RAGパイプラインを識別し、21以上の異なるモデルと手法を評価する、包括的、コンポーネントワイドな実証的研究について述べる。 本研究は,4つのクエリ処理手法,疎度・密度・ハイブリッドパラダイムにまたがる7つの検索モデル,4つのコンテキスト改善手法,および6つの異なるジェネレータを系統的に分離・評価する。 これらのコンポーネントは、コード生成、要約、修復という、3つのコアSEタスクのスイートでテストします。 検索側コンポーネント、特に検索アルゴリズムの選択は、ジェネレータモデルの選択よりも最終的なシステム性能に大きな影響を与えます。 興味深いことに、古典的なレトリバーBM25は様々なタスクで非常に頑丈な性能を示している。 我々の分析は、研究者や実践者にとって実践的でデータ駆動のロードマップを提供し、ソフトウェア工学の文脈において効果的なRAGシステムを構築する際に、最適化作業の優先順位付けに関する明確なガイダンスを提供する。

関連論文リスト

• CoSearch: Joint Training of Reasoning and Document Ranking via Reinforcement Learning for Agentic Search [51.911048955965136]
  CoSearchは多段階推論エージェントと生成ドキュメントランキングモデルを共同でトレーニングするフレームワークである。 この結果から, 推論エージェントと検索システムの協調訓練は, 実現可能であり, 性能も高いことが示唆された。
  論文  参考訳（メタデータ） (2026-04-19T17:48:17Z)
• AutoSOTA: An End-to-End Automated Research System for State-of-the-Art AI Model Discovery [49.77172027295716]
  AutoSOTAは、トップレベルのAI論文で発表された最新のState-Of-The-Art(SOTA)モデルを進化させるエンドツーエンドの自動研究システムである。 報告された方法を超える新しい105種類のSOTAモデルを発見し、平均して1紙あたり平均5時間である。
  論文  参考訳（メタデータ） (2026-04-07T07:52:01Z)
• KARL: Knowledge Agents via Reinforcement Learning [63.627906947205624]
  本稿では,強化学習による企業検索エージェントの訓練システムを提案する。 KARLBenchは、6つの異なる検索レギュレーションにまたがる多機能評価スイートである。 異種探索行動で訓練されたモデルは、どのベンチマークにも最適化されたモデルよりもかなりよく一般化されていることを示す。
  論文  参考訳（メタデータ） (2026-03-05T14:30:25Z)
• DACL-RAG: Data Augmentation Strategy with Curriculum Learning for Retrieval-Augmented Generation [54.26665681604041]
  DACL-RAGは多段階データ拡張戦略と多段階学習パラダイムを組み合わせた多段階RAGトレーニングフレームワークである。 我々のフレームワークは、4つのオープンドメインQAデータセットで一貫した有効性を示し、複数の高度なメソッドに対して2%から4%のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2025-05-15T16:53:04Z)
• Direct Retrieval-augmented Optimization: Synergizing Knowledge Selection and Language Models [83.8639566087953]
  本稿では,2つの主要コンポーネントのエンドツーエンドトレーニングを可能にするDROという,直接検索拡張最適化フレームワークを提案する。 DROは、 (i) 文書置換推定と (ii) 再重み付けされ、段階的に改善されたRAGコンポーネントの2つのフェーズの間で交代する。 理論解析により,DROは強化学習における政策段階的な手法に類似していることが明らかとなった。
  論文  参考訳（メタデータ） (2025-05-05T23:54:53Z)
• ROGRAG: A Robustly Optimized GraphRAG Framework [45.947928801693266]
  グラフベースの検索強化生成(GraphRAG)は、動的検索のためのグラフとしてドメイン知識を構造化することによってこの問題に対処する。 既存のパイプラインには複雑なエンジニアリングが含まれており、個々のコンポーネントの影響を分離することは困難である。 本稿では,ロバストに最適化されたGraphRAGフレームワークであるROGRAGを紹介する。
  論文  参考訳（メタデータ） (2025-03-09T06:20:24Z)
• XRAG: eXamining the Core -- Benchmarking Foundational Components in Advanced Retrieval-Augmented Generation [36.84847781022757]
  Retrieval-augmented Generation (RAG) は、Large Language Models (LLMs) の生成能力と関連するデータの検索を相乗化する 我々は,高度なRAGモジュールの基本コンポーネントの性能を徹底的に評価する,オープンソースのモジュールであるXRAGを紹介する。
  論文  参考訳（メタデータ） (2024-12-20T03:37:07Z)
• Understanding the Design Decisions of Retrieval-Augmented Generation Systems [7.10184268156888]
  Retrieval-Augmented Generation (RAG) は、大規模言語モデル(LLM)能力を向上するための重要な技術として登場した。 本稿では,3つの共通RAG展開決定に関する総合的研究について紹介する。
  論文  参考訳（メタデータ） (2024-11-29T04:25:31Z)
• Automated Evaluation of Retrieval-Augmented Language Models with Task-Specific Exam Generation [9.390902237835457]
  検索型大規模言語モデル(RAG)のタスク固有精度を計測する新しい手法を提案する。 複数の選択質問からなる自動生成合成試験において、RAGをスコアリングして評価を行う。
  論文  参考訳（メタデータ） (2024-05-22T13:14:11Z)
• FlashRAG: A Modular Toolkit for Efficient Retrieval-Augmented Generation Research [70.6584488911715]
  検索増強世代(RAG)は、かなりの研究関心を集めている。 既存のRAGツールキットは、しばしば重くて柔軟であり、研究者のカスタマイズのニーズを満たすことができない。 我々のツールキットは16の高度なRAGメソッドを実装し、38のベンチマークデータセットを収集し、整理した。
  論文  参考訳（メタデータ） (2024-05-22T12:12:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。