論文の概要: Exploring Demonstration Retrievers in RAG for Coding Tasks: Yeas and Nays!
- arxiv url: http://arxiv.org/abs/2410.09662v1
- Date: Sat, 12 Oct 2024 22:31:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-15 15:11:24.641585
- Title: Exploring Demonstration Retrievers in RAG for Coding Tasks: Yeas and Nays!
- Title(参考訳): コーディングタスクのためのRAGにおけるデモレトリバーの探索 - Yeas and Nays!
- Authors: Pengfei He, Shaowei Wang, Shaiful Chowdhury, Tse-Hsun Chen,
- Abstract要約: 本稿では,3つの符号化タスクにおけるレトリバーの効率効率性トレードオフを系統的に評価する。
BM25は有効性は優れているが,知識ベースが1000を超えると効率が低下する。
大規模な検索では、効率の差がより顕著になり、ほぼ密集した検索者が最大利得を提供する。
- 参考スコア(独自算出の注目度): 6.34946724864899
- License:
- Abstract: Retrieval-Augmented Generation (RAG) enhances Large Language Models (LLMs) by integrating external knowledge bases, achieving state-of-the-art results in various coding tasks. The core of RAG is retrieving demonstration examples, which is essential to balance effectiveness (generation quality) and efficiency (retrieval time) for optimal performance. However, the high-dimensional nature of code representations and large knowledge bases often create efficiency bottlenecks, which are overlooked in previous research. This paper systematically evaluates the efficiency-effectiveness trade-off of retrievers across three coding tasks: Program Synthesis, Commit Message Generation, and Assertion Generation. We examined six retrievers: two sparse (BM25 and BM25L) and four dense retrievers, including one exhaustive dense retriever (SBERT's Semantic Search) and three approximate dense retrievers (ANNOY, LSH, and HNSW). Our findings show that while BM25 excels in effectiveness, it suffers in efficiency as the knowledge base grows beyond 1000 entries. In large-scale retrieval, efficiency differences become more pronounced, with approximate dense retrievers offering the greatest gains. For instance, in Commit Generation task, HNSW achieves a 44x speed up, while only with a 1.74% drop in RougeL compared with BM25. Our results also show that increasing the number of demonstrations in the prompt doesn't always improve the effectiveness and can increase latency and lead to incorrect outputs. Our findings provide valuable insights for practitioners aiming to build efficient and effective RAG systems for coding tasks.
- Abstract(参考訳): Retrieval-Augmented Generation (RAG)は、外部知識ベースを統合し、様々なコーディングタスクで最先端の結果を達成することにより、Large Language Models (LLM)を強化する。
RAGの中核は、最適なパフォーマンスのために有効性(世代品質)と効率性(検索時間)のバランスをとるのに不可欠である実例を取得することである。
しかし、コード表現と大きな知識基盤の高次元的な性質は、しばしば効率のボトルネックを生じさせ、これは以前の研究で見過ごされている。
本稿では,プログラム合成,コミットメッセージ生成,アクセレーション生成という3つのコーディングタスクにおいて,レトリバーの効率効率トレードオフを体系的に評価する。
2つのスパース (BM25, BM25L) と4つの高密度検索器 (SBERTのセマンティックサーチ) と3つの近似高密度検索器 (ANNOY, LSH, HNSW) について検討した。
その結果,BM25は有効性は優れているものの,知識ベースが1000を超えると効率が低下することがわかった。
大規模な検索では、効率の差がより顕著になり、ほぼ密集した検索者が最大利得を提供する。
例えば、コミット生成タスクでは、HNSWは44倍のスピードアップを達成するが、RueLはBM25に比べて1.74%低下している。
この結果から,プロンプトにおける実演回数の増加は必ずしも有効性の向上には至らず,遅延を増大させ,誤出力につながる可能性が示唆された。
本研究は, コーディングタスクのための効率的なRAGシステムの構築を目指す実践者に対して, 貴重な知見を提供するものである。
関連論文リスト
- The Chronicles of RAG: The Retriever, the Chunk and the Generator [0.0]
本稿では,ブラジルポルトガル語のRAGの実装,最適化,評価を行うための優れたプラクティスを提案する。
我々は最初のハリー・ポッターの本についての質問に答えるための様々な方法を探究する。
論文 参考訳(メタデータ) (2024-01-15T18:25:18Z) - Accelerating LLaMA Inference by Enabling Intermediate Layer Decoding via
Instruction Tuning with LITE [62.13435256279566]
大規模言語モデル(LLM)は、様々な自然言語タスクで顕著なパフォーマンスを実現している。
しかし、その大きなサイズは推論を遅く、計算的に高価にする。
最終層の生成能力に影響を与えることなく、これらの層が「良い」生成能力を得ることができることを示す。
論文 参考訳(メタデータ) (2023-10-28T04:07:58Z) - Retrieval-Generation Alignment for End-to-End Task-Oriented Dialogue
System [40.33178881317882]
本稿では、応答生成からの信号を利用して、知覚的レトリバーの学習に最大限の限界確率を適用することを提案する。
本稿では,T5とChatGPTをバックボーンモデルとして用いた3つのタスク指向対話データセットについて検討する。
論文 参考訳(メタデータ) (2023-10-13T06:03:47Z) - Constructing Tree-based Index for Efficient and Effective Dense
Retrieval [26.706985694158384]
JTRは、TReeベースのインデックスとクエリエンコーディングの合同最適化の略である。
我々は、木に基づくインデックスとクエリエンコーダをエンドツーエンドにトレーニングするために、新しい統合されたコントラスト学習損失を設計する。
実験結果から,JTRは高いシステム効率を維持しつつ,検索性能が向上することが示された。
論文 参考訳(メタデータ) (2023-04-24T09:25:39Z) - MASTER: Multi-task Pre-trained Bottlenecked Masked Autoencoders are
Better Dense Retrievers [140.0479479231558]
本研究では,様々な事前学習タスクをマルチタスク事前学習モデル(MASTER)に統合することを目的とする。
MASTERは共有エンコーダのマルチデコーダアーキテクチャを利用して、タスク全体にわたる豊富なセマンティック情報を高密度ベクトルに圧縮する表現ボトルネックを構築することができる。
論文 参考訳(メタデータ) (2022-12-15T13:57:07Z) - Bridging the Training-Inference Gap for Dense Phrase Retrieval [104.4836127502683]
密度の高いレトリバーを構築するには、トレーニングやニューラルネットワークの検証など、一連の標準手順が必要である。
本稿では,高密度検索におけるトレーニングと推論のギャップを減らせる方法について検討する。
コーパス全体の小さな部分集合を用いて高密度レトリバーを効率よく検証する方法を提案する。
論文 参考訳(メタデータ) (2022-10-25T00:53:06Z) - Training Data is More Valuable than You Think: A Simple and Effective
Method by Retrieving from Training Data [82.92758444543689]
検索に基づく手法は,外部知識を導入してNLPタスクに有効であることが示されている。
意外なことに、Retrieving from the training datA (REINA) は複数のNLGおよびNLUタスクにおいて大きな改善をもたらすことが判明した。
実験結果から,本手法は様々なNLUタスクやNLGタスクにおいて,大幅な性能向上が期待できることがわかった。
論文 参考訳(メタデータ) (2022-03-16T17:37:27Z) - LaPraDoR: Unsupervised Pretrained Dense Retriever for Zero-Shot Text
Retrieval [55.097573036580066]
実験結果から,LaPraDoRは教師付き高密度検索モデルと比較して最先端の性能が得られることがわかった。
再ランクと比較すると,1ミリ秒 (22.5倍高速) でレキシコン強化手法を動作させることができるが,性能は良好である。
論文 参考訳(メタデータ) (2022-03-11T18:53:12Z) - Adversarial Retriever-Ranker for dense text retrieval [51.87158529880056]
本稿では、二重エンコーダレトリバーとクロスエンコーダローダからなるAdversarial Retriever-Ranker(AR2)を提案する。
AR2は、既存の高密度レトリバー法より一貫して大幅に優れている。
これには、R@5から77.9%(+2.1%)、TriviaQA R@5から78.2%(+1.4)、MS-MARCO MRR@10から39.5%(+1.3%)の改善が含まれている。
論文 参考訳(メタデータ) (2021-10-07T16:41:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。