論文の概要: Exploring Demonstration Retrievers in RAG for Coding Tasks: Yeas and Nays!
- arxiv url: http://arxiv.org/abs/2410.09662v1
- Date: Sat, 12 Oct 2024 22:31:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-30 08:56:21.499480
- Title: Exploring Demonstration Retrievers in RAG for Coding Tasks: Yeas and Nays!
- Title（参考訳）: コーディングタスクのためのRAGにおけるデモレトリバーの探索 - Yeas and Nays!
- Authors: Pengfei He, Shaowei Wang, Shaiful Chowdhury, Tse-Hsun Chen,
- Abstract要約: 本稿では,3つの符号化タスクにおけるレトリバーの効率効率性トレードオフを系統的に評価する。
BM25は有効性は優れているが,知識ベースが1000を超えると効率が低下する。
大規模な検索では、効率の差がより顕著になり、ほぼ密集した検索者が最大利得を提供する。
- 参考スコア（独自算出の注目度）: 6.34946724864899
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Retrieval-Augmented Generation (RAG) enhances Large Language Models (LLMs) by integrating external knowledge bases, achieving state-of-the-art results in various coding tasks. The core of RAG is retrieving demonstration examples, which is essential to balance effectiveness (generation quality) and efficiency (retrieval time) for optimal performance. However, the high-dimensional nature of code representations and large knowledge bases often create efficiency bottlenecks, which are overlooked in previous research. This paper systematically evaluates the efficiency-effectiveness trade-off of retrievers across three coding tasks: Program Synthesis, Commit Message Generation, and Assertion Generation. We examined six retrievers: two sparse (BM25 and BM25L) and four dense retrievers, including one exhaustive dense retriever (SBERT's Semantic Search) and three approximate dense retrievers (ANNOY, LSH, and HNSW). Our findings show that while BM25 excels in effectiveness, it suffers in efficiency as the knowledge base grows beyond 1000 entries. In large-scale retrieval, efficiency differences become more pronounced, with approximate dense retrievers offering the greatest gains. For instance, in Commit Generation task, HNSW achieves a 44x speed up, while only with a 1.74% drop in RougeL compared with BM25. Our results also show that increasing the number of demonstrations in the prompt doesn't always improve the effectiveness and can increase latency and lead to incorrect outputs. Our findings provide valuable insights for practitioners aiming to build efficient and effective RAG systems for coding tasks.
- Abstract（参考訳）: Retrieval-Augmented Generation (RAG)は、外部知識ベースを統合し、様々なコーディングタスクで最先端の結果を達成することにより、Large Language Models (LLM)を強化する。
RAGの中核は、最適なパフォーマンスのために有効性(世代品質)と効率性(検索時間)のバランスをとるのに不可欠である実例を取得することである。
しかし、コード表現と大きな知識基盤の高次元的な性質は、しばしば効率のボトルネックを生じさせ、これは以前の研究で見過ごされている。
本稿では,プログラム合成,コミットメッセージ生成,アクセレーション生成という3つのコーディングタスクにおいて,レトリバーの効率効率トレードオフを体系的に評価する。
2つのスパース (BM25, BM25L) と4つの高密度検索器 (SBERTのセマンティックサーチ) と3つの近似高密度検索器 (ANNOY, LSH, HNSW) について検討した。
その結果,BM25は有効性は優れているものの,知識ベースが1000を超えると効率が低下することがわかった。
大規模な検索では、効率の差がより顕著になり、ほぼ密集した検索者が最大利得を提供する。
例えば、コミット生成タスクでは、HNSWは44倍のスピードアップを達成するが、RueLはBM25に比べて1.74%低下している。
この結果から,プロンプトにおける実演回数の増加は必ずしも有効性の向上には至らず,遅延を増大させ,誤出力につながる可能性が示唆された。
本研究は, コーディングタスクのための効率的なRAGシステムの構築を目指す実践者に対して, 貴重な知見を提供するものである。
関連論文リスト
- CodeXEmbed: A Generalist Embedding Model Family for Multiligual and Multi-task Code Retrieval [103.116634967815]
CodeXEmbedは400Mから7Bパラメータの大規模なコード埋め込みモデルのファミリーである。
我々の新しいトレーニングパイプラインは、複数のプログラミング言語を統合し、様々なコード関連タスクを共通の検索フレームワークに変換する。
私たちの7Bモデルは、コード検索において新しい最先端(SOTA)を設定し、以前の主要なモデルであるVoyage-CodeをCoIRベンチマークで20%以上上回っています。
論文 参考訳（メタデータ） (2024-11-19T16:54:45Z) - Toward Optimal Search and Retrieval for RAG [39.69494982983534]
Retrieval-augmented Generation (RAG)は、Large Language Models (LLM)に関連するメモリ関連の課題に対処するための有望な方法である。
ここでは、質問回答(QA)などの共通タスクに対して、レトリバーをRAGパイプラインに最適化する方法を理解することを目的としている。
論文 参考訳（メタデータ） (2024-11-11T22:06:51Z) - Towards Competitive Search Relevance For Inference-Free Learned Sparse Retrievers [6.773411876899064]
推測のないスパースモデルは 検索の関連という点で はるかに遅れています スパースモデルと密集したサイムズモデルの両方と比較して
まず,IDF(Inverted Document Frequency)を導入したIFF対応のFLOPS損失を表現のスペーシングに導入する。
その結果、FLOPS正則化が検索関連性に与える影響を軽減し、精度と効率のバランスが良くなることがわかった。
論文 参考訳（メタデータ） (2024-11-07T03:46:43Z) - Instructive Code Retriever: Learn from Large Language Model's Feedback for Code Intelligence Tasks [10.867880635762395]
Instructive Code Retriever (ICR) という新しいアプローチを導入する。
ICRは、さまざまなコードインテリジェンスタスクやデータセットにわたるモデル推論を強化するサンプルを取得するように設計されている。
我々は,コード要約,プログラム合成,バグ修正など,様々なタスクにおけるモデルの有効性を評価する。
論文 参考訳（メタデータ） (2024-10-15T05:44:00Z) - FunnelRAG: A Coarse-to-Fine Progressive Retrieval Paradigm for RAG [22.4664221738095]
Retrieval-Augmented Generation (RAG) は、大規模言語モデルにおいて一般的である。
本稿では,RAGの粒度が粗いプログレッシブ検索パラダイムを提案する。
論文 参考訳（メタデータ） (2024-10-14T08:47:21Z) - Accelerating LLaMA Inference by Enabling Intermediate Layer Decoding via
Instruction Tuning with LITE [62.13435256279566]
大規模言語モデル(LLM)は、様々な自然言語タスクで顕著なパフォーマンスを実現している。
しかし、その大きなサイズは推論を遅く、計算的に高価にする。
最終層の生成能力に影響を与えることなく、これらの層が「良い」生成能力を得ることができることを示す。
論文 参考訳（メタデータ） (2023-10-28T04:07:58Z) - MASTER: Multi-task Pre-trained Bottlenecked Masked Autoencoders are
Better Dense Retrievers [140.0479479231558]
本研究では,様々な事前学習タスクをマルチタスク事前学習モデル(MASTER)に統合することを目的とする。
MASTERは共有エンコーダのマルチデコーダアーキテクチャを利用して、タスク全体にわたる豊富なセマンティック情報を高密度ベクトルに圧縮する表現ボトルネックを構築することができる。
論文 参考訳（メタデータ） (2022-12-15T13:57:07Z) - Training Data is More Valuable than You Think: A Simple and Effective
Method by Retrieving from Training Data [82.92758444543689]
検索に基づく手法は,外部知識を導入してNLPタスクに有効であることが示されている。
意外なことに、Retrieving from the training datA (REINA) は複数のNLGおよびNLUタスクにおいて大きな改善をもたらすことが判明した。
実験結果から,本手法は様々なNLUタスクやNLGタスクにおいて,大幅な性能向上が期待できることがわかった。
論文 参考訳（メタデータ） (2022-03-16T17:37:27Z) - LaPraDoR: Unsupervised Pretrained Dense Retriever for Zero-Shot Text
Retrieval [55.097573036580066]
実験結果から,LaPraDoRは教師付き高密度検索モデルと比較して最先端の性能が得られることがわかった。
再ランクと比較すると,1ミリ秒 (22.5倍高速) でレキシコン強化手法を動作させることができるが,性能は良好である。
論文 参考訳（メタデータ） (2022-03-11T18:53:12Z) - Adversarial Retriever-Ranker for dense text retrieval [51.87158529880056]
本稿では、二重エンコーダレトリバーとクロスエンコーダローダからなるAdversarial Retriever-Ranker(AR2)を提案する。
AR2は、既存の高密度レトリバー法より一貫して大幅に優れている。
これには、R@5から77.9%(+2.1%)、TriviaQA R@5から78.2%(+1.4)、MS-MARCO MRR@10から39.5%(+1.3%)の改善が含まれている。
論文 参考訳（メタデータ） (2021-10-07T16:41:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。