論文の概要: A Lightweight Framework for Adaptive Retrieval In Code Completion With Critique Model
- arxiv url: http://arxiv.org/abs/2406.10263v1
- Date: Tue, 11 Jun 2024 02:37:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-19 01:31:17.286424
- Title: A Lightweight Framework for Adaptive Retrieval In Code Completion With Critique Model
- Title（参考訳）: 批判モデルによるコード補完における適応検索のための軽量フレームワーク
- Authors: Wenrui Zhang, Tiehang Fu, Ting Yuan, Ge Zhang, Dong Chen, Jie Wang,
- Abstract要約: CARDは、検索の必要性に関する洞察を提供するために設計された軽量な批評手法である。
RAGベースのコード補完システムにシームレスに統合できる。
CARDはレイテンシを16%から83%に削減する。
- 参考スコア（独自算出の注目度）: 14.148755230348867
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advancements in Retrieval-Augmented Generation have significantly enhanced code completion at the repository level. Various RAG-based code completion systems are proposed based on different design choices. For instance, gaining more effectiveness at the cost of repeating the retrieval-generation process multiple times. However, the indiscriminate use of retrieval in current methods reveals issues in both efficiency and effectiveness, as a considerable portion of retrievals are unnecessary and may introduce unhelpful or even harmful suggestions to code language models. To address these challenges, we introduce CARD, a lightweight critique method designed to provide insights into the necessity of retrievals and select the optimal answer from multiple predictions. CARD can seamlessly integrate into any RAG-based code completion system. Our evaluation shows that CARD saves 21% to 46% times of retrieval for Line completion, 14% to 40% times of retrieval for API completion, and 6% to 46.5% times of retrieval for function completion respectively, while improving the accuracy. CARD reduces latency ranging from 16% to 83%. CARD is generalizable to different LMs, retrievers, and programming languages. It is lightweight with training in few seconds and inference in few milliseconds.
- Abstract（参考訳）: Retrieval-Augmented Generationの最近の進歩は、リポジトリレベルでコード補完を大幅に強化した。
RAGをベースとした様々なコード補完システムが設計選択に基づいて提案されている。
例えば、検索生成プロセスを何度も繰り返すコストで、より多くの効率性を得ることができます。
しかし、現在の手法における検索の非差別的使用は、検索のかなりの部分が不要であり、コード言語モデルに有害または有害な提案をもたらす可能性があるため、効率と有効性の両面での問題を明らかにする。
これらの課題に対処するために,検索の必要性に関する洞察を提供し,複数の予測から最適な回答を選択するための軽量な批判手法であるCARDを紹介した。
CARDは任意のRAGベースのコード補完システムにシームレスに統合できる。
評価の結果,CARDは21%から46%,API完了の14%から40%,関数完了の6%から46.5%を削減し,精度を向上した。
CARDはレイテンシを16%から83%に削減する。
CARDは異なるLM、レトリバー、プログラミング言語に一般化可能である。
軽量で、数秒でトレーニングし、数ミリ秒で推論する。
関連論文リスト
- Fast or Better? Balancing Accuracy and Cost in Retrieval-Augmented Generation with Flexible User Control [52.405085773954596]
Retrieval-Augmented Generation (RAG) は、大規模言語モデル幻覚を緩和するための強力なアプローチとして登場した。
既存のRAGフレームワークは、しばしば無差別に検索を適用し、非効率な再検索につながる。
本稿では,精度・コストのトレードオフを動的に調整できる新しいユーザ制御可能なRAGフレームワークを提案する。
論文 参考訳（メタデータ） (2025-02-17T18:56:20Z) - Chain-of-Retrieval Augmented Generation [72.06205327186069]
本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。
提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
論文 参考訳（メタデータ） (2025-01-24T09:12:52Z) - CodeXEmbed: A Generalist Embedding Model Family for Multiligual and Multi-task Code Retrieval [103.116634967815]
CodeXEmbedは400Mから7Bパラメータの大規模なコード埋め込みモデルのファミリーである。
我々の新しいトレーニングパイプラインは、複数のプログラミング言語を統合し、様々なコード関連タスクを共通の検索フレームワークに変換する。
私たちの7Bモデルは、コード検索において新しい最先端(SOTA)を設定し、以前の主要なモデルであるVoyage-CodeをCoIRベンチマークで20%以上上回っています。
論文 参考訳（メタデータ） (2024-11-19T16:54:45Z) - RLCoder: Reinforcement Learning for Repository-Level Code Completion [39.38066628941757]
Repositoryレベルのコード補完は、指定されたリポジトリのコンテキスト内で未完成のコードスニペットのためのコードを生成することを目的としている。
既存のアプローチは主に、入力シーケンス長の制限による検索強化された生成戦略に依存している。
ラベル付きデータを必要とせずに、検索者がコード補完に有用なコンテンツを取得することができる新しい強化学習フレームワークであるRLCoderを提案する。
論文 参考訳（メタデータ） (2024-07-28T12:47:20Z) - Repoformer: Selective Retrieval for Repository-Level Code Completion [30.706277772743615]
検索強化生成(RAG)の最近の進歩は、リポジトリレベルのコード補完の新たな時代が始まった。
本稿では,不要な場合の検索を回避するため,選択的なRAGフレームワークを提案する。
我々のフレームワークは、異なる世代モデル、レトリバー、プログラミング言語に対応できることを示します。
論文 参考訳（メタデータ） (2024-03-15T06:59:43Z) - Corrective Retrieval Augmented Generation [36.04062963574603]
Retrieval-augmented Generation (RAG) は、検索された文書の関連性に大きく依存しており、検索が失敗した場合のモデルがどのように振る舞うかについての懸念を提起する。
生成の堅牢性を改善するために,CRAG(Corrective Retrieval Augmented Generation)を提案する。
CRAGはプラグアンドプレイであり、様々なRAGベースのアプローチとシームレスに結合できる。
論文 参考訳（メタデータ） (2024-01-29T04:36:39Z) - The Chronicles of RAG: The Retriever, the Chunk and the Generator [0.0]
本稿では,ブラジルポルトガル語のRAGの実装,最適化,評価を行うための優れたプラクティスを提案する。
我々は最初のハリー・ポッターの本についての質問に答えるための様々な方法を探究する。
論文 参考訳（メタデータ） (2024-01-15T18:25:18Z) - Optimizing Retrieval-augmented Reader Models via Token Elimination [30.53636918279251]
我々は,検索した全てのパスが読者モデルの性能に与える影響と必要性を分析した。
提案手法は,実行時間を最大62.2%削減でき,性能は2%しか低下せず,場合によっては性能も向上することを示した。
論文 参考訳（メタデータ） (2023-10-20T17:41:36Z) - Improving and Benchmarking Offline Reinforcement Learning Algorithms [87.67996706673674]
この作業は、低レベルの選択とデータセットによって引き起こされるギャップを埋めることを目的としている。
3つの代表アルゴリズムを用いて20の実装選択を実証的に検討する。
CRR+とCQL+の2つの変種がD4RL上で新たな最先端を実現している。
論文 参考訳（メタデータ） (2023-06-01T17:58:46Z) - Improving Passage Retrieval with Zero-Shot Question Generation [109.11542468380331]
オープンな質問応答における経路検索を改善するための,シンプルで効果的な再ランク付け手法を提案する。
再ランカは、学習済み言語モデルを用いて、検索されたパスに条件付けられた入力質問の確率を算出するゼロショット質問生成モデルを用いて、検索されたパスを再スコアする。
論文 参考訳（メタデータ） (2022-04-15T14:51:41Z) - Accelerating Code Search with Deep Hashing and Code Classification [64.3543949306799]
コード検索とは、自然言語クエリに基づいてソースコードコーパスから再利用可能なコードスニペットを検索することである。
深層ハッシュとコード分類を用いたコード検索を高速化する新しい手法CoSHCを提案する。
論文 参考訳（メタデータ） (2022-03-29T07:05:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。