論文の概要: LibRec: Benchmarking Retrieval-Augmented LLMs for Library Migration Recommendations

• arxiv url: http://arxiv.org/abs/2508.09791v1
• Date: Wed, 13 Aug 2025 13:22:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-14 20:42:00.899319
• Title: LibRec: Benchmarking Retrieval-Augmented LLMs for Library Migration Recommendations
• Title（参考訳）: LibRec: ライブラリ移行レコメンデーションのための検索拡張LDMのベンチマーク
• Authors: Junxiao Han, Yarong Wang, Xiaodong Gu, Cuiyun Gao, Yao Wan, Song Han, David Lo, Shuiguang Deng,
• Abstract要約: LibRecは、LLMの機能と検索強化された生成技術を統合して、代替ライブラリの推奨を自動化するフレームワークである。 LibRecの有効性を評価するために,ライブラリマイグレーションレコメンデーションタスクのパフォーマンスを評価するベンチマークであるLibEvalを紹介する。
• 参考スコア（独自算出の注目度）: 26.206687626521845
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose LibRec, a novel framework that integrates the capabilities of LLMs with retrieval-augmented generation(RAG) techniques to automate the recommendation of alternative libraries. The framework further employs in-context learning to extract migration intents from commit messages to enhance the accuracy of its recommendations. To evaluate the effectiveness of LibRec, we introduce LibEval, a benchmark designed to assess the performance in the library migration recommendation task. LibEval comprises 2,888 migration records associated with 2,368 libraries extracted from 2,324 Python repositories. Each migration record captures source-target library pairs, along with their corresponding migration intents and intent types. Based on LibEval, we evaluated the effectiveness of ten popular LLMs within our framework, conducted an ablation study to examine the contributions of key components within our framework, explored the impact of various prompt strategies on the framework's performance, assessed its effectiveness across various intent types, and performed detailed failure case analyses.
• Abstract（参考訳）: 本稿では,LLMと検索拡張生成(RAG)技術を統合し,代替ライブラリの推薦を自動化する新しいフレームワークであるLibRecを提案する。 このフレームワークはさらに、コンテキスト内学習を使用して、コミットメッセージから移行意図を抽出し、推奨の精度を高める。 LibRecの有効性を評価するために,ライブラリマイグレーションレコメンデーションタスクのパフォーマンスを評価するベンチマークであるLibEvalを紹介する。 LibEvalは2,324 Pythonリポジトリから抽出された2,368ライブラリに関連する2,888のマイグレーションレコードを含んでいる。 各マイグレーションレコードは、ソースターゲットライブラリペアと、対応するマイグレーションインテントとインテントタイプをキャプチャする。 LibEvalをベースとして,フレームワーク内の10のLLMの有効性を評価し,フレームワークの主要なコンポーネントのコントリビューションを検討するためのアブレーション調査を実施し,フレームワークのパフォーマンスに対するさまざまな迅速な戦略の影響を調査し,その有効性を評価し,詳細な故障事例分析を行った。

関連論文リスト

• LLM4Ranking: An Easy-to-use Framework of Utilizing Large Language Models for Document Reranking [15.060195612587805]
  我々は,オープンソースやクローズドソースのAPIベースのLCMを用いて,ユーザが異なるランキング手法を適用可能な統一フレームワークである textbfLLM4Ranking を導入する。 我々のフレームワークは、LLMで文書を再ランク付けするためのシンプルでインターフェイスを提供し、また、このタスクの使い易い評価と微調整スクリプトを提供する。
  論文  参考訳（メタデータ） (2025-04-10T04:08:38Z)
• Leveraging LLMs for Utility-Focused Annotation: Reducing Manual Effort for Retrieval and RAG [69.51637252264277]
  本研究では,Large Language Models (LLMs) が,検索モデルのトレーニングにおいて,人間のアノテーションを効果的に置き換えられるかどうかを検討する。 提案実験により,実用性を重視したアノテーションを訓練したレトリバーは,ドメイン外設定でトレーニングしたアノテーションを有意に上回った。 20%の人間アノテーションでトレーニングされたデータだけで、ユーティリティ中心のアノテーションでトレーニングされたレトリバーが、完全に人間のアノテーションでトレーニングされたモデルのパフォーマンスにマッチする。
  論文  参考訳（メタデータ） (2025-04-07T16:05:52Z)
• Retrieval-augmented code completion for local projects using large language models [0.0]
  我々は、オープンソースのPythonファイル上に、生成型GPT-2と検索適応型RETROの2つのオープントランスフォーマーベースモデルをトレーニングする。 In-context search-augmented generation (RAG)により,トークンのJaccard類似性を用いてコードスニペットを検索するモデルの性能を改善する。 実験結果から、In-context RAGはコード補完ベースラインを26%以上改善し、RETROは同様のサイズのGPT-2ベースラインを12%改善した。
  論文  参考訳（メタデータ） (2024-08-09T12:26:57Z)
• LLMBox: A Comprehensive Library for Large Language Models [109.15654830320553]
  本稿では,大規模言語モデル (LLM) の開発, 使用, 評価を容易にするために, 包括的で統一されたライブラリ LLMBox を提案する。 このライブラリには,(1)多様なトレーニング戦略の柔軟な実装を支援する統一データインターフェース,(2)広範囲なタスクやデータセット,モデルをカバーする包括的な評価,(3)ユーザフレンドリさや効率性など,より実践的な考慮,という3つのメリットがある。
  論文  参考訳（メタデータ） (2024-07-08T02:39:33Z)
• CherryRec: Enhancing News Recommendation Quality via LLM-driven Framework [4.4206696279087]
  我々は,textitCherryRecという名前のLarge Language Models (LLMs) を用いたニュースレコメンデーションフレームワークを提案する。 CherryRecは、レコメンデーションプロセスを加速しながら、レコメンデーションの品質を保証する。 提案手法の有効性を,ベンチマークデータセット上での最先端のベースライン手法と比較することにより検証する。
  論文  参考訳（メタデータ） (2024-06-18T03:33:38Z)
• Towards Modular LLMs by Building and Reusing a Library of LoRAs [64.43376695346538]
  マルチタスクデータに対して最適なアダプタライブラリを構築する方法について検討する。 モデルベースクラスタリング(MBC)を導入し,パラメータの類似性に基づいてタスクをグループ化する手法を提案する。 ライブラリを再使用するために,最も関連性の高いアダプタの動的選択を可能にする新しいゼロショットルーティング機構であるArrowを提案する。
  論文  参考訳（メタデータ） (2024-05-18T03:02:23Z)
• LlamaRec: Two-Stage Recommendation using Large Language Models for Ranking [10.671747198171136]
  ランキングベースレコメンデーション(LlamaRec)のための大規模言語モデルを用いた2段階フレームワークを提案する。 特に,ユーザインタラクション履歴に基づいて候補を検索するために,小規模なシーケンシャルレコメンデータを用いる。 LlamaRecは、推奨パフォーマンスと効率の両方において、データセットの優れたパフォーマンスを一貫して達成している。
  論文  参考訳（メタデータ） (2023-10-25T06:23:48Z)
• Query Rewriting for Retrieval-Augmented Large Language Models [139.242907155883]
  大規模言語モデル(LLM)は、検索対象のパイプラインで強力なブラックボックスリーダーを動作させる。 この作業では、検索拡張LDMに対する以前の検索テーマ読み込みの代わりに、新しいフレームワークであるRewrite-Retrieve-Readを導入する。
  論文  参考訳（メタデータ） (2023-05-23T17:27:50Z)
• On Learning to Summarize with Large Language Models as References [101.79795027550959]
  大型言語モデル (LLM) は、一般的な要約データセットにおける元の参照要約よりも人間のアノテーションに好まれる。 より小さなテキスト要約モデルに対するLLM-as-reference学習設定について検討し,その性能が大幅に向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2023-05-23T16:56:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。