論文の概要: A Needle in a Haystack: Intent-driven Reusable Artifacts Recommendation with LLMs
- arxiv url: http://arxiv.org/abs/2511.18343v1
- Date: Sun, 23 Nov 2025 08:39:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-25 18:34:24.788486
- Title: A Needle in a Haystack: Intent-driven Reusable Artifacts Recommendation with LLMs
- Title(参考訳): ヘイスタックの針: LLM を用いたインテント駆動再使用可能なアーティファクト
- Authors: Dongming Jin, Zhi Jin, Xiaohong Chen, Zheng Fang, Linyu Li, Yuanpeng He, Jia Li, Yirang Zhang, Yingtao Fang,
- Abstract要約: オープンソースソフトウェア開発では、冗長な実装作業を避けるため、既存のアーティファクトの再利用が広く採用されている。
多くの再利用可能なアーティファクトに直面している場合、開発者は、期待されるニーズを満たすアーティファクトを見つけるのに苦労することが多い。
この負担を軽減するため、アーティファクトレコメンデーションを自動化するために、検索ベースおよび学習ベース技術が提案されている。
- 参考スコア(独自算出の注目度): 37.95562238022091
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In open source software development, the reuse of existing artifacts has been widely adopted to avoid redundant implementation work. Reusable artifacts are considered more efficient and reliable than developing software components from scratch. However, when faced with a large number of reusable artifacts, developers often struggle to find artifacts that can meet their expected needs. To reduce this burden, retrieval-based and learning-based techniques have been proposed to automate artifact recommendations. Recently, Large Language Models (LLMs) have shown the potential to understand intentions, perform semantic alignment, and recommend usable artifacts. Nevertheless, their effectiveness has not been thoroughly explored. To fill this gap, we construct an intent-driven artifact recommendation benchmark named IntentRecBench, covering three representative open source ecosystems. Using IntentRecBench, we conduct a comprehensive comparative study of five popular LLMs and six traditional approaches in terms of precision and efficiency. Our results show that although LLMs outperform traditional methods, they still suffer from low precision and high inference cost due to the large candidate space. Inspired by the ontology-based semantic organization in software engineering, we propose TreeRec, a feature tree-guided recommendation framework to mitigate these issues. TreeRec leverages LLM-based semantic abstraction to organize artifacts into a hierarchical semantic tree, enabling intent and function alignment and reducing reasoning time. Extensive experiments demonstrate that TreeRec consistently improves the performance of diverse LLMs across ecosystems, highlighting its generalizability and potential for practical deployment.
- Abstract(参考訳): オープンソースソフトウェア開発では、冗長な実装作業を避けるために、既存のアーティファクトの再利用が広く採用されている。
再利用可能なアーティファクトは、スクラッチからソフトウェアコンポーネントを開発するよりも効率的で信頼性が高いと考えられている。
しかし、多くの再利用可能なアーティファクトに直面している場合、開発者は期待するニーズを満たすアーティファクトを見つけるのに苦労することが多い。
この負担を軽減するため、アーティファクトレコメンデーションを自動化するために、検索ベースおよび学習ベース技術が提案されている。
最近、LLM(Large Language Models)は、意図を理解し、セマンティックアライメントを実行する可能性を示し、使用可能なアーティファクトを推奨している。
しかし、その効果は十分に調査されていない。
このギャップを埋めるために,IntentRecBenchというインテント駆動のアーティファクトレコメンデーションベンチマークを構築した。
IntentRecBenchを用いて、5つのLLMと6つの従来のアプローチの総合的な比較研究を行う。
その結果, LLMは従来の手法より優れているが, 候補空間が大きいため, 精度が低く, 推論コストも高いことが示唆された。
ソフトウェア工学におけるオントロジーに基づくセマンティック組織に触発され、これらの問題を緩和するための機能ツリー誘導レコメンデーションフレームワークであるTreeRecを提案する。
TreeRecはLLMベースのセマンティック抽象化を利用してアーティファクトを階層的なセマンティックツリーに整理し、インテントと関数のアライメントを可能にし、推論時間を短縮する。
大規模な実験により、TreeRecはエコシステム全体にわたる多様なLCMのパフォーマンスを一貫して改善し、その一般化性と実用的なデプロイメントの可能性を強調している。
関連論文リスト
- Teaching Dense Retrieval Models to Specialize with Listwise Distillation and LLM Data Augmentation [43.81779293196647]
標準的な微調整手法は、ドメイン固有のシナリオであっても、改善するよりも、予想外に効率を低下させる可能性があることを示す。
そこで我々は,教師のクロスエンコーダからリストワイズを抽出し,リッチな関連信号を利用して学習者を微調整する訓練戦略を検討する。
また,本研究の結果から,合成クエリはトレーニングユーティリティにおいて人書きクエリと競合する可能性が示唆された。
論文 参考訳(メタデータ) (2025-02-27T03:07:49Z) - Trust at Your Own Peril: A Mixed Methods Exploration of the Ability of Large Language Models to Generate Expert-Like Systems Engineering Artifacts and a Characterization of Failure Modes [0.0]
そこでは,人間の専門家が作成したSEアーティファクトをベンチマークとして用いた経験的探索の結果を報告する。
次に、AI生成されたアーティファクトとベンチマークを比較するために、2倍の混合メソッドアプローチを採用しました。
2つの素材は非常に似ているように見えるが、AIが生成したアーティファクトは深刻な障害モードを示しており、検出は困難である。
論文 参考訳(メタデータ) (2025-02-13T17:05:18Z) - Optimized Feature Generation for Tabular Data via LLMs with Decision Tree Reasoning [53.241569810013836]
本稿では,大規模言語モデル(LLM)を用いて,効率的な特徴生成ルールを同定するフレームワークを提案する。
我々は、自然言語で容易に表現できるため、この推論情報を伝達するために決定木を使用します。
OCTreeは様々なベンチマークで様々な予測モデルの性能を継続的に向上させる。
論文 参考訳(メタデータ) (2024-06-12T08:31:34Z) - Advancing Tool-Augmented Large Language Models: Integrating Insights from Errors in Inference Trees [37.297431187924765]
本稿では,この制限に対処するための選好学習に基づく推論軌道最適化フレームワークを提案する。
まず,木のような専門的軌跡からステップワイズな選好データを構築する手法を提案する。
提案実験により, TP-LLaMAは, 推定木における誤差から洞察を得ることにより, ベースラインを著しく上回ることを示した。
論文 参考訳(メタデータ) (2024-06-11T10:00:18Z) - LEARN: Knowledge Adaptation from Large Language Model to Recommendation for Practical Industrial Application [54.984348122105516]
Llm-driven knowlEdge Adaptive RecommeNdation (LEARN)フレームワークは、オープンワールドの知識と協調的な知識をシナジする。
オープンワールドの知識と協調的な知識を相乗化するLlm-driven knowlEdge Adaptive RecommeNdation (LEARN) フレームワークを提案する。
論文 参考訳(メタデータ) (2024-05-07T04:00:30Z) - LLMTreeRec: Unleashing the Power of Large Language Models for Cold-Start Recommendations [67.57808826577678]
大規模言語モデル(LLM)は、言語分析タスクとしてレコメンデーションタスクをモデル化し、その膨大なオープンワールド知識に基づいてゼロショット結果を提供する。
しかし、アイテムコーパスの大規模化は、LLMに挑戦し、実際のレコメンデーションシステムにデプロイすることが不可能な、相当量のトークン消費につながる。
LLMレコメンデーションフレームワークLLMTreeRecを導入し、全ての項目をアイテムツリーに構造化し、LLMのアイテム検索の効率を向上させる。
論文 参考訳(メタデータ) (2024-03-31T14:41:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。