論文の概要: Synergizing LLMs and Knowledge Graphs: A Novel Approach to Software Repository-Related Question Answering

• arxiv url: http://arxiv.org/abs/2412.03815v2
• Date: Thu, 02 Oct 2025 02:31:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:19.576101
• Title: Synergizing LLMs and Knowledge Graphs: A Novel Approach to Software Repository-Related Question Answering
• Title（参考訳）: LLMと知識グラフの相乗化: ソフトウェアリポジトリ関連質問応答の新しいアプローチ
• Authors: Samuel Abedu, SayedHassan Khatoonabadi, Emad Shihab,
• Abstract要約: 本研究では,レポジトリ関連質問への回答において,LLMベースのチャットボットの精度を向上させることを目的とする。 我々は,レポジトリデータから知識グラフを構築するための2段階のアプローチと,LLMで知識グラフをシナジする手法を用いる。 さまざまな複雑さに関する150の質問をキュレートし、5つの人気のあるオープンソースプロジェクトのアプローチを評価しました。
• 参考スコア（独自算出の注目度）: 3.9189409002585567
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Software repositories contain valuable information for understanding the development process. However, extracting insights from repository data is time-consuming and requires technical expertise. While software engineering chatbots support natural language interactions with repositories, chatbots struggle to understand questions beyond their trained intents and to accurately retrieve the relevant data. This study aims to improve the accuracy of LLM-based chatbots in answering repository-related questions by augmenting them with knowledge graphs. We use a two-step approach: constructing a knowledge graph from repository data, and synergizing the knowledge graph with an LLM to handle natural language questions and answers. We curated 150 questions of varying complexity and evaluated the approach on five popular open-source projects. Our initial results revealed the limitations of the approach, with most errors due to the reasoning ability of the LLM. We therefore applied few-shot chain-of-thought prompting, which improved accuracy to 84%. We also compared against baselines (MSRBot and GPT-4o-search-preview), and our approach performed significantly better. In a task-based user study with 20 participants, users completed more tasks correctly and in less time with our approach, and they reported that it was useful. Our findings demonstrate that LLMs and knowledge graphs are a viable solution for making repository data accessible.
• Abstract（参考訳）: ソフトウェアリポジトリには、開発プロセスを理解するための貴重な情報が含まれている。 しかし、リポジトリデータから洞察を抽出するのには時間がかかり、技術的な専門知識が必要です。 ソフトウェアエンジニアリングのチャットボットは、リポジトリとの自然言語インタラクションをサポートするが、チャットボットは、トレーニングされた意図を超えた質問を理解し、関連するデータを正確に取得するのに苦労する。 本研究では,レポジトリ関連の質問に知識グラフを付加することにより,LLMベースのチャットボットの精度を向上させることを目的とする。 我々は、レポジトリデータから知識グラフを構築するための2段階のアプローチと、自然言語の質問や回答を扱うためのLLMによる知識グラフのシナジ化を用いています。 さまざまな複雑さに関する150の質問をキュレートし、5つの人気のあるオープンソースプロジェクトのアプローチを評価しました。 最初の結果から, LLMの推論能力に起因して, ほとんどエラーを伴って, アプローチの限界を明らかにした。 そこで,数発のチェーン・オブ・シークレット・プロンプトを適用し,精度を84%向上させた。 また,ベースライン (MSRBot, GPT-4o-search-preview) との比較を行った。 20人の参加者によるタスクベースのユーザスタディでは、より多くのタスクを正しく、より少ない時間で完了させました。 この結果から,LLMと知識グラフがリポジトリデータをアクセスしやすくするための有効なソリューションであることが示唆された。

関連論文リスト

• SPARQL Query Generation with LLMs: Measuring the Impact of Training Data Memorization and Knowledge Injection [81.78173888579941]
  大規模言語モデル(LLM)は、質問応答機能の品質を高めるのに適した方法と考えられている。 LLMはWebデータに基づいてトレーニングされており、ベンチマークや知識グラフがトレーニングデータに含まれているかどうかを研究者は制御できない。 本稿では,自然言語質問からSPARQLクエリを生成し,LLMの品質を評価する手法を提案する。
  論文  参考訳（メタデータ） (2025-07-18T12:28:08Z)
• GenKI: Enhancing Open-Domain Question Answering with Knowledge Integration and Controllable Generation in Large Language Models [75.25348392263676]
  オープンドメイン質問応答(OpenQA)は自然言語処理(NLP)の基盤である。 我々は,知識統合と制御可能生成を探求し,OpenQAの性能向上を目的としたGenKIという新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-26T08:18:33Z)
• Enhancing Repository-Level Software Repair via Repository-Aware Knowledge Graphs [8.467850621024672]
  リポジトリレベルのソフトウェア修復は、問題記述とコードパッチの間のセマンティックギャップを埋める際の課題に直面します。 既存のアプローチは、主に大きな言語モデル(LLM)に依存しており、意味的曖昧さ、構造的コンテキストの理解の制限、推論能力の不足に悩まされている。 本稿では,リポジトリのアーティファクト(課題とプル要求)とエンティティを正確にリンクする新しいリポジトリ対応知識グラフ(KG)を提案する。
  論文  参考訳（メタデータ） (2025-03-27T17:21:47Z)
• Harnessing Large Language Models for Knowledge Graph Question Answering via Adaptive Multi-Aspect Retrieval-Augmentation [81.18701211912779]
  本稿では,KG(Amar)フレームワーク上での適応型マルチアスペクト検索手法を提案する。 この方法は、エンティティ、リレーション、サブグラフを含む知識を検索し、検索した各テキストを即時埋め込みに変換する。 提案手法は2つの共通データセットに対して最先端の性能を達成した。
  論文  参考訳（メタデータ） (2024-12-24T16:38:04Z)
• How to Understand Whole Software Repository? [64.19431011897515]
  リポジトリ全体に対する優れた理解は、自動ソフトウェアエンジニアリング(ASE)への重要な道になるでしょう。 本研究では,リポジトリ全体を包括的に理解するためのエージェントによるRepoUnderstanderという新しい手法を開発した。 リポジトリレベルの知識をより活用するために、エージェントをまとめ、分析し、計画する。
  論文  参考訳（メタデータ） (2024-06-03T15:20:06Z)
• Prompting Large Language Models with Knowledge Graphs for Question Answering Involving Long-tail Facts [50.06633829833144]
  大規模言語モデル(LLM)は、様々なNLPタスクを実行するのに効果的であるが、広範囲の現実世界の知識を必要とするタスクを扱うのに苦労する。 我々は,関連する疑問に答えるために,長期的事実の知識を必要とするベンチマークを提案する。 実験の結果,LLMだけでこれらの疑問に答えるのに苦労していることが明らかとなった。
  論文  参考訳（メタデータ） (2024-05-10T15:10:20Z)
• Cross-Data Knowledge Graph Construction for LLM-enabled Educational Question-Answering System: A Case Study at HCMUT [2.8000537365271367]
  大規模言語モデル(LLM)は活発な研究トピックとして現れている。 LLMはイベントの記憶、新しい情報の導入、ドメイン固有の問題や幻覚への対処において課題に直面している。 本稿では,複数のデータソースから知識グラフを自動的に構築する手法を提案する。
  論文  参考訳（メタデータ） (2024-04-14T16:34:31Z)
• Context Matters: Pushing the Boundaries of Open-Ended Answer Generation with Graph-Structured Knowledge Context [4.1229332722825]
  本稿では,知識グラフに基づく拡張と合わせて,グラフ駆動型コンテキスト検索を組み合わせた新しいフレームワークを提案する。 我々は,様々なパラメータサイズを持つ大規模言語モデル(LLM)の実験を行い,知識の基盤化能力を評価し,オープンな質問に対する回答の事実的正確性を決定する。 われわれの方法であるGraphContextGenは、テキストベースの検索システムよりも一貫して優れており、その堅牢性と多くのユースケースへの適応性を実証している。
  論文  参考訳（メタデータ） (2024-01-23T11:25:34Z)
• RECALL: A Benchmark for LLMs Robustness against External Counterfactual Knowledge [69.79676144482792]
  本研究の目的は,LLMが外部知識から信頼できる情報を識別する能力を評価することである。 本ベンチマークは,質問応答とテキスト生成という2つのタスクから構成される。
  論文  参考訳（メタデータ） (2023-11-14T13:24:19Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• Beyond Factuality: A Comprehensive Evaluation of Large Language Models as Knowledge Generators [78.63553017938911]
  大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。 しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。 本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
  論文  参考訳（メタデータ） (2023-10-11T08:22:37Z)
• Self-Knowledge Guided Retrieval Augmentation for Large Language Models [59.771098292611846]
  大規模言語モデル(LLM)はタスク固有の微調整なしで優れた性能を示す。 検索に基づく手法は、非パラメトリックな世界知識を提供し、質問応答のようなタスクのパフォーマンスを向上させることができる。 SKR(Self-Knowledge guided Retrieval augmentation)は、LLMがこれまで遭遇した質問を参照できるようにする、シンプルで効果的な方法である。
  論文  参考訳（メタデータ） (2023-10-08T04:22:33Z)
• Knowledge-Augmented Language Model Prompting for Zero-Shot Knowledge Graph Question Answering [7.888547093390469]
  大言語モデル(LLM)は、ゼロショットのクローズドブック質問応答タスクを実行することができる。 我々は,LSMの入力において,その知識を直接拡張することを提案する。 我々のフレームワークであるKAPING(Knowledge-Augmented Language Model Prompting)は、モデルトレーニングを必要としないため、完全にゼロショットである。
  論文  参考訳（メタデータ） (2023-06-07T04:15:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。