論文の概要: Reducing Hallucinations in Language Model-based SPARQL Query Generation Using Post-Generation Memory Retrieval

• arxiv url: http://arxiv.org/abs/2502.13369v1
• Date: Wed, 19 Feb 2025 02:08:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 14:00:23.644222
• Title: Reducing Hallucinations in Language Model-based SPARQL Query Generation Using Post-Generation Memory Retrieval
• Title（参考訳）: 生成後記憶検索を用いた言語モデルに基づくSPARQLクエリ生成における幻覚の低減
• Authors: Aditya Sharma, Luis Lara, Amal Zouaq, Christopher J. Pal,
• Abstract要約: 大型言語モデル (LLM) は、KG要素の生成時に幻覚や分布外誤差に感受性がある。 この結果、このような誤りの検出と緩和を目的とした研究が増加している。 本稿では,非パラメトリックメモリモジュールを組み込んだ KG 要素検索用モジュール PGMR を紹介する。
• 参考スコア（独自算出の注目度）: 9.860751439256754
• License:
• Abstract: The ability to generate SPARQL queries from natural language questions is crucial for ensuring efficient and accurate retrieval of structured data from knowledge graphs (KG). While large language models (LLMs) have been widely adopted for SPARQL query generation, they are often susceptible to hallucinations and out-of-distribution errors when producing KG elements like Uniform Resource Identifiers (URIs) based on internal parametric knowledge. This often results in content that appears plausible but is factually incorrect, posing significant challenges for their use in real-world information retrieval (IR) applications. This has led to increased research aimed at detecting and mitigating such errors. In this paper, we introduce PGMR (Post-Generation Memory Retrieval), a modular framework that incorporates a non-parametric memory module to retrieve KG elements and enhance LLM-based SPARQL query generation. Our experimental results indicate that PGMR consistently delivers strong performance across diverse datasets, data distributions, and LLMs. Notably, PGMR significantly mitigates URI hallucinations, nearly eliminating the problem in several scenarios.
• Abstract（参考訳）: 自然言語質問からSPARQLクエリを生成する能力は、知識グラフ(KG)から構造化データの効率的かつ正確な検索を実現するために不可欠である。 大規模言語モデル(LLM)は、SPARQLクエリ生成に広く採用されているが、内部パラメトリック知識に基づいてURI(Uniform Resource Identifiers)のようなKG要素を生成する場合、幻覚やアウト・オブ・ディストリビューションエラーの影響を受けやすいことが多い。 これはしばしば、現実的な情報検索(IR)アプリケーションで使用するために重要な課題を提起するが、実際には正しくないように見えるコンテンツをもたらす。 この結果、そのような誤りを検出し緩和することを目的とした研究が増加している。 本稿では、非パラメトリックメモリモジュールを組み込んでKG要素を取得し、LLMベースのSPARQLクエリ生成を強化するモジュールフレームワークであるPGMR(Post-Generation Memory Retrieval)を紹介する。 実験結果から,PGMRは多種多様なデータセット,データ分布,LLMに対して一貫して高い性能を発揮することが示された。 特にPGMRはURI幻覚を著しく軽減し、いくつかのシナリオで問題をほぼ排除しています。

関連論文リスト

• mR$^2$AG: Multimodal Retrieval-Reflection-Augmented Generation for Knowledge-Based VQA [78.45521005703958]
  マルチモーダル検索拡張生成(mRAG)はMLLMに包括的で最新の知識を提供するために自然に導入されている。 我々は、適応的検索と有用な情報ローカライゼーションを実現する textbfRetrieval-textbfReftextbfAugmented textbfGeneration (mR$2$AG) という新しいフレームワークを提案する。 mR$2$AG は INFOSEEK と Encyclopedic-VQA の最先端MLLM を著しく上回る
  論文  参考訳（メタデータ） (2024-11-22T16:15:50Z)
• Invar-RAG: Invariant LLM-aligned Retrieval for Better Generation [43.630437906898635]
  Invar-RAGと呼ばれる2段階ファインチューニングアーキテクチャを提案する。 検索段階では、LORAに基づく表現学習を統合してLLMベースの検索器を構築する。 生成段階では、抽出した情報に基づいて回答を生成する際のLCM精度を向上させるための精細調整法が用いられる。
  論文  参考訳（メタデータ） (2024-11-11T14:25:37Z)
• Less is More: Making Smaller Language Models Competent Subgraph Retrievers for Multi-hop KGQA [51.3033125256716]
  本研究では,小言語モデルで処理される条件生成タスクとして,サブグラフ検索タスクをモデル化する。 2億2千万のパラメータからなる基本生成部分グラフ検索モデルでは,最先端モデルと比較して競合検索性能が向上した。 LLMリーダを接続した最大の3Bモデルは、WebQSPとCWQベンチマークの両方で、SOTAのエンドツーエンドパフォーマンスを新たに設定します。
  論文  参考訳（メタデータ） (2024-10-08T15:22:36Z)
• LLM-based SPARQL Query Generation from Natural Language over Federated Knowledge Graphs [0.0]
  バイオインフォマティクス知識グラフ(KGs)上でユーザ質問を正確なSPARQLクエリに変換するための検索型拡張生成(RAG)システムを提案する。 クエリ生成における精度の向上と幻覚の低減を目的として,クエリ例やスキーマ情報を含むメタデータをKGから活用し,生成したクエリの修正に検証ステップを組み込んだ。 このシステムは chat.expasy.org で公開されている。
  論文  参考訳（メタデータ） (2024-10-08T14:09:12Z)
• Assessing SPARQL capabilities of Large Language Models [0.0]
  我々は、SPARQLで動作するLarge Language Modelsのアウトオブザボックス機能の測定に重点を置いています。 LLM-KG-Benchフレームワークにベンチマークタスクを実装し,自動実行と評価を行う。 この結果から,SPARQL SELECTクエリの処理はLLMでは依然として困難であることが示唆された。
  論文  参考訳（メタデータ） (2024-09-09T08:29:39Z)
• DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
  本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。 具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。 このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
  論文  参考訳（メタデータ） (2024-06-25T04:27:53Z)
• RQ-RAG: Learning to Refine Queries for Retrieval Augmented Generation [42.82192656794179]
  大きな言語モデル(LLM)は優れた能力を示すが、不正確なあるいは幻覚反応を引き起こす傾向がある。 この制限は、膨大な事前トレーニングデータセットに依存することに起因するため、目に見えないシナリオでのエラーの影響を受けやすい。 Retrieval-Augmented Generation (RAG) は、外部の関連文書を応答生成プロセスに組み込むことによって、この問題に対処する。
  論文  参考訳（メタデータ） (2024-03-31T08:58:54Z)
• Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection [74.51523859064802]
  我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。 自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。 様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-10-17T18:18:32Z)
• Synergistic Interplay between Search and Large Language Models for Information Retrieval [141.18083677333848]
  InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。 InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
  論文  参考訳（メタデータ） (2023-05-12T11:58:15Z)
• A Comprehensive Evaluation of Neural SPARQL Query Generation from Natural Language Questions [2.5782420501870296]
  近年、SPARQLクエリ生成のためのニューラルネットワーク翻訳(NMT)の分野が著しく成長している。 本稿では,最近のNMTに基づくSPARQL生成研究を再現し,拡張する様々な実験について述べる。
  論文  参考訳（メタデータ） (2023-04-16T13:12:26Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。