論文の概要: Focus, Merge, Rank: Improved Question Answering Based on Semi-structured Knowledge Bases

• arxiv url: http://arxiv.org/abs/2505.09246v1
• Date: Wed, 14 May 2025 09:35:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-15 21:44:09.410814
• Title: Focus, Merge, Rank: Improved Question Answering Based on Semi-structured Knowledge Bases
• Title（参考訳）: 焦点, マージ, ランク: 半構造化知識ベースに基づく質問応答の改善
• Authors: Derian Boer, Stephen Roth, Stefan Kramer,
• Abstract要約: We present FocusedRetriever, a modular SKB-based framework for multi-hop questioning。 コンポーネント(VSSベースのエンティティサーチ、LLMベースのCypherクエリの生成、ペアワイズ再ランク)を統合することで、最先端のメソッドよりも優れたパフォーマンスを実現している。 平均第1ヒット率は第2ベストメソッドの25.7%を上回っている。
• 参考スコア（独自算出の注目度）: 2.6524539020042663
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In many real-world settings, machine learning models and interactive systems have access to both structured knowledge, e.g., knowledge graphs or tables, and unstructured content, e.g., natural language documents. However, most rely on either. Semi-Structured Knowledge Bases (SKBs) bridge this gap by linking unstructured content to nodes within structured data, thereby enabling new strategies for knowledge access and use. In this work, we present FocusedRetriever, a modular SKB-based framework for multi-hop question answering. It integrates components (VSS-based entity search, LLM-based generation of Cypher queries and pairwise re-ranking) in a way that enables it to outperform state-of-the-art methods across all three STaRK benchmark test sets, covering diverse domains and multiple performance metrics. The average first-hit rate exceeds that of the second-best method by 25.7%. FocusedRetriever leverages (1) the capacity of Large Language Models (LLMs) to extract relational facts and entity attributes from unstructured text, (2) node set joins to filter answer candidates based on these extracted triplets and constraints, (3) vector similarity search to retrieve and rank relevant unstructured content, and (4) the contextual capabilities of LLMs to finally rank the top-k answers. For generality, we only incorporate base LLMs in FocusedRetriever in our evaluation. However, our analysis of intermediate results highlights several opportunities for further upgrades including finetuning. The source code is publicly available at https://github.com/kramerlab/FocusedRetriever .
• Abstract（参考訳）: 多くの実世界の環境では、機械学習モデルとインタラクティブシステムは構造化された知識、例えば知識グラフやテーブル、構造化されていないコンテンツ、例えば自然言語文書の両方にアクセスすることができる。 しかし、多くはどちらにも頼っている。 半構造化知識ベース(SKB)は、構造化データ内のノードに構造化されていないコンテンツをリンクすることで、このギャップを埋める。 本研究では,マルチホップ質問応答のためのモジュール型SKBベースのフレームワークであるFocusedRetrieverを紹介する。 コンポーネント(VSSベースのエンティティサーチ、LLMベースのCypherクエリの生成、ペアワイズ再ランク)を統合し、さまざまなドメインと複数のパフォーマンスメトリクスをカバーする3つのSTaRKベンチマークテストセットすべてで最先端のメソッドを上回ります。 平均第1ヒット率は第2ベストメソッドの25.7%を上回っている。 FocusedRetrieverは、(1)非構造化テキストからリレーショナルな事実とエンティティ属性を抽出するLarge Language Models(LLMs)の能力、(2)これらの抽出されたトリプレットと制約に基づいて回答候補をフィルタリングするノードセット、(3)非構造化コンテンツの検索とランク付けを行うベクトル類似性検索、(4)LLMが最終的にトップkの回答をランク付けするコンテキスト能力を活用する。 一般には,FocusedRetriever に基本 LLM を組み込んで評価を行う。 しかし、中間結果の解析は、微調整を含むさらなるアップグレードの機会を浮き彫りにしている。 ソースコードはhttps://github.com/kramerlab/FocusedRetrieverで公開されている。

関連論文リスト

• HiBench: Benchmarking LLMs Capability on Hierarchical Structure Reasoning [25.088407009353162]
  構造推論のための既存のベンチマークは主に水平構造と座標構造に焦点を当てている。 HiBenchは、最初の構造生成から最終的な熟練度評価まで、最初のフレームワークである。 30のタスクで構成され、総クエリ数は39,519である。
  論文  参考訳（メタデータ） (2025-03-02T14:25:37Z)
• Harnessing Large Language Models for Knowledge Graph Question Answering via Adaptive Multi-Aspect Retrieval-Augmentation [81.18701211912779]
  本稿では,KG(Amar)フレームワーク上での適応型マルチアスペクト検索手法を提案する。 この方法は、エンティティ、リレーション、サブグラフを含む知識を検索し、検索した各テキストを即時埋め込みに変換する。 提案手法は2つの共通データセットに対して最先端の性能を達成した。
  論文  参考訳（メタデータ） (2024-12-24T16:38:04Z)
• Knowledge-Aware Query Expansion with Large Language Models for Textual and Relational Retrieval [49.42043077545341]
  知識グラフ(KG)から構造化文書関係を付加したLLMを拡張した知識対応クエリ拡張フレームワークを提案する。 文書テキストをリッチなKGノード表現として活用し、KAR(Knowledge-Aware Retrieval)のための文書ベースの関係フィルタリングを利用する。
  論文  参考訳（メタデータ） (2024-10-17T17:03:23Z)
• Harnessing the Power of Semi-Structured Knowledge and LLMs with Triplet-Based Prefiltering for Question Answering [2.6524539020042663]
  大きな言語モデル(LLM)はドメイン固有の知識を欠くことが多く、微調整されたモデルでさえ幻覚を起こす傾向がある。 パイプラインである4StepFocus、具体的には前処理のステップを示し、LCMの回答を大幅に改善する。 この手法は、半構造化知識ベースで三重項に基づく検索によって、直接的かつトレース可能な方法で、潜在的に正しい答えを絞り込む。
  論文  参考訳（メタデータ） (2024-09-01T22:43:27Z)
• STaRK: Benchmarking LLM Retrieval on Textual and Relational Knowledge Bases [93.96463520716759]
  テキストと知識ベースを用いた大規模半構造検索ベンチマークSTARKを開発した。 本ベンチマークでは, 製品検索, 学術論文検索, 精密医療におけるクエリの3分野について検討した。 多様なリレーショナル情報と複雑なテキスト特性を統合した,現実的なユーザクエリを合成する,新しいパイプラインを設計する。
  論文  参考訳（メタデータ） (2024-04-19T22:54:54Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• ChatKBQA: A Generate-then-Retrieve Framework for Knowledge Base Question Answering with Fine-tuned Large Language Models [19.85526116658481]
  本稿では,新規かつ簡易な生成検索KBQAフレームワークであるChatKBQAを紹介する。 実験の結果,ChatKBQAは標準KBQAデータセット上で新たな最先端性能を実現することがわかった。 この研究は、LLMと知識グラフを組み合わせるための新しいパラダイムとして、解釈可能および知識要求型質問応答のパラダイムと見なすこともできる。
  論文  参考訳（メタデータ） (2023-10-13T09:45:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。