論文の概要: RiTeK: A Dataset for Large Language Models Complex Reasoning over Textual Knowledge Graphs

• arxiv url: http://arxiv.org/abs/2410.13987v1
• Date: Thu, 17 Oct 2024 19:33:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:25:49.486672
• Title: RiTeK: A Dataset for Large Language Models Complex Reasoning over Textual Knowledge Graphs
• Title（参考訳）: RiTeK: テキスト知識グラフを用いた複雑な推論のための大規模言語モデルデータセット
• Authors: Jiatan Huang, Mingchen Li, Zonghai Yao, Zhichao Yang, Yongkang Xiao, Feiyun Ouyang, Xiaohan Li, Shuo Han, Hong Yu,
• Abstract要約: 我々は,テキスト知識グラフ(RiTeK)を用いたLLMの複雑な推論のためのデータセットを開発し,広範なトポロジ的構造を網羅する。 多様なトポロジ構造、注釈付き情報、複雑なテキスト記述を統合した現実的なユーザクエリを合成する。 そこで我々はモンテカルロ木探索法 (CTS) を導入し, 特定のクエリに対してテキストグラフから関係経路情報を自動的に抽出する手法を提案する。
• 参考スコア（独自算出の注目度）: 12.846097618151951
• License:
• Abstract: Answering complex real-world questions often requires accurate retrieval from textual knowledge graphs (TKGs). The scarcity of annotated data, along with intricate topological structures, makes this task particularly challenging. As the nature of relational path information could enhance the inference ability of Large Language Models (LLMs), efficiently retrieving more complex relational path information from TKGs presents another key challenge. To tackle these challenges, we first develop a Dataset for LLMs Complex Reasoning over Textual Knowledge Graphs (RiTeK) with a broad topological structure coverage.We synthesize realistic user queries that integrate diverse topological structures, relational information, and complex textual descriptions. We conduct rigorous expert evaluation to validate the quality of our synthesized queries. And then, we introduce an enhanced Monte Carlo Tree Search (MCTS) method, Relational MCTS, to automatically extract relational path information from textual graphs for specific queries. Our dataset mainly covers the medical domain as the relation types and entity are complex and publicly available. Experimental results indicate that RiTeK poses significant challenges for current retrieval and LLM systems, while the proposed Relational MCTS method enhances LLM inference ability and achieves state-of-the-art performance on RiTeK.
• Abstract（参考訳）: 複雑な現実世界の質問に答えるには、しばしばテキスト知識グラフ(TKG)からの正確な検索が必要である。 注釈付きデータの不足は、複雑なトポロジ構造とともに、この課題を特に困難にしている。 リレーショナルパス情報の性質がLarge Language Models(LLMs)の推論能力を高める可能性があるため、TKGsからより複雑なリレーショナルパス情報を効率的に取得することは、もう一つの重要な課題である。 これらの課題に対処するために,我々はまず,多種多様なトポロジ構造,関係情報,複雑なテキスト記述を統合したリアルなユーザクエリを合成する,テキスト知識グラフ(RiTeK)上での複合推論(Dataset for LLMs Complex Reasoning over Textual Knowledge Graphs)を開発した。 合成クエリの品質を評価するために,厳密な専門家評価を行う。 そして,拡張モンテカルロ木探索法であるリレーショナルMCTSを導入し,特定のクエリに対するテキストグラフからリレーショナルパス情報を自動的に抽出する。 我々のデータセットは主に、関係タイプとエンティティが複雑で公開されており、医療領域をカバーしています。 実験結果から,リレーショナルMCTS法はLLM推論能力を向上し,RiTeK上での最先端性能を実現するのに対し,RiTeKは現在の検索やLLMシステムにおいて重要な課題となることが示唆された。

関連論文リスト

• STaRK: Benchmarking LLM Retrieval on Textual and Relational Knowledge Bases [93.96463520716759]
  テキストと知識ベースを用いた大規模半構造検索ベンチマークSTARKを開発した。 本ベンチマークでは, 製品検索, 学術論文検索, 精密医療におけるクエリの3分野について検討した。 多様なリレーショナル情報と複雑なテキスト特性を統合した,現実的なユーザクエリを合成する,新しいパイプラインを設計する。
  論文  参考訳（メタデータ） (2024-04-19T22:54:54Z)
• Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity [59.57065228857247]
  Retrieval-augmented Large Language Models (LLMs) は、質問回答(QA)のようなタスクにおける応答精度を高めるための有望なアプローチとして登場した。 本稿では,クエリの複雑さに基づいて,LLMの最適戦略を動的に選択できる適応型QAフレームワークを提案する。 オープンドメインのQAデータセットを用いて、複数のクエリの複雑さを網羅し、QAシステムの全体的な効率性と精度を高めることを示す。
  論文  参考訳（メタデータ） (2024-03-21T13:52:30Z)
• Meta Operator for Complex Query Answering on Knowledge Graphs [58.340159346749964]
  我々は、異なる複雑なクエリタイプではなく、異なる論理演算子型が一般化性を向上させる鍵であると主張する。 本稿では,メタ演算子を限られたデータで学習し,様々な複雑なクエリの演算子のインスタンスに適応するメタ学習アルゴリズムを提案する。 実験結果から,メタオペレータの学習は,従来のCQAモデルやメタCQAモデルよりも効果的であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-15T08:54:25Z)
• Type-based Neural Link Prediction Adapter for Complex Query Answering [2.1098688291287475]
  本稿では,タイプベースエンティティ関係グラフを構成する新しいモデルであるTypEベースのニューラルリンク予測アダプタ(TENLPA)を提案する。 型情報と複雑な論理的クエリを効果的に結合するために,適応学習機構を導入する。 3つの標準データセットの実験により、TENLPAモデルが複雑なクエリ応答における最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-01-29T10:54:28Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• Can Large Language Models Understand Real-World Complex Instructions? [54.86632921036983]
  大型言語モデル(LLM)は人間の指示を理解することができるが、複雑な命令には耐えられない。 既存のベンチマークでは、LLMが複雑な命令を理解する能力を評価するには不十分である。 複雑な命令を体系的に追従するLSMの能力を評価するためのベンチマークであるCellOを提案する。
  論文  参考訳（メタデータ） (2023-09-17T04:18:39Z)
• Synergistic Interplay between Search and Large Language Models for Information Retrieval [141.18083677333848]
  InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。 InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
  論文  参考訳（メタデータ） (2023-05-12T11:58:15Z)
• Complex Logical Reasoning over Knowledge Graphs using Large Language Models [13.594992599230277]
  知識グラフ(KG)に対する推論は、エンティティ間の関係を深く理解する必要がある課題である。 現在のアプローチは、論理的なクエリ操作のために、ベクトル空間にエンティティを埋め込むための学習ジオメトリに依存している。 本稿では,文脈的KG探索と論理的クエリ推論を組み合わせた複雑なKG推論を定式化する,言語誘導型知識グラフによる抽象推論(LARK)を提案する。
  論文  参考訳（メタデータ） (2023-05-02T02:21:49Z)
• Query-Specific Knowledge Graphs for Complex Finance Topics [6.599344783327053]
  ドメインの専門家が挑戦的な質問を作成できるCODECデータセットに重点を置いています。 最先端のランキングシステムには改善の余地があることが示される。 実体と文書の関連性は正の相関関係にあることを示す。
  論文  参考訳（メタデータ） (2022-11-08T10:21:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。