論文の概要: GIVE: Structured Reasoning with Knowledge Graph Inspired Veracity Extrapolation
- arxiv url: http://arxiv.org/abs/2410.08475v1
- Date: Fri, 11 Oct 2024 03:05:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-31 03:06:36.366597
- Title: GIVE: Structured Reasoning with Knowledge Graph Inspired Veracity Extrapolation
- Title（参考訳）: GIVE:知識グラフにインスパイアされた正当性外挿による構造化推論
- Authors: Jiashu He, Mingyu Derek Ma, Jinxuan Fan, Dan Roth, Wei Wang, Alejandro Ribeiro,
- Abstract要約: Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを統合する新しい推論フレームワークである。
本手法は,ゴールド回答検索ではなく,専門家の問題解決に類似した論理的・段階的推論手法を提案する。
- 参考スコア（独自算出の注目度）: 108.2008975785364
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Existing retrieval-based reasoning approaches for large language models (LLMs) heavily rely on the density and quality of the non-parametric knowledge source to provide domain knowledge and explicit reasoning chain. However, inclusive knowledge sources are expensive and sometimes infeasible to build for scientific or corner domains. To tackle the challenges, we introduce Graph Inspired Veracity Extrapolation (GIVE), a novel reasoning framework that integrates the parametric and non-parametric memories to enhance both knowledge retrieval and faithful reasoning processes on very sparse knowledge graphs. By leveraging the external structured knowledge to inspire LLM to model the interconnections among relevant concepts, our method facilitates a more logical and step-wise reasoning approach akin to experts' problem-solving, rather than gold answer retrieval. Specifically, the framework prompts LLMs to decompose the query into crucial concepts and attributes, construct entity groups with relevant entities, and build an augmented reasoning chain by probing potential relationships among node pairs across these entity groups. Our method incorporates both factual and extrapolated linkages to enable comprehensive understanding and response generation. Extensive experiments on reasoning-intense benchmarks on biomedical and commonsense QA demonstrate the effectiveness of our proposed method. Specifically, GIVE enables GPT3.5-turbo to outperform advanced models like GPT4 without any additional training cost, thereby underscoring the efficacy of integrating structured information and internal reasoning ability of LLMs for tackling specialized tasks with limited external resources.
- Abstract（参考訳）: 既存の検索に基づく大規模言語モデル(LLM)の推論手法は、ドメイン知識と明示的な推論チェーンを提供するために、非パラメトリックな知識ソースの密度と品質に大きく依存している。
しかし、包括的知識源は高価であり、科学ドメインやコーナードメインのために構築することができない場合もある。
この課題に対処するために,グラフインスパイアされた正当性外挿法(GIVE)を導入する。これは,パラメトリックメモリと非パラメトリックメモリを統合し,知識検索と忠実な推論プロセスの両面を,非常にスパースな知識グラフ上で強化する新しい推論フレームワークである。
外部構造知識を活用してLCMを刺激し,関連する概念間の相互関係をモデル化することにより,金の回答検索よりも専門家の問題解決に類似した論理的,ステップワイドな推論手法を実現する。
具体的には、このフレームワークはLLMに対して、クエリを重要な概念と属性に分解し、関連するエンティティを持つエンティティグループを構築し、これらのエンティティグループにまたがるノードペア間の潜在的な関係を探索することによって、拡張された推論チェーンを構築するよう促す。
提案手法は, 事実と外挿の両方のリンクを組み込んで, 包括的理解と応答生成を可能にする。
バイオメディカルおよびコモンセンスQAにおける推論・インセンスベンチマークの大規模な実験により,提案手法の有効性が示された。
具体的には、GIVE は GPT3.5-turbo を追加のトレーニングコストなしで GPT4 のような先進モデルより優れており、そのため、外部リソースの限られた特殊なタスクに対処するための構造化情報の統合と LLM の内部推論能力の有効性が強調される。
関連論文リスト
- Knowledge Tagging System on Math Questions via LLMs with Flexible Demonstration Retriever [48.5585921817745]
大きな言語モデル(LLM)は知識タグ付けタスクを自動化するために使われる。
算数問題における知識タグ付けタスクに対するゼロショットと少数ショットの結果の強い性能を示す。
強化学習に基づくデモレトリバーの提案により,異なるサイズのLLMの潜在能力を活用できた。
論文 参考訳（メタデータ） (2024-06-19T23:30:01Z) - Explore then Determine: A GNN-LLM Synergy Framework for Reasoning over Knowledge Graph [38.31983923708175]
本稿では,知識グラフ(KGQA)に関する質問応答について述べる。
グラフニューラルネットワーク(GNN)とLarge Language Modelsを相乗化してKGを推論するExplore-then-Determine(EtD)フレームワークを提案する。
EtDは最先端のパフォーマンスを達成し、忠実な推論結果を生成する。
論文 参考訳（メタデータ） (2024-06-03T09:38:28Z) - KG-RAG: Bridging the Gap Between Knowledge and Creativity [0.0]
大規模言語モデルエージェント(LMA)は、情報幻覚、破滅的な忘れ込み、長いコンテキストの処理における制限といった問題に直面している。
本稿では,LMAの知識能力を高めるため,KG-RAG (Knowledge Graph-Retrieval Augmented Generation)パイプラインを提案する。
ComplexWebQuestionsデータセットに関する予備実験では、幻覚的コンテンツの削減において顕著な改善が示されている。
論文 参考訳（メタデータ） (2024-05-20T14:03:05Z) - Context Matters: Pushing the Boundaries of Open-Ended Answer Generation with Graph-Structured Knowledge Context [4.1229332722825]
本稿では,知識グラフに基づく拡張と合わせて,グラフ駆動型コンテキスト検索を組み合わせた新しいフレームワークを提案する。
我々は,様々なパラメータサイズを持つ大規模言語モデル(LLM)の実験を行い,知識の基盤化能力を評価し,オープンな質問に対する回答の事実的正確性を決定する。
われわれの方法であるGraphContextGenは、テキストベースの検索システムよりも一貫して優れており、その堅牢性と多くのユースケースへの適応性を実証している。
論文 参考訳（メタデータ） (2024-01-23T11:25:34Z) - KnowledgeNavigator: Leveraging Large Language Models for Enhanced
Reasoning over Knowledge Graph [11.808990571175269]
大規模言語モデル(LLM)は、その強力な自然言語理解とゼロショット能力によって、様々な下流タスクにおいて優れたパフォーマンスを達成しているが、LLMは依然として知識制限に悩まされている。
本稿では,知識グラフから外部知識を効率的に正確に検索し,これらの課題に対処する新しいフレームワークであるKnowledgeNavigatorを提案する。
我々は,複数のKGQAベンチマーク上でKnowledgeNavigatorを評価し,そのフレームワークの有効性と一般化を実証した。
論文 参考訳（メタデータ） (2023-12-26T04:22:56Z) - DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain
Question Answering over Knowledge Base and Text [73.68051228972024]
大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。
検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
論文 参考訳（メタデータ） (2023-10-31T04:37:57Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳（メタデータ） (2023-09-07T01:35:24Z) - Knowledge-Augmented Reasoning Distillation for Small Language Models in
Knowledge-Intensive Tasks [90.11273439036455]
大規模言語モデル(LLM)は知識集約推論タスクにおいて有望なパフォーマンスを示している。
外部知識ベースから得られた知識を付加したLPMから理性を生成するための,小型LMを微調整する新しい手法であるKARDを提案する。
我々は,KARDが知識集約型推論データセットにおいて,小さなT5モデルとGPTモデルの性能を著しく向上させることを示す。
論文 参考訳（メタデータ） (2023-05-28T13:00:00Z) - Empowering Language Models with Knowledge Graph Reasoning for Question
Answering [117.79170629640525]
我々はknOwledge ReasOning empowered Language Model (OREO-LM)を提案する。
OREO-LMは、既存のTransformerベースのLMに柔軟に接続できる新しい知識相互作用層で構成されている。
クローズド・ブック・セッティングにおいて,最先端の成果が得られ,性能が著しく向上した。
論文 参考訳（メタデータ） (2022-11-15T18:26:26Z) - Structured Knowledge Grounding for Question Answering [0.23068481501673416]
本稿では,知識に基づく質問応答の柔軟性,範囲の広さ,構造的推論に言語と知識を活用することを提案する。
具体的には,動的ホップを用いて関連するコンテキストを検索する知識構築手法を考案する。
そして、言語と知識の間のボトルネックを交換する情報を橋渡しする深層融合機構を考案する。
論文 参考訳（メタデータ） (2022-09-17T08:48:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。