論文の概要: SGSH: Stimulate Large Language Models with Skeleton Heuristics for Knowledge Base Question Generation
- arxiv url: http://arxiv.org/abs/2404.01923v1
- Date: Tue, 2 Apr 2024 13:17:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-03 16:28:46.601675
- Title: SGSH: Stimulate Large Language Models with Skeleton Heuristics for Knowledge Base Question Generation
- Title（参考訳）: SGSH:知識ベース質問生成のためのスケルトンヒューリスティックを用いた大規模言語モデルの構築
- Authors: Shasha Guo, Lizi Liao, Jing Zhang, Yanling Wang, Cuiping Li, Hong Chen,
- Abstract要約: 知識ベース質問生成(KBQG)は、KBから抽出された3つの事実の集合から自然言語の質問を生成することを目的としている。
事前学習技術の進歩により、大きな言語モデル (LLM) (例: GPT-3.5) は間違いなくより意味的な知識を持っている。
KBQGを向上させるため,SGSH(Skeleton Heuristics による GPT-3.5 のインセンティブを高めるためのシンプルで効果的なフレームワーク)を提案する。
- 参考スコア（独自算出の注目度）: 23.426821153086358
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge base question generation (KBQG) aims to generate natural language questions from a set of triplet facts extracted from KB. Existing methods have significantly boosted the performance of KBQG via pre-trained language models (PLMs) thanks to the richly endowed semantic knowledge. With the advance of pre-training techniques, large language models (LLMs) (e.g., GPT-3.5) undoubtedly possess much more semantic knowledge. Therefore, how to effectively organize and exploit the abundant knowledge for KBQG becomes the focus of our study. In this work, we propose SGSH--a simple and effective framework to Stimulate GPT-3.5 with Skeleton Heuristics to enhance KBQG. The framework incorporates "skeleton heuristics", which provides more fine-grained guidance associated with each input to stimulate LLMs to generate optimal questions, encompassing essential elements like the question phrase and the auxiliary verb.More specifically, we devise an automatic data construction strategy leveraging ChatGPT to construct a skeleton training dataset, based on which we employ a soft prompting approach to train a BART model dedicated to generating the skeleton associated with each input. Subsequently, skeleton heuristics are encoded into the prompt to incentivize GPT-3.5 to generate desired questions. Extensive experiments demonstrate that SGSH derives the new state-of-the-art performance on the KBQG tasks.
- Abstract（参考訳）: 知識ベース質問生成(KBQG)は、KBから抽出された3つの事実の集合から自然言語の質問を生成することを目的としている。
既存の手法は、豊かに提供されたセマンティック知識のおかげで、事前訓練された言語モデル(PLM)を介してKBQGの性能を大幅に向上させた。
事前学習技術の進歩により、大きな言語モデル (LLM) (例: GPT-3.5) は間違いなくより意味的な知識を持っている。
そのため,KBQGの豊富な知識を効果的に整理し,活用する方法が本研究の焦点となっている。
本研究では, KBQG を向上するスケルトンヒューリスティックスを用いて GPT-3.5 を刺激するための簡易かつ効果的なフレームワーク SGSH を提案する。
具体的には,ChatGPTを利用した骨格学習データセット構築のための自動データ構築戦略を考案し,各入力に関連付けられた骨格生成専用のBARTモデルをソフト・プロンプト・アプローチで学習する。
その後、骨格ヒューリスティックがGPT-3.5にインセンティブを与えて望ましい質問を生成するプロンプトにエンコードされる。
大規模な実験により、SGSHはKBQGタスクにおける新しい最先端性能を導出することを示した。
関連論文リスト
- GLTW: Joint Improved Graph Transformer and LLM via Three-Word Language for Knowledge Graph Completion [52.026016846945424]
我々は、KGの構造情報をエンコードし、それを大規模言語モデルにマージするGLTWと呼ばれる新しい手法を提案する。
具体的には、局所構造情報とグローバル構造情報の両方を効果的に符号化する改良されたグラフ変換器(iGT)を導入する。
また,KG内のすべてのエンティティを分類対象として用いたサブグラフに基づく多分類学習目標を開発し,学習効率を向上する。
論文 参考訳（メタデータ） (2025-02-17T06:02:59Z) - Ontology-grounded Automatic Knowledge Graph Construction by LLM under Wikidata schema [60.42231674887294]
本稿では,Large Language Models (LLMs) を用いた知識グラフ構築のためのオントロジー的アプローチを提案する。
我々は、一貫性と解釈可能性を確保するために、抽出された関係に基づいて、著者によるオントロジーによるKGの基底生成を行う。
我々の研究は、人間の介入を最小限に抑えたスケーラブルなKG建設パイプラインの実現に向けて有望な方向を示し、高品質で人間に解釈可能なKGを生み出す。
論文 参考訳（メタデータ） (2024-12-30T13:36:05Z) - GS-KGC: A Generative Subgraph-based Framework for Knowledge Graph Completion with Large Language Models [7.995716933782121]
我々は textbfGenerative textbfSubgraph-based KGC (GS-KGC) と呼ばれる新しい補完フレームワークを提案する。
このフレームワークは、主に負と隣人を生成するように設計された部分グラフ分割アルゴリズムを含んでいる。
4つの共通のKGCデータセットで実施された実験は、提案されたGS-KGCの利点を強調している。
論文 参考訳（メタデータ） (2024-08-20T13:13:41Z) - A Knowledge-Injected Curriculum Pretraining Framework for Question Answering [70.13026036388794]
本稿では,知識に基づく質問応答タスクの総合的なKG学習と活用を実現するための一般知識注入型カリキュラム事前学習フレームワーク(KICP)を提案する。
KIモジュールはまずKG中心の事前学習コーパスを生成してLMに知識を注入し、プロセスを3つの重要なステップに一般化する。
KAモジュールは、アダプタを備えたLMで生成されたコーパスから知識を学習し、元の自然言語理解能力を維持できる。
CRモジュールは人間の推論パターンに従って3つのコーパスを構築する。
論文 参考訳（メタデータ） (2024-03-11T03:42:03Z) - Contextualization Distillation from Large Language Model for Knowledge
Graph Completion [51.126166442122546]
我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。
提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。
多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
論文 参考訳（メタデータ） (2024-01-28T08:56:49Z) - ReasoningLM: Enabling Structural Subgraph Reasoning in Pre-trained
Language Models for Question Answering over Knowledge Graph [142.42275983201978]
本稿では,構造化推論を行うためのGNNを模倣するサブグラフ認識型自己認識機構を提案する。
また、モデルパラメータを2万のサブグラフで合成した質問に適応するための適応チューニング戦略も採用する。
実験により、ReasoningLMは、更新されたパラメータが少なく、トレーニングデータが少ない場合でも、最先端のモデルを大きなマージンで上回っていることが示された。
論文 参考訳（メタデータ） (2023-12-30T07:18:54Z) - ChatKBQA: A Generate-then-Retrieve Framework for Knowledge Base Question Answering with Fine-tuned Large Language Models [19.85526116658481]
本稿では,新規かつ簡易な生成検索KBQAフレームワークであるChatKBQAを紹介する。
実験の結果,ChatKBQAは標準KBQAデータセット上で新たな最先端性能を実現することがわかった。
この研究は、LLMと知識グラフを組み合わせるための新しいパラダイムとして、解釈可能および知識要求型質問応答のパラダイムと見なすこともできる。
論文 参考訳（メタデータ） (2023-10-13T09:45:14Z) - Prompting Large Language Models with Chain-of-Thought for Few-Shot
Knowledge Base Question Generation [19.327008532572645]
知識ベースに関する質問生成(KBQG)は、論理形式を自然言語の質問に変換することを目的としている。
推論のためのコンテキスト内学習戦略であるChain-of-Thoughtプロンプトを提案する。
3つのKBQGデータセットに対して広範な実験を行う。
論文 参考訳（メタデータ） (2023-10-12T15:08:14Z) - Towards Verifiable Generation: A Benchmark for Knowledge-aware Language Model Attribution [48.86322922826514]
本稿では,知識認識型言語モデル属性(KaLMA)の新たな課題について述べる。
まず、属性のソースを構造化されていないテキストから知識グラフ(KG)に拡張し、そのリッチな構造は属性のパフォーマンスと作業シナリオの両方に役立ちます。
第2に,不完全な知識リポジトリを考慮した「意識的非能力」の設定を提案する。
第3に,テキスト品質,引用品質,引用アライメントを含む総合的な自動評価指標を提案する。
論文 参考訳（メタデータ） (2023-10-09T11:45:59Z) - Bridging the KB-Text Gap: Leveraging Structured Knowledge-aware
Pre-training for KBQA [28.642711264323786]
テキストと構造化KBのギャップを埋める構造化知識認識事前学習法(SKP)を提案する。
事前学習の段階では、複雑な部分グラフの暗黙的関係とより良い表現を効果的に学習するためにモデルを導くという、2つの新しい構造化された知識認識タスクを導入する。
下流KBQAタスクでは、より効率的な線形化戦略とインターバルアテンション機構を設計し、複雑なサブグラフの符号化を支援する。
論文 参考訳（メタデータ） (2023-08-28T09:22:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。