論文の概要: SGSH: Stimulate Large Language Models with Skeleton Heuristics for Knowledge Base Question Generation
- arxiv url: http://arxiv.org/abs/2404.01923v1
- Date: Tue, 2 Apr 2024 13:17:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-03 16:28:46.601675
- Title: SGSH: Stimulate Large Language Models with Skeleton Heuristics for Knowledge Base Question Generation
- Title（参考訳）: SGSH:知識ベース質問生成のためのスケルトンヒューリスティックを用いた大規模言語モデルの構築
- Authors: Shasha Guo, Lizi Liao, Jing Zhang, Yanling Wang, Cuiping Li, Hong Chen,
- Abstract要約: 知識ベース質問生成(KBQG)は、KBから抽出された3つの事実の集合から自然言語の質問を生成することを目的としている。
事前学習技術の進歩により、大きな言語モデル (LLM) (例: GPT-3.5) は間違いなくより意味的な知識を持っている。
KBQGを向上させるため,SGSH(Skeleton Heuristics による GPT-3.5 のインセンティブを高めるためのシンプルで効果的なフレームワーク)を提案する。
- 参考スコア（独自算出の注目度）: 23.426821153086358
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge base question generation (KBQG) aims to generate natural language questions from a set of triplet facts extracted from KB. Existing methods have significantly boosted the performance of KBQG via pre-trained language models (PLMs) thanks to the richly endowed semantic knowledge. With the advance of pre-training techniques, large language models (LLMs) (e.g., GPT-3.5) undoubtedly possess much more semantic knowledge. Therefore, how to effectively organize and exploit the abundant knowledge for KBQG becomes the focus of our study. In this work, we propose SGSH--a simple and effective framework to Stimulate GPT-3.5 with Skeleton Heuristics to enhance KBQG. The framework incorporates "skeleton heuristics", which provides more fine-grained guidance associated with each input to stimulate LLMs to generate optimal questions, encompassing essential elements like the question phrase and the auxiliary verb.More specifically, we devise an automatic data construction strategy leveraging ChatGPT to construct a skeleton training dataset, based on which we employ a soft prompting approach to train a BART model dedicated to generating the skeleton associated with each input. Subsequently, skeleton heuristics are encoded into the prompt to incentivize GPT-3.5 to generate desired questions. Extensive experiments demonstrate that SGSH derives the new state-of-the-art performance on the KBQG tasks.
- Abstract（参考訳）: 知識ベース質問生成(KBQG)は、KBから抽出された3つの事実の集合から自然言語の質問を生成することを目的としている。
既存の手法は、豊かに提供されたセマンティック知識のおかげで、事前訓練された言語モデル(PLM)を介してKBQGの性能を大幅に向上させた。
事前学習技術の進歩により、大きな言語モデル (LLM) (例: GPT-3.5) は間違いなくより意味的な知識を持っている。
そのため,KBQGの豊富な知識を効果的に整理し,活用する方法が本研究の焦点となっている。
本研究では, KBQG を向上するスケルトンヒューリスティックスを用いて GPT-3.5 を刺激するための簡易かつ効果的なフレームワーク SGSH を提案する。
具体的には,ChatGPTを利用した骨格学習データセット構築のための自動データ構築戦略を考案し,各入力に関連付けられた骨格生成専用のBARTモデルをソフト・プロンプト・アプローチで学習する。
その後、骨格ヒューリスティックがGPT-3.5にインセンティブを与えて望ましい質問を生成するプロンプトにエンコードされる。
大規模な実験により、SGSHはKBQGタスクにおける新しい最先端性能を導出することを示した。
関連論文リスト
- Decoding on Graphs: Faithful and Sound Reasoning on Knowledge Graphs through Generation of Well-Formed Chains [66.55612528039894]
知識グラフ(KG)は質問応答(QA)のための信頼できる知識ソースとして機能する。
我々は、LLMとKGの深い相乗効果を促進する新しいフレームワークであるDoG(Decoding on Graphs)を提案する。
様々なKGQAタスクに対して異なるバックグラウンドKGを用いた実験により、DoGが優れた、堅牢なパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2024-10-24T04:01:40Z) - A Knowledge-Injected Curriculum Pretraining Framework for Question Answering [70.13026036388794]
本稿では,知識に基づく質問応答タスクの総合的なKG学習と活用を実現するための一般知識注入型カリキュラム事前学習フレームワーク(KICP)を提案する。
KIモジュールはまずKG中心の事前学習コーパスを生成してLMに知識を注入し、プロセスを3つの重要なステップに一般化する。
KAモジュールは、アダプタを備えたLMで生成されたコーパスから知識を学習し、元の自然言語理解能力を維持できる。
CRモジュールは人間の推論パターンに従って3つのコーパスを構築する。
論文 参考訳（メタデータ） (2024-03-11T03:42:03Z) - Contextualization Distillation from Large Language Model for Knowledge
Graph Completion [51.126166442122546]
我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。
提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。
多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
論文 参考訳（メタデータ） (2024-01-28T08:56:49Z) - ReasoningLM: Enabling Structural Subgraph Reasoning in Pre-trained
Language Models for Question Answering over Knowledge Graph [142.42275983201978]
本稿では,構造化推論を行うためのGNNを模倣するサブグラフ認識型自己認識機構を提案する。
また、モデルパラメータを2万のサブグラフで合成した質問に適応するための適応チューニング戦略も採用する。
実験により、ReasoningLMは、更新されたパラメータが少なく、トレーニングデータが少ない場合でも、最先端のモデルを大きなマージンで上回っていることが示された。
論文 参考訳（メタデータ） (2023-12-30T07:18:54Z) - ChatKBQA: A Generate-then-Retrieve Framework for Knowledge Base Question Answering with Fine-tuned Large Language Models [19.85526116658481]
本稿では,新規かつ簡易な生成検索KBQAフレームワークであるChatKBQAを紹介する。
実験の結果,ChatKBQAは標準KBQAデータセット上で新たな最先端性能を実現することがわかった。
この研究は、LLMと知識グラフを組み合わせるための新しいパラダイムとして、解釈可能および知識要求型質問応答のパラダイムと見なすこともできる。
論文 参考訳（メタデータ） (2023-10-13T09:45:14Z) - Prompting Large Language Models with Chain-of-Thought for Few-Shot
Knowledge Base Question Generation [19.327008532572645]
知識ベースに関する質問生成(KBQG)は、論理形式を自然言語の質問に変換することを目的としている。
推論のためのコンテキスト内学習戦略であるChain-of-Thoughtプロンプトを提案する。
3つのKBQGデータセットに対して広範な実験を行う。
論文 参考訳（メタデータ） (2023-10-12T15:08:14Z) - Towards Verifiable Generation: A Benchmark for Knowledge-aware Language Model Attribution [48.86322922826514]
本稿では,知識認識型言語モデル属性(KaLMA)の新たな課題について述べる。
まず、属性のソースを構造化されていないテキストから知識グラフ(KG)に拡張し、そのリッチな構造は属性のパフォーマンスと作業シナリオの両方に役立ちます。
第2に,不完全な知識リポジトリを考慮した「意識的非能力」の設定を提案する。
第3に,テキスト品質,引用品質,引用アライメントを含む総合的な自動評価指標を提案する。
論文 参考訳（メタデータ） (2023-10-09T11:45:59Z) - Bridging the KB-Text Gap: Leveraging Structured Knowledge-aware
Pre-training for KBQA [28.642711264323786]
テキストと構造化KBのギャップを埋める構造化知識認識事前学習法(SKP)を提案する。
事前学習の段階では、複雑な部分グラフの暗黙的関係とより良い表現を効果的に学習するためにモデルを導くという、2つの新しい構造化された知識認識タスクを導入する。
下流KBQAタスクでは、より効率的な線形化戦略とインターバルアテンション機構を設計し、複雑なサブグラフの符号化を支援する。
論文 参考訳（メタデータ） (2023-08-28T09:22:02Z) - UnifiedSKG: Unifying and Multi-Tasking Structured Knowledge Grounding
with Text-to-Text Language Models [170.88745906220174]
本稿では,21のSKGタスクをテキスト・テキスト・フォーマットに統一するSKGフレームワークを提案する。
我々は,UnifiedSKGが21タスクのほぼすべてにおいて最先端のパフォーマンスを達成することを示す。
また、UnifiedSKGを用いて、SKGタスク間の変異をコードする構造化知識に関する一連の実験を行う。
論文 参考訳（メタデータ） (2022-01-16T04:36:18Z) - Calculating Question Similarity is Enough:A New Method for KBQA Tasks [8.056701645706404]
本稿では、事前学習言語モデル(PLM)と知識グラフ(KG)を用いたコーパス生成-検索手法(CGRM)を提案する。
まず,mT5モデルに基づいて,知識マスキング言語モデリングと質問生成という2つの新しい事前学習タスクを設計した。
第2に、一連のルールで知識グラフのトリプルを前処理した後、kT5モデルは、処理されたトリプルに基づいて自然言語QAペアを生成する。
論文 参考訳（メタデータ） (2021-11-15T10:31:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。