論文の概要: FairytaleCQA: Integrating a Commonsense Knowledge Graph into Children's
Storybook Narratives
- arxiv url: http://arxiv.org/abs/2311.09756v1
- Date: Thu, 16 Nov 2023 10:30:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-17 15:12:17.652836
- Title: FairytaleCQA: Integrating a Commonsense Knowledge Graph into Children's
Storybook Narratives
- Title(参考訳): FairytaleCQA: 子どもの物語に常識知識グラフを統合する
- Authors: Jiaju Chen, Yuxuan Lu, Shao Zhang, Bingsheng Yao, Yuanzhe Dong, Ying
Xu, Yunyao Li, Qianwen Wang, Dakuo Wang, Yuling Sun
- Abstract要約: 本研究では,FairytaleCQAデータセットを導入し,278のストーリーブック物語を教育的に適切なコモンセンス知識で補完する。
データセットには5,868対のQAペアがあり、ストーリーブックの物語に由来するだけでなく、外部知識グラフに基づく常識知識も含んでいる。
- 参考スコア(独自算出の注目度): 37.37125094937394
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: AI models (including LLM) often rely on narrative question-answering (QA)
datasets to provide customized QA functionalities to support downstream
children education applications; however, existing datasets only include QA
pairs that are grounded within the given storybook content, but children can
learn more when teachers refer the storybook content to real-world knowledge
(e.g., commonsense knowledge). We introduce the FairytaleCQA dataset, which is
annotated by children education experts, to supplement 278 storybook narratives
with educationally appropriate commonsense knowledge. The dataset has 5,868 QA
pairs that not only originate from the storybook narrative but also contain the
commonsense knowledge grounded by an external knowledge graph (i.e.,
ConceptNet). A follow-up experiment shows that a smaller model (T5-large)
fine-tuned with FairytaleCQA reliably outperforms much larger prompt-engineered
LLM (e.g., GPT-4) in this new QA-pair generation task (QAG). This result
suggests that: 1) our dataset brings novel challenges to existing LLMs, and 2)
human experts' data annotation are still critical as they have much nuanced
knowledge that LLMs do not know in the children educational domain.
- Abstract(参考訳): aiモデル(llmを含む)は、下流の子供教育アプリケーションをサポートするためにカスタマイズされたqa機能を提供するために、物語的質問応答(qa)データセットに依存することが多いが、既存のデータセットには、所定のストーリーブックコンテンツに基礎を置くqaペアのみが含まれている。
児童教育の専門家が注釈を付したfairytalecqaデータセットを導入し、278の物語を教育的に適切なコモンセンス知識で補完する。
データセットには5,868のQAペアがあり、ストーリーブックの物語に由来するだけでなく、外部知識グラフ(ConceptNet)に基づく常識知識も含んでいる。
フォローアップ実験では、FairytaleCQAで微調整された小さなモデル(T5-large)が、新しいQAペア生成タスク(QAG)において、より大きなプロンプトエンジニアリングLLM(例えば、GPT-4)よりも確実に優れていることを示した。
この結果は次のように示唆する。
1)我々のデータセットは既存のLCMに新たな課題をもたらし、
2)人間の専門家のデータアノテーションは,子どもの教育領域においてLLMが知らないようなニュアンスな知識を多く持っているため,いまだに批判的である。
関連論文リスト
- Automatic Question-Answer Generation for Long-Tail Knowledge [65.11554185687258]
テールエンティティのための特別なQAデータセットを生成するための自動アプローチを提案する。
我々は,新たに生成された長尾QAデータセットに事前学習したLLMを用いて広範な実験を行う。
論文 参考訳(メタデータ) (2024-03-03T03:06:31Z) - DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain
Question Answering over Knowledge Base and Text [73.68051228972024]
大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。
検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
論文 参考訳(メタデータ) (2023-10-31T04:37:57Z) - Knowledge Solver: Teaching LLMs to Search for Domain Knowledge from
Knowledge Graphs [19.0797968186656]
大規模言語モデル(LLM)は汎用的であり、その創発的能力と一般化性のために異なるタスクを解くことができる。
以前の研究では、グラフニューラルネットワーク(GNN)のような追加モジュールは、外部の知識ベースから取得した知識に基づいて訓練されている。
論文 参考訳(メタデータ) (2023-09-06T15:55:01Z) - Knowledge-Augmented Language Model Prompting for Zero-Shot Knowledge
Graph Question Answering [7.888547093390469]
大言語モデル(LLM)は、ゼロショットのクローズドブック質問応答タスクを実行することができる。
我々は,LSMの入力において,その知識を直接拡張することを提案する。
我々のフレームワークであるKAPING(Knowledge-Augmented Language Model Prompting)は、モデルトレーニングを必要としないため、完全にゼロショットである。
論文 参考訳(メタデータ) (2023-06-07T04:15:21Z) - Knowledge-Augmented Reasoning Distillation for Small Language Models in
Knowledge-Intensive Tasks [90.11273439036455]
大規模言語モデル(LLM)は知識集約推論タスクにおいて有望なパフォーマンスを示している。
外部知識ベースから得られた知識を付加したLPMから理性を生成するための,小型LMを微調整する新しい手法であるKARDを提案する。
我々は,KARDが知識集約型推論データセットにおいて,小さなT5モデルとGPTモデルの性能を著しく向上させることを示す。
論文 参考訳(メタデータ) (2023-05-28T13:00:00Z) - Language Models are Causal Knowledge Extractors for Zero-shot Video
Question Answering [60.93164850492871]
Causal Video Question Answering (CVidQA)は、関連性や時間的関係だけでなく、ビデオ内の因果関係も問う。
本稿では,言語モデルからの因果共通知識を利用してCVidQAに取り組む,CaKE-LM(Causal Knowledge extract from Language Models)を提案する。
CaKE-LMは、NExT-QAおよびCausal-VidQAデータセットにおいて、ゼロショットCVidQAの精度の4%から6%で従来の手法よりも大幅に優れていた。
論文 参考訳(メタデータ) (2023-04-07T17:45:49Z) - Fantastic Questions and Where to Find Them: FairytaleQA -- An Authentic
Dataset for Narrative Comprehension [136.82507046638784]
幼稚園児の物語理解に焦点を当てたデータセットであるFairytaleQAを8年生に紹介する。
FairytaleQAは10,580の明示的で暗黙的な質問で構成されており、278の子供フレンドリーな物語から導かれる。
論文 参考訳(メタデータ) (2022-03-26T00:20:05Z) - It is AI's Turn to Ask Human a Question: Question and Answer Pair
Generation for Children Storybooks in FairytaleQA Dataset [30.557699346777582]
教育応用においては、教師や親は、言語学習結果を最大化できる子どもにどんな質問をすべきか分からないことがある。
新たにリリースされた書籍QAデータセット(FairytaleQA)を用いて,本アプリケーションのための自動QA生成モデルアーキテクチャを開発した。
論文 参考訳(メタデータ) (2021-09-08T04:11:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。