論文の概要: DiagramQG: A Dataset for Generating Concept-Focused Questions from Diagrams
- arxiv url: http://arxiv.org/abs/2411.17771v1
- Date: Tue, 26 Nov 2024 08:27:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-28 15:26:59.444569
- Title: DiagramQG: A Dataset for Generating Concept-Focused Questions from Diagrams
- Title（参考訳）: DiagramQG: 概念に焦点をあてた質問をダイアグラムから生成するためのデータセット
- Authors: Xinyu Zhang, Lingling Zhang, Yanrui Wu, Muye Huang, Wenjun Wu, Bo Li, Shaowei Wang, Jun Liu,
- Abstract要約: 様々な被験者に対して8,372の図と19,475の質問を含むデータセットであるDiagramQGを紹介した。
本稿では,図式質問生成のための階層的知識統合フレームワーク(HKI-DQG)を強力なベースラインとして提示する。
既存のVQGモデル,オープンソースおよびクローズドソースビジョン言語モデル,およびDiagramQGデータセット上でのHKI-DQGの性能を評価する。
- 参考スコア（独自算出の注目度）: 19.310782704527192
- License:
- Abstract: Visual Question Generation (VQG) has gained significant attention due to its potential in educational applications. However, VQG researches mainly focus on natural images, neglecting diagrams in educational materials used to assess students' conceptual understanding. To address this gap, we introduce DiagramQG, a dataset containing 8,372 diagrams and 19,475 questions across various subjects. DiagramQG introduces concept and target text constraints, guiding the model to generate concept-focused questions for educational purposes. Meanwhile, we present the Hierarchical Knowledge Integration framework for Diagram Question Generation (HKI-DQG) as a strong baseline. This framework obtains multi-scale patches of diagrams and acquires knowledge using a visual language model with frozen parameters. It then integrates knowledge, text constraints and patches to generate concept-focused questions. We evaluate the performance of existing VQG models, open-source and closed-source vision-language models, and HKI-DQG on the DiagramQG dataset. Our HKI-DQG outperform existing methods, demonstrating that it serves as a strong baseline. Furthermore, to assess its generalizability, we apply HKI-DQG to two other VQG datasets of natural images, namely VQG-COCO and K-VQG, achieving state-of-the-art performance.The dataset and code are available at https://dxzxy12138.github.io/diagramqg-home.
- Abstract（参考訳）: 視覚質問生成(VQG)は教育応用の可能性から注目されている。
しかしながら、VQGの研究は主に自然画像に焦点を当てており、学生の概念的理解を評価するために使用される教育資料の図表を無視している。
このギャップに対処するために、様々な被験者に対して8,372のダイアグラムと19,475の質問を含むデータセットであるDiagramQGを紹介した。
DiagramQGはコンセプトとターゲットのテキスト制約を導入し、モデルを指導し、教育目的のために概念に焦点を当てた質問を生成する。
一方、図式質問生成のための階層的知識統合フレームワーク(HKI-DQG)を強力なベースラインとして提示する。
このフレームワークは、図のマルチスケールパッチを取得し、凍結パラメータを持つビジュアル言語モデルを用いて知識を取得する。
そして、知識、テキストの制約、パッチを統合し、概念に焦点を当てた質問を生成する。
既存のVQGモデル,オープンソースおよびクローズドソースビジョン言語モデル,およびDiagramQGデータセット上でのHKI-DQGの性能を評価する。
我々のHKI-DQGは既存の手法より優れており、強力なベースラインとして機能することを示す。
さらに、その一般化性を評価するために、HKI-DQGをVQG-COCOとK-VQGという2つの自然画像のVQGデータセットに適用し、最先端のパフォーマンスを達成する。
関連論文リスト
- ConVQG: Contrastive Visual Question Generation with Multimodal Guidance [20.009626292937995]
本研究では,コントラスト的視覚質問生成(ConVQG)を提案し,画像的,テキスト的,知識に富んだ質問を生成する。
知識認識と標準VQGベンチマークの実験は、ConVQGが最先端の手法よりも優れていることを示した。
論文 参考訳（メタデータ） (2024-02-20T09:20:30Z) - Language Guided Visual Question Answering: Elevate Your Multimodal
Language Model Using Knowledge-Enriched Prompts [54.072432123447854]
視覚的質問応答(VQA)は、画像に関する質問に答えるタスクである。
疑問に答えるには、常識知識、世界知識、イメージに存在しないアイデアや概念についての推論が必要である。
本稿では,論理文や画像キャプション,シーングラフなどの形式で言語指導(LG)を用いて,より正確に質問に答えるフレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-31T03:54:11Z) - Davidsonian Scene Graph: Improving Reliability in Fine-grained Evaluation for Text-to-Image Generation [64.64849950642619]
テキスト・ツー・イメージ・モデルを評価するための形式的意味論にインスパイアされた評価フレームワークを開発する。
Davidsonian Scene Graph (DSG) が依存性グラフにまとめられた原子的およびユニークな質問を生成することを示す。
また,1060個のプロンプトを含むオープンソースの評価ベンチマークDSG-1kを提案する。
論文 参考訳（メタデータ） (2023-10-27T16:20:10Z) - Few-Shot Visual Question Generation: A Novel Task and Benchmark Datasets [5.45761450227064]
本稿では,Few-Shot Visual Question Generation (FS-VQG)タスクを提案する。
FS-VQGタスクのメタラーニングと自己教師型戦略に基づく,既存のVQGアプローチと,一般的な数ショットソリューションの評価を行った。
私たちの実験から重要な発見がいくつか出てきました。これは、数ショットのビジョンと言語生成タスクにおいて、現在のモデルの限界に光を当てたものです。
論文 参考訳（メタデータ） (2022-10-13T15:01:15Z) - VQA-GNN: Reasoning with Multimodal Knowledge via Graph Neural Networks
for Visual Question Answering [79.22069768972207]
本稿では,VQA-GNNモデルを提案する。VQA-GNNは,非構造化知識と構造化知識の双方向融合を行い,統一知識表現を得る。
具体的には,シーングラフとコンセプトグラフを,QAコンテキストを表すスーパーノードを介して相互接続する。
課題2つのVQAタスクにおいて,本手法はVCRが3.2%,GQAが4.6%,強いベースラインVQAが3.2%向上し,概念レベルの推論を行う上での強みが示唆された。
論文 参考訳（メタデータ） (2022-05-23T17:55:34Z) - K-VQG: Knowledge-aware Visual Question Generation for Common-sense
Acquisition [64.55573343404572]
K-VQGと呼ばれる新しい知識対応VQGデータセットを提案する。
これは、画像に関する質問が構造化された知識に結びついている最初の大規模で人間の注釈付きデータセットである。
また,質問対象として知識をエンコードし,使用可能な新しいVQGモデルも開発している。
論文 参考訳（メタデータ） (2022-03-15T13:38:10Z) - QA-GNN: Reasoning with Language Models and Knowledge Graphs for Question
Answering [122.84513233992422]
学習済み言語モデル(LM)と知識グラフ(KG)の知識を用いて質問に答える問題に対処する新しいモデルであるQA-GNNを提案する。
既存のLMとLM+KGモデルに対する改善と、解釈可能で構造化された推論を行う能力を示しています。
論文 参考訳（メタデータ） (2021-04-13T17:32:51Z) - EQG-RACE: Examination-Type Question Generation [21.17100754955864]
本論文では, RACEから抽出したデータセットをもとに, 試験型質問生成手法 (EQG-RACE) を提案する。
EQG-RACEでは、離散的な回答情報を扱うための2つの主要な戦略と、長い文脈における推論が採用されています。
実験結果は、ベースラインよりも優れたEQG-RACEの最先端の性能を示しています。
論文 参考訳（メタデータ） (2020-12-11T03:52:17Z) - Cross-modal Knowledge Reasoning for Knowledge-based Visual Question
Answering [27.042604046441426]
KVQA(Knowledge-based Visual Question Answering)は、画像に関する質問に答えるために、可視コンテンツ以外の外部知識を必要とする。
本稿では,視覚的,意味的,事実的な視点から,複数の知識グラフによる画像を記述する。
我々は、モデルを一連のメモリベースの推論ステップに分解し、それぞれがGラーフベースのR ead、U pdate、C ontrolによって実行される。
我々は、FVQA、Visual7W-KB、OK-VQAを含む3つの人気のあるベンチマークデータセットに対して、最先端のパフォーマンスを新たに達成する。
論文 参考訳（メタデータ） (2020-08-31T23:25:01Z) - Toward Subgraph-Guided Knowledge Graph Question Generation with Graph
Neural Networks [53.58077686470096]
知識グラフ(KG)質問生成(QG)は,KGから自然言語質問を生成することを目的とする。
本研究は,KGサブグラフから質問を生成し,回答をターゲットとする,より現実的な環境に焦点を当てる。
論文 参考訳（メタデータ） (2020-04-13T15:43:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。