論文の概要: ChartKG: A Knowledge-Graph-Based Representation for Chart Images

• arxiv url: http://arxiv.org/abs/2410.09761v1
• Date: Sun, 13 Oct 2024 07:38:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 05:02:48.424108
• Title: ChartKG: A Knowledge-Graph-Based Representation for Chart Images
• Title（参考訳）: ChartKG: グラフ画像の知識グラフに基づく表現
• Authors: Zhiguang Zhou, Haoxuan Wang, Zhengqing Zhao, Fengling Zheng, Yongheng Wang, Wei Chen, Yong Wang,
• Abstract要約: 本稿では,グラフ画像の視覚的要素と意味的関係をモデル化可能な知識グラフ(KG)に基づくグラフ表現を提案する。 一連の画像処理技術を統合して視覚要素と関係を識別する。例えば、CNNはチャートを分類し、ヨロフ5、光学文字認識はチャートを解析する。 本稿では,知識グラフに基づく表現が,グラフの詳細な視覚的要素と意味的関係をどうモデル化できるかを示す4つの事例を示す。
• 参考スコア（独自算出の注目度）: 9.781118203308438
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Chart images, such as bar charts, pie charts, and line charts, are explosively produced due to the wide usage of data visualizations. Accordingly, knowledge mining from chart images is becoming increasingly important, which can benefit downstream tasks like chart retrieval and knowledge graph completion. However, existing methods for chart knowledge mining mainly focus on converting chart images into raw data and often ignore their visual encodings and semantic meanings, which can result in information loss for many downstream tasks. In this paper, we propose ChartKG, a novel knowledge graph (KG) based representation for chart images, which can model the visual elements in a chart image and semantic relations among them including visual encodings and visual insights in a unified manner. Further, we develop a general framework to convert chart images to the proposed KG-based representation. It integrates a series of image processing techniques to identify visual elements and relations, e.g., CNNs to classify charts, yolov5 and optical character recognition to parse charts, and rule-based methods to construct graphs. We present four cases to illustrate how our knowledge-graph-based representation can model the detailed visual elements and semantic relations in charts, and further demonstrate how our approach can benefit downstream applications such as semantic-aware chart retrieval and chart question answering. We also conduct quantitative evaluations to assess the two fundamental building blocks of our chart-to-KG framework, i.e., object recognition and optical character recognition. The results provide support for the usefulness and effectiveness of ChartKG.
• Abstract（参考訳）: バーチャート、パイチャート、ラインチャートなどのチャートイメージは、データ視覚化が広く使われているため、爆発的に生成される。 そのため、チャート画像からの知識マイニングがますます重要になってきており、チャート検索やナレッジグラフ補完といった下流作業に役立てることができる。 しかし、既存のグラフ知識マイニング手法は主に、チャート画像を生データに変換することに重点を置いており、しばしばその視覚的エンコーディングや意味を無視し、多くの下流タスクにおいて情報損失をもたらす可能性がある。 本稿では,新しい知識グラフ(KG)に基づくチャート画像の表現であるChartKGを提案する。 さらに,提案したKGに基づく表現にチャート画像を変換する汎用フレームワークを開発する。 これは、視覚要素と関係を識別するための一連の画像処理技術、例えばチャートを分類するためのCNN、チャートを解析するためのヨロフ5と光学文字認識、グラフを構築するためのルールベースの方法を統合する。 本稿では,我々の知識グラフに基づく表現が,グラフの詳細な視覚要素と意味関係をモデル化し,そのアプローチが意味認識チャート検索やチャート質問応答といった下流アプリケーションにどのように役立つかを示す4つの事例を紹介する。 また,本フレームワークの2つの基本構成要素,すなわち物体認識と光学的文字認識の定量的評価を行った。 その結果,ChartKGの有用性と有効性を支持することができた。

関連論文リスト

• MSG-Chart: Multimodal Scene Graph for ChartQA [11.828192162922436]
  グラフに明示的に表示されていない基礎データのパターンを持つチャート要素の複雑な分布のため、ChartQA(Automatic Chart Question Answering)は難しい。 チャート要素とそれらのパターンの関係を明示的に表すために、チャートのための共同マルチモーダルシーングラフを設計する。 提案するマルチモーダルシーングラフには視覚グラフとテキストグラフが含まれており,そのグラフから構造的および意味的知識を共同でキャプチャする。
  論文  参考訳（メタデータ） (2024-08-09T04:11:23Z)
• On Pre-training of Multimodal Language Models Customized for Chart Understanding [83.99377088129282]
  本稿では,MLLMのチャート理解を改善するために必要な学習過程について考察する。 詳細なチャート理解に適したMLLMであるCHOPINLLMを紹介する。
  論文  参考訳（メタデータ） (2024-07-19T17:58:36Z)
• ChartGemma: Visual Instruction-tuning for Chart Reasoning in the Wild [28.643565008567172]
  本稿では,PaliGemma上で開発された新しいチャート理解と推論モデルであるChartGemmaを紹介する。 基礎となるデータテーブルに頼るのではなく、ChartGemmaは、チャートイメージから直接生成されたインストラクションチューニングデータに基づいて訓練される。 我々の単純なアプローチは、チャートの要約、質問応答、ファクトチェックにまたがる5ドルのベンチマークで最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-07-04T22:16:40Z)
• ChartAssisstant: A Universal Chart Multimodal Language Model via Chart-to-Table Pre-training and Multitask Instruction Tuning [54.89249749894061]
  ChartAssistantは、ユニバーサルチャートの理解と推論のためのビジョン言語モデルである。 2段階のトレーニングプロセスを経て、チャートとテキストの調整のために、チャートからテーブルへのパースを事前トレーニングする。 実験により, 最先端UniChart法とChartllama法に比較して, 顕著な性能向上が得られた。
  論文  参考訳（メタデータ） (2024-01-04T17:51:48Z)
• StructChart: Perception, Structuring, Reasoning for Visual Chart Understanding [58.38480335579541]
  現在のチャート関連タスクは、視覚チャートから情報を抽出することを参照するチャート認識か、抽出されたデータから推論を行うかに焦点を当てている。 本稿では,共同認識と推論タスクのための統一的でラベル効率のよい学習パラダイムを確立することを目的とする。 各種のチャート関連タスクで実験を行い、統合されたチャート認識推論パラダイムの有効性と有望な可能性を実証した。
  論文  参考訳（メタデータ） (2023-09-20T12:51:13Z)
• Enhanced Chart Understanding in Vision and Language Task via Cross-modal Pre-training on Plot Table Pairs [71.55796212450055]
  本稿では、プロットテーブルペア上でのクロスモーダル事前学習を通じて、チャート画像からテーブル情報を解釈する方法を学ぶV+LモデルであるChartT5を紹介する。 具体的には,MHP(Masked Header Prediction)とMVP(Masked Value Prediction)の2つの新しい事前学習目標を提案する。
  論文  参考訳（メタデータ） (2023-05-29T22:29:03Z)
• ChartReader: A Unified Framework for Chart Derendering and Comprehension without Heuristic Rules [89.75395046894809]
  ChartReaderは、チャートのデレンダリングと理解タスクをシームレスに統合する統合フレームワークです。 提案手法には,トランスフォーマーに基づくチャートコンポーネント検出モジュールと,チャートからXまでのタスクに対する事前学習型視覚言語モデルが組み込まれている。 提案するフレームワークは,チャート解析に係わる作業を大幅に削減し,ユニバーサルチャート理解モデルへの一歩を踏み出すことができる。
  論文  参考訳（メタデータ） (2023-04-05T00:25:27Z)
• Symbolic image detection using scene and knowledge graphs [39.49756199669471]
  画像のグラフ表現であるシーングラフを用いて、視覚的コンポーネントをキャプチャする。 本研究では,ConceptNetから抽出した事実を用いて,オブジェクトや属性を推論する知識グラフを生成する。 我々はさらにネットワークを拡張して、グラフの表現の重要性を学習するアテンションメカニズムを利用する。
  論文  参考訳（メタデータ） (2022-06-10T04:06:28Z)
• Attention-Driven Dynamic Graph Convolutional Network for Multi-Label Image Recognition [53.17837649440601]
  本稿では,各画像の特定のグラフを動的に生成するアテンション駆動型動的グラフ畳み込みネットワーク(ADD-GCN)を提案する。 パブリックなマルチラベルベンチマーク実験により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-12-05T10:10:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。