論文の概要: ChartParser: Automatic Chart Parsing for Print-Impaired

• arxiv url: http://arxiv.org/abs/2211.08863v1
• Date: Wed, 16 Nov 2022 12:19:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 16:24:59.119144
• Title: ChartParser: Automatic Chart Parsing for Print-Impaired
• Title（参考訳）: chartparser: 印刷障害に対する自動チャート解析
• Authors: Anukriti Kumar, Tanuja Ganu, Saikat Guha
• Abstract要約: インフォグラフィックは、質的または定量的な発見を報告するための科学文書の不可欠な構成要素であることが多い。 彼らの解釈は、盲目、低視力、および他のBLV個人にとっての挑戦であり続けている。 我々は、ディープラーニング、OCR、画像処理技術を活用して、研究論文からすべての図形を抽出する完全自動化パイプラインを提案する。
• 参考スコア（独自算出の注目度）: 2.1325744957975568
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Infographics are often an integral component of scientific documents for reporting qualitative or quantitative findings as they make it much simpler to comprehend the underlying complex information. However, their interpretation continues to be a challenge for the blind, low-vision, and other print-impaired (BLV) individuals. In this paper, we propose ChartParser, a fully automated pipeline that leverages deep learning, OCR, and image processing techniques to extract all figures from a research paper, classify them into various chart categories (bar chart, line chart, etc.) and obtain relevant information from them, specifically bar charts (including horizontal, vertical, stacked horizontal and stacked vertical charts) which already have several exciting challenges. Finally, we present the retrieved content in a tabular format that is screen-reader friendly and accessible to the BLV users. We present a thorough evaluation of our approach by applying our pipeline to sample real-world annotated bar charts from research papers.
• Abstract（参考訳）: インフォグラフィックは、基礎となる複雑な情報を理解しやすくするため、質的または定量的な発見を報告するための科学文書の不可欠な構成要素であることが多い。 しかし、その解釈は、盲目、低視力、および他のBLV個人にとっての挑戦であり続けている。 本稿では、ディープラーニング、ocr、画像処理技術を利用して、すべての図形を研究論文から抽出し、それらを様々なチャートカテゴリ(棒グラフ、線グラフなど)に分類し、それらから関連する情報を得るための、完全に自動化されたパイプラインであるchartparserを提案する。 最後に、検索したコンテンツを、スクリーンリーダーに親しみやすく、BLVユーザーにもアクセス可能な表形式で提示する。 研究論文から実世界の注釈付きバーチャートのサンプリングにパイプラインを適用することで,我々のアプローチを徹底的に評価する。

関連論文リスト

• On Pre-training of Multimodal Language Models Customized for Chart Understanding [83.99377088129282]
  本稿では,MLLMのチャート理解を改善するために必要な学習過程について考察する。 詳細なチャート理解に適したMLLMであるCHOPINLLMを紹介する。
  論文  参考訳（メタデータ） (2024-07-19T17:58:36Z)
• AltChart: Enhancing VLM-based Chart Summarization Through Multi-Pretext Tasks [31.414783623207477]
  本稿では,AltChartデータセットについて紹介する。 本稿では,視覚言語モデル(VLM)を事前学習し,詳細なチャート表現を学習する手法を提案する。 我々は,4つの主要なチャート要約モデルの広範囲な評価を行い,それらの記述がどの程度アクセス可能かを分析した。
  論文  参考訳（メタデータ） (2024-05-22T12:18:52Z)
• TinyChart: Efficient Chart Understanding with Visual Token Merging and Program-of-Thoughts Learning [83.58521787193293]
  本稿では,3Bパラメータのみを用いたチャート理解のための効率的なMLLMであるTinyChartを提案する。 TinyChartは,1)プログラム・オブ・ソート(PoT)学習戦略による数値計算学習の負担軽減,2)ビジョン・トーケン・マージ・モジュールによる高解像度画像のためのビジョン・トランスフォーマーによって生成される長大な視覚特徴系列の削減という,効率的なチャート理解における2つの課題を克服した。
  論文  参考訳（メタデータ） (2024-04-25T14:23:24Z)
• ChartAssisstant: A Universal Chart Multimodal Language Model via Chart-to-Table Pre-training and Multitask Instruction Tuning [54.89249749894061]
  ChartAssistantは、ユニバーサルチャートの理解と推論のためのビジョン言語モデルである。 2段階のトレーニングプロセスを経て、チャートとテキストの調整のために、チャートからテーブルへのパースを事前トレーニングする。 実験により, 最先端UniChart法とChartllama法に比較して, 顕著な性能向上が得られた。
  論文  参考訳（メタデータ） (2024-01-04T17:51:48Z)
• DCQA: Document-Level Chart Question Answering towards Complex Reasoning and Common-Sense Understanding [19.713647367008143]
  文書レベルの質問応答(DCQA)という新しいタスクを導入する。 新たに開発されたベンチマークデータセットは、チャートを幅広いスタイルで統合した50,010の合成文書からなる。 本稿では,テーブルデータ,リッチな色集合,および基本的な質問テンプレートを利用する強力な質問応答生成エンジンの開発について述べる。
  論文  参考訳（メタデータ） (2023-10-29T11:38:08Z)
• StructChart: Perception, Structuring, Reasoning for Visual Chart Understanding [58.38480335579541]
  現在のチャート関連タスクは、視覚チャートから情報を抽出することを参照するチャート認識か、抽出されたデータから推論を行うかに焦点を当てている。 本稿では,共同認識と推論タスクのための統一的でラベル効率のよい学習パラダイムを確立することを目的とする。 各種のチャート関連タスクで実験を行い、統合されたチャート認識推論パラダイムの有効性と有望な可能性を実証した。
  論文  参考訳（メタデータ） (2023-09-20T12:51:13Z)
• Enhanced Chart Understanding in Vision and Language Task via Cross-modal Pre-training on Plot Table Pairs [71.55796212450055]
  本稿では、プロットテーブルペア上でのクロスモーダル事前学習を通じて、チャート画像からテーブル情報を解釈する方法を学ぶV+LモデルであるChartT5を紹介する。 具体的には,MHP(Masked Header Prediction)とMVP(Masked Value Prediction)の2つの新しい事前学習目標を提案する。
  論文  参考訳（メタデータ） (2023-05-29T22:29:03Z)
• UniChart: A Universal Vision-language Pretrained Model for Chart Comprehension and Reasoning [29.947053208614246]
  We present UniChart, a pretrained model for chart comprehension and reasoning。 UniChartは、チャートの関連するテキスト、データ、および視覚要素をエンコードし、その後、チャートグラウンドのテキストデコーダを使用して、自然言語で期待される出力を生成する。 i) チャートから視覚要素(バーや線など)とデータを抽出する低レベルタスク、(ii) チャート理解と推論のスキルを得るための高レベルタスクなどである。
  論文  参考訳（メタデータ） (2023-05-24T06:11:17Z)
• ChartReader: A Unified Framework for Chart Derendering and Comprehension without Heuristic Rules [89.75395046894809]
  ChartReaderは、チャートのデレンダリングと理解タスクをシームレスに統合する統合フレームワークです。 提案手法には,トランスフォーマーに基づくチャートコンポーネント検出モジュールと,チャートからXまでのタスクに対する事前学習型視覚言語モデルが組み込まれている。 提案するフレームワークは,チャート解析に係わる作業を大幅に削減し,ユニバーサルチャート理解モデルへの一歩を踏み出すことができる。
  論文  参考訳（メタデータ） (2023-04-05T00:25:27Z)
• Chart-to-Text: A Large-Scale Benchmark for Chart Summarization [9.647079534077472]
  2つのデータセットと44,096のチャートを持つ大規模ベンチマークであるChart-to-textを提示する。 データセット構築プロセスを説明し、データセットを解析する。
  論文  参考訳（メタデータ） (2022-03-12T17:01:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。