論文の概要: Faithful Chart Summarization with ChaTS-Pi
- arxiv url: http://arxiv.org/abs/2405.19094v1
- Date: Wed, 29 May 2024 13:55:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-30 17:00:54.885622
- Title: Faithful Chart Summarization with ChaTS-Pi
- Title（参考訳）: ChaTS-Piを用いた忠実チャート要約
- Authors: Syrine Krichene, Francesco Piccinno, Fangyu Liu, Julian Martin Eisenschlos,
- Abstract要約: 本稿では,信頼度を評価するための基準フリーチャート要約尺度CHATS-CRITICを提案する。
Chats-CRITICは、基準ベースの指標よりも人間の評価による要約品質を評価する。
Chats-PIは、推論中にCHATS-CRITICを活用して、サンプル候補の修正とランク付けを行うチャート・ツー・サマリーパイプラインである。
- 参考スコア（独自算出の注目度）: 27.525099631783558
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Chart-to-summary generation can help explore data, communicate insights, and help the visually impaired people. Multi-modal generative models have been used to produce fluent summaries, but they can suffer from factual and perceptual errors. In this work we present CHATS-CRITIC, a reference-free chart summarization metric for scoring faithfulness. CHATS-CRITIC is composed of an image-to-text model to recover the table from a chart, and a tabular entailment model applied to score the summary sentence by sentence. We find that CHATS-CRITIC evaluates the summary quality according to human ratings better than reference-based metrics, either learned or n-gram based, and can be further used to fix candidate summaries by removing not supported sentences. We then introduce CHATS-PI, a chart-to-summary pipeline that leverages CHATS-CRITIC during inference to fix and rank sampled candidates from any chart-summarization model. We evaluate CHATS-PI and CHATS-CRITIC using human raters, establishing state-of-the-art results on two popular chart-to-summary datasets.
- Abstract（参考訳）: チャート・トゥ・サマー・ジェネレーションは、データを探索し、洞察を伝達し、視覚障害者を助ける。
マルチモーダル生成モデルは、流動的な要約を生成するために使われてきたが、現実的および知覚的誤りに悩まされることがある。
本研究では,信頼度を評価するための基準自由チャート要約尺度CHATS-CRITICを提案する。
CHATS-CRITICは、図表からテーブルを復元する画像からテキストまでのモデルと、要約文を文単位でスコアするために適用される表付きentailmentモデルとから構成される。
また,CHATS-CRITICは,学習基準とn-gram基準のいずれにおいても,人間の評価基準による要約品質を評価するとともに,サポートされていない文を除去することにより,候補要約の修正にも有効であることがわかった。
次に,CHATS-PIを導入する。CHATS-CRITICを推論中に利用して,任意のチャート要約モデルからのサンプル候補の修正とランク付けを行う。
我々は,CHATS-PIとCHATS-CRITICをヒトのレーナーを用いて評価し,2つの一般的なチャート・トゥ・サマリー・データセットの最先端結果を確立した。
関連論文リスト
- RealCQA-V2 : Visual Premise Proving A Manual COT Dataset for Charts [2.9201864249313383]
グラフ質問応答のプロセスを洗練するための新しいタスクであるVisual Premise Provingを紹介する。
この手法は従来の精度に基づく評価手法から逸脱したものである。
データ検索とグラフの構造的理解の両方に習熟性を示すモデルが提案される。
論文 参考訳（メタデータ） (2024-10-29T19:32:53Z) - AltChart: Enhancing VLM-based Chart Summarization Through Multi-Pretext Tasks [31.414783623207477]
本稿では,AltChartデータセットについて紹介する。
本稿では,視覚言語モデル(VLM)を事前学習し,詳細なチャート表現を学習する手法を提案する。
我々は,4つの主要なチャート要約モデルの広範囲な評価を行い,それらの記述がどの程度アクセス可能かを分析した。
論文 参考訳（メタデータ） (2024-05-22T12:18:52Z) - ChartThinker: A Contextual Chain-of-Thought Approach to Optimized Chart Summarization [32.19963543411396]
本研究は,各チャートに包括的チャートキャプチャペアと微調整命令の大規模データセットを構築した。
本稿では,思考の連鎖に基づいて深い分析を合成する,革新的なチャート要約手法であるChartThinkerを提案する。
キュレートされたデータセットに基づいて、トレーニングされたモデルは、チャートの要約タスクにおいて、常に優れたパフォーマンスを示します。
論文 参考訳（メタデータ） (2024-03-17T14:49:09Z) - Cobra Effect in Reference-Free Image Captioning Metrics [58.438648377314436]
視覚言語事前学習モデル(VLM)を活用した参照フリー手法の普及が出現している。
本稿では,基準自由度に欠陥があるかどうかを考察する。
GPT-4Vは生成した文を評価するための評価ツールであり,提案手法がSOTA(State-of-the-art)の性能を達成することを示す。
論文 参考訳（メタデータ） (2024-02-18T12:36:23Z) - Do LVLMs Understand Charts? Analyzing and Correcting Factual Errors in Chart Captioning [90.13978453378768]
生成したチャートキャプションに事実誤りを包括的に分類する。
大規模な人間のアノテーションの取り組みは、様々なチャートキャプションモデルによって作られたキャプションのエラーパターンと頻度に関する洞察を提供する。
分析の結果,GPT-4Vを含む最先端モデルでさえ,事実不正確なキャプションを頻繁に生成していることが判明した。
論文 参考訳（メタデータ） (2023-12-15T19:16:21Z) - StructChart: Perception, Structuring, Reasoning for Visual Chart
Understanding [58.38480335579541]
現在のチャート関連タスクは、視覚チャートから情報を抽出することを参照するチャート認識か、抽出されたデータから推論を行うかに焦点を当てている。
本稿では,共同認識と推論タスクのための統一的でラベル効率のよい学習パラダイムを確立することを目的とする。
各種のチャート関連タスクで実験を行い、統合されたチャート認識推論パラダイムの有効性と有望な可能性を実証した。
論文 参考訳（メタデータ） (2023-09-20T12:51:13Z) - Enhanced Chart Understanding in Vision and Language Task via Cross-modal
Pre-training on Plot Table Pairs [71.55796212450055]
本稿では、プロットテーブルペア上でのクロスモーダル事前学習を通じて、チャート画像からテーブル情報を解釈する方法を学ぶV+LモデルであるChartT5を紹介する。
具体的には,MHP(Masked Header Prediction)とMVP(Masked Value Prediction)の2つの新しい事前学習目標を提案する。
論文 参考訳（メタデータ） (2023-05-29T22:29:03Z) - ChartSumm: A Comprehensive Benchmark for Automatic Chart Summarization
of Long and Short Summaries [0.26097841018267615]
テキスト要約の自動チャートは視覚障害者に有効なツールである。
本稿では,84,363個のグラフからなる大規模ベンチマークデータセットであるChartSummを提案する。
論文 参考訳（メタデータ） (2023-04-26T15:25:24Z) - Scientific Paper Extractive Summarization Enhanced by Citation Graphs [50.19266650000948]
我々は、引用グラフを活用して、異なる設定下での科学的論文の抽出要約を改善することに重点を置いている。
予備的な結果は、単純な教師なしフレームワークであっても、引用グラフが有用であることを示している。
そこで我々は,大規模ラベル付きデータが利用可能である場合のタスクにおいて,より正確な結果を得るために,グラフベースのスーパービジョン・サムライゼーション・モデル(GSS)を提案する。
論文 参考訳（メタデータ） (2022-12-08T11:53:12Z) - SNaC: Coherence Error Detection for Narrative Summarization [73.48220043216087]
SNaCは長文の微粒化アノテーションに根ざした物語コヒーレンス評価フレームワークである。
本稿では,生成した物語要約におけるコヒーレンスエラーの分類法を開発し,150冊の本や映画の脚本要約にまたがる6.6k文のスパンレベルアノテーションを収集する。
我々の研究は、最先端の要約モデルによって生成されるコヒーレンスエラーの最初の特徴と、群衆アノテータからコヒーレンス判断を引き出すためのプロトコルを提供する。
論文 参考訳（メタデータ） (2022-05-19T16:01:47Z) - Chart-to-Text: A Large-Scale Benchmark for Chart Summarization [9.647079534077472]
2つのデータセットと44,096のチャートを持つ大規模ベンチマークであるChart-to-textを提示する。
データセット構築プロセスを説明し、データセットを解析する。
論文 参考訳（メタデータ） (2022-03-12T17:01:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。