Fugu-MT 論文翻訳(概要): End-to-End Chart Summarization via Visual Chain-of-Thought in Vision-Language Models

論文の概要: End-to-End Chart Summarization via Visual Chain-of-Thought in Vision-Language Models

arxiv url: http://arxiv.org/abs/2502.17589v1
Date: Mon, 24 Feb 2025 19:13:45 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-26 17:42:45.225682
Title: End-to-End Chart Summarization via Visual Chain-of-Thought in Vision-Language Models
Title（参考訳）: 視覚・言語モデルにおける視覚的連鎖によるエンドツーエンドチャートの要約
Authors: Raymond Choi, Frank Burns, Chase Lawrence,
Abstract要約: 本稿では,チャート要約のためのEnd-to-End Visual Chain-of-Thought (V-CoT)を提案する。本手法では,LVLMを直接トレーニングして,チャート画像の処理とテキスト要約をエンドツーエンドで生成する。我々は、視覚的推論ステップを実行するためにLVLMを暗黙的に誘導する、微調整による視覚的連鎖機構を組み込んだ。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Automated chart summarization is crucial for enhancing data accessibility and enabling efficient information extraction from visual data. While recent advances in visual-language models (VLMs) have demonstrated promise, existing methods often suffer from limitations in matching the generated summary to the chart data and in reasoning about complex chart patterns. This paper introduces End-to-End Visual Chain-of-Thought (V-CoT) for chart summarization, a novel approach optimized for Large Vision-Language Models (LVLMs). Our method directly trains an LVLM to process chart images and generate textual summaries in an end-to-end fashion, eliminating the need for explicit chart parsing modules. We incorporate a visual Chain-of-Thought mechanism through instruction fine-tuning, implicitly guiding the LVLM to perform visual reasoning steps during summary generation. Evaluated on the large-scale Chart-Sum-QA dataset, our V-CoT method significantly outperforms state-of-the-art baselines across a range of automatic metrics, including BLEU, BLEURT, CIDEr, and CS, and demonstrates superior matching degree and reasoning correctness in human evaluations. Ablation studies and detailed analyses further validate the effectiveness and robustness of our proposed approach, establishing a new benchmark for end-to-end chart summarization.
Abstract（参考訳）: データアクセシビリティを高め、視覚データから効率的な情報抽出を可能にするためには、自動チャート要約が不可欠である。視覚言語モデル(VLM)の最近の進歩は将来性を示しているが、既存の手法は、生成された要約をチャートデータにマッチさせ、複雑なチャートパターンを推論する際の制限に悩まされることが多い。本稿では,LVLM(Large Vision-Language Models)に最適化された新しい手法であるチャート要約のためのEnd-to-End Visual Chain-of-Thought (V-CoT)を提案する。本手法では,LVLMを直接トレーニングして,グラフ画像の処理とテキスト要約をエンドツーエンドで生成することで,明示的なグラフ解析モジュールの必要性を解消する。そこで我々は,LVLMを暗黙的に指導し,要約生成中に視覚的推論を行う視覚的チェーン・オブ・ソート機構を組み込んだ。大規模なChart-Sum-QAデータセットに基づいて,我々のV-CoT法は,BLEU,BLEURT,CIDEr,CSなど,さまざまな自動指標において,最先端のベースラインを著しく上回り,人間の評価において優れたマッチング度と推論精度を示す。アブレーション研究と詳細な分析により,提案手法の有効性とロバスト性をさらに検証し,エンド・ツー・エンド・チャートの要約のための新しいベンチマークを構築した。

関連論文リスト

GraphOmni: A Comprehensive and Extendable Benchmark Framework for Large Language Models on Graph-theoretic Tasks [15.147178364098034]
LLMのグラフ推論能力を評価するためのベンチマークフレームワークであるGraph Omniを提案する。以上の結果から, 単連化やプロンプト戦略が他より一貫して優れていないことが示唆された。これらの知見に感化され、我々は、最高のシリアライズとプロンプトのペアリングを動的に選択する強化学習に基づくアプローチを提案する。
論文参考訳（メタデータ） (2025-04-17T09:01:16Z)
RefChartQA: Grounding Visual Answer on Chart Images through Instruction Tuning [63.599057862999]
RefChartQAは、Chart Question Answering(ChartQA)とビジュアルグラウンドを統合した、新しいベンチマークである。実験により,グラウンド化による空間認識を取り入れることで,応答精度が15%以上向上することが実証された。
論文参考訳（メタデータ） (2025-03-29T15:50:08Z)
Training Large Recommendation Models via Graph-Language Token Alignment [53.3142545812349]
本稿では,グラフ言語トークンアライメントによる大規模推薦モデルのトレーニングを行う新しいフレームワークを提案する。インタラクショングラフからアイテムとユーザノードを事前訓練されたLLMトークンにアライメントすることで、GLTAはLLMの推論能力を効果的に活用する。さらに、エンドツーエンドのアイテム予測のためのトークンアライメントを最適化するために、GLLM(Graph-Language Logits Matching)を導入する。
論文参考訳（メタデータ） (2025-02-26T02:19:10Z)
Graph-Based Multimodal Contrastive Learning for Chart Question Answering [11.828192162922436]
この研究は、チャートコンポーネントとその基盤構造間の関係を明示的にモデル化する、新しいマルチモーダルシーングラフフレームワークを導入している。このフレームワークは、視覚グラフとテキストグラフの両方を統合し、構造的特徴と意味的特徴をキャプチャする。グラフの対照的な学習戦略は、トランスフォーマーデコーダをソフトプロンプトとしてシームレスに組み込むことができるように、モジュール間のノード表現を整列させる。
論文参考訳（メタデータ） (2025-01-08T06:27:07Z)
ChartAdapter: Large Vision-Language Model for Chart Summarization [13.499376163294816]
ChartAdapterは、チャートとテキスト要約の間のギャップを埋めるために設計された軽量トランスフォーマーモジュールである。 LLMとChartAdapterを統合することで、エンドツーエンドのトレーニングと効率的なチャート要約を可能にします。
論文参考訳（メタデータ） (2024-12-30T05:07:34Z)
RealCQA-V2 : Visual Premise Proving A Manual COT Dataset for Charts [2.9201864249313383]
グラフ質問応答のプロセスを洗練するための新しいタスクであるVisual Premise Provingを紹介する。この手法は従来の精度に基づく評価手法から逸脱したものである。データ検索とグラフの構造的理解の両方に習熟性を示すモデルが提案される。
論文参考訳（メタデータ） (2024-10-29T19:32:53Z)
Charting the Future: Using Chart Question-Answering for Scalable Evaluation of LLM-Driven Data Visualizations [7.32619928577074]
本稿では,LLM生成データビジュアライゼーションの評価を自動化するために,VQA(Visual Question Answering)モデルを活用する新しいフレームワークを提案する。以上の結果から,LLM 生成チャートは VQA の性能測定値に基づいて,元の非LLM 生成チャートの精度に合わないことが示唆された。
論文参考訳（メタデータ） (2024-09-27T14:02:48Z)
On Pre-training of Multimodal Language Models Customized for Chart Understanding [83.99377088129282]
本稿では,MLLMのチャート理解を改善するために必要な学習過程について考察する。詳細なチャート理解に適したMLLMであるCHOPINLLMを紹介する。
論文参考訳（メタデータ） (2024-07-19T17:58:36Z)
ChartThinker: A Contextual Chain-of-Thought Approach to Optimized Chart Summarization [32.19963543411396]
本研究は,各チャートに包括的チャートキャプチャペアと微調整命令の大規模データセットを構築した。本稿では,思考の連鎖に基づいて深い分析を合成する,革新的なチャート要約手法であるChartThinkerを提案する。キュレートされたデータセットに基づいて、トレーニングされたモデルは、チャートの要約タスクにおいて、常に優れたパフォーマンスを示します。
論文参考訳（メタデータ） (2024-03-17T14:49:09Z)
StructChart: On the Schema, Metric, and Augmentation for Visual Chart Understanding [54.45681512355684]
現在のチャート関連タスクは、ビジュアルチャートから情報を抽出するチャート認識か、抽出されたデータに基づいてチャート推論にフォーカスする。我々はStructChartを紹介した。StructChartはStruct Triplet Representations(STR)を利用して、統一的でラベル効率のよいアプローチを実現する新しいフレームワークである。
論文参考訳（メタデータ） (2023-09-20T12:51:13Z)
Enhanced Chart Understanding in Vision and Language Task via Cross-modal Pre-training on Plot Table Pairs [71.55796212450055]
本稿では、プロットテーブルペア上でのクロスモーダル事前学習を通じて、チャート画像からテーブル情報を解釈する方法を学ぶV+LモデルであるChartT5を紹介する。具体的には,MHP(Masked Header Prediction)とMVP(Masked Value Prediction)の2つの新しい事前学習目標を提案する。
論文参考訳（メタデータ） (2023-05-29T22:29:03Z)
ChartReader: A Unified Framework for Chart Derendering and Comprehension without Heuristic Rules [89.75395046894809]
ChartReaderは、チャートのデレンダリングと理解タスクをシームレスに統合する統合フレームワークです。提案手法には,トランスフォーマーに基づくチャートコンポーネント検出モジュールと,チャートからXまでのタスクに対する事前学習型視覚言語モデルが組み込まれている。提案するフレームワークは,チャート解析に係わる作業を大幅に削減し,ユニバーサルチャート理解モデルへの一歩を踏み出すことができる。
論文参考訳（メタデータ） (2023-04-05T00:25:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。