論文の概要: ChartInsighter: An Approach for Mitigating Hallucination in Time-series Chart Summary Generation with A Benchmark Dataset
- arxiv url: http://arxiv.org/abs/2501.09349v1
- Date: Thu, 16 Jan 2025 08:03:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-17 15:09:52.256901
- Title: ChartInsighter: An Approach for Mitigating Hallucination in Time-series Chart Summary Generation with A Benchmark Dataset
- Title（参考訳）: ChartInsighter: ベンチマークデータセットを用いた時系列チャートの要約生成における幻覚の軽減のためのアプローチ
- Authors: Fen Wang, Bomiao Wang, Xueli Shu, Zhen Liu, Zekai Shao, Chao Liu, Siming Chen,
- Abstract要約: 時系列チャートの要約生成における要約要素と一般的な幻覚型を同定する。
時系列データのチャート要約を自動的に生成するChartInsighterを導入する。
文ごとに注釈付き幻覚型を付与し,高品質なチャートと要約のベンチマークを作成する。
- 参考スコア（独自算出の注目度）: 8.769733924429438
- License:
- Abstract: Effective chart summary can significantly reduce the time and effort decision makers spend interpreting charts, enabling precise and efficient communication of data insights. Previous studies have faced challenges in generating accurate and semantically rich summaries of time-series data charts. In this paper, we identify summary elements and common hallucination types in the generation of time-series chart summaries, which serve as our guidelines for automatic generation. We introduce ChartInsighter, which automatically generates chart summaries of time-series data, effectively reducing hallucinations in chart summary generation. Specifically, we assign multiple agents to generate the initial chart summary and collaborate iteratively, during which they invoke external data analysis modules to extract insights and compile them into a coherent summary. Additionally, we implement a self-consistency test method to validate and correct our summary. We create a high-quality benchmark of charts and summaries, with hallucination types annotated on a sentence-by-sentence basis, facilitating the evaluation of the effectiveness of reducing hallucinations. Our evaluations using our benchmark show that our method surpasses state-of-the-art models, and that our summary hallucination rate is the lowest, which effectively reduces various hallucinations and improves summary quality. The benchmark is available at https://github.com/wangfen01/ChartInsighter.
- Abstract（参考訳）: 効果的なチャート要約は、意思決定者がチャートを解釈するのに費やす時間と労力を大幅に削減し、データ洞察の正確かつ効率的なコミュニケーションを可能にします。
過去の研究では、時系列データチャートの正確でセマンティックにリッチな要約を生成する上で、課題に直面してきた。
本稿では,自動生成のためのガイドラインとして,時系列チャートの要約生成における要約要素と一般的な幻覚タイプを同定する。
時系列データのチャート要約を自動的に生成するChartInsighterを導入し、チャート要約生成における幻覚を効果的に低減する。
具体的には、複数のエージェントを割り当てて初期チャートの要約を生成し、反復的に協調し、その間に外部データ分析モジュールを起動してインサイトを抽出し、一貫性のある要約にコンパイルする。
さらに,要約の検証と修正を行う自己整合性テスト手法を実装した。
そこで我々は,文ごとに注釈付けされた幻覚の型付きグラフと要約の高品質なベンチマークを作成し,幻覚の低減効果の評価を容易にする。
我々の評価では,本手法が最先端モデルを上回ること,および要約幻覚率が最も低く,多様な幻覚を効果的に低減し,要約品質を向上させることが示されている。
ベンチマークはhttps://github.com/wangfen01/ChartInsighter.comで公開されている。
関連論文リスト
- Faithful Chart Summarization with ChaTS-Pi [27.525099631783558]
本稿では,信頼度を評価するための基準フリーチャート要約尺度CHATS-CRITICを提案する。
Chats-CRITICは、基準ベースの指標よりも人間の評価による要約品質を評価する。
Chats-PIは、推論中にCHATS-CRITICを活用して、サンプル候補の修正とランク付けを行うチャート・ツー・サマリーパイプラインである。
論文 参考訳（メタデータ） (2024-05-29T13:55:06Z) - AltChart: Enhancing VLM-based Chart Summarization Through Multi-Pretext Tasks [31.414783623207477]
本稿では,AltChartデータセットについて紹介する。
本稿では,視覚言語モデル(VLM)を事前学習し,詳細なチャート表現を学習する手法を提案する。
我々は,4つの主要なチャート要約モデルの広範囲な評価を行い,それらの記述がどの程度アクセス可能かを分析した。
論文 参考訳（メタデータ） (2024-05-22T12:18:52Z) - ChartThinker: A Contextual Chain-of-Thought Approach to Optimized Chart Summarization [32.19963543411396]
本研究は,各チャートに包括的チャートキャプチャペアと微調整命令の大規模データセットを構築した。
本稿では,思考の連鎖に基づいて深い分析を合成する,革新的なチャート要約手法であるChartThinkerを提案する。
キュレートされたデータセットに基づいて、トレーニングされたモデルは、チャートの要約タスクにおいて、常に優れたパフォーマンスを示します。
論文 参考訳（メタデータ） (2024-03-17T14:49:09Z) - ChartSumm: A Comprehensive Benchmark for Automatic Chart Summarization
of Long and Short Summaries [0.26097841018267615]
テキスト要約の自動チャートは視覚障害者に有効なツールである。
本稿では,84,363個のグラフからなる大規模ベンチマークデータセットであるChartSummを提案する。
論文 参考訳（メタデータ） (2023-04-26T15:25:24Z) - Follow the Timeline! Generating Abstractive and Extractive Timeline
Summary in Chronological Order [78.46986998674181]
時間順で抽象的かつ抽出的な時系列を生成できる統一タイムライン要約器(UTS)を提案する。
我々は、以前の中国の大規模タイムライン要約データセットを拡張し、新しい英語タイムラインデータセットを収集する。
UTSは、自動評価と人的評価の両方の観点から最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-01-02T20:29:40Z) - Scientific Paper Extractive Summarization Enhanced by Citation Graphs [50.19266650000948]
我々は、引用グラフを活用して、異なる設定下での科学的論文の抽出要約を改善することに重点を置いている。
予備的な結果は、単純な教師なしフレームワークであっても、引用グラフが有用であることを示している。
そこで我々は,大規模ラベル付きデータが利用可能である場合のタスクにおいて,より正確な結果を得るために,グラフベースのスーパービジョン・サムライゼーション・モデル(GSS)を提案する。
論文 参考訳（メタデータ） (2022-12-08T11:53:12Z) - Optimal Propagation for Graph Neural Networks [51.08426265813481]
最適グラフ構造を学習するための二段階最適化手法を提案する。
また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
論文 参考訳（メタデータ） (2022-05-06T03:37:00Z) - FactGraph: Evaluating Factuality in Summarization with Semantic Graph
Representations [114.94628499698096]
文書と要約を構造化された意味表現(MR)に分解するFactGraphを提案する。
MRは、コアセマンティックの概念とその関係を記述し、文書と要約の両方の主要な内容を標準形式で集約し、データの疎結合を減少させる。
事実性を評価するための異なるベンチマークの実験では、FactGraphは以前のアプローチよりも最大15%優れていた。
論文 参考訳（メタデータ） (2022-04-13T16:45:33Z) - Chart-to-Text: A Large-Scale Benchmark for Chart Summarization [9.647079534077472]
2つのデータセットと44,096のチャートを持つ大規模ベンチマークであるChart-to-textを提示する。
データセット構築プロセスを説明し、データセットを解析する。
論文 参考訳（メタデータ） (2022-03-12T17:01:38Z) - Visual Distant Supervision for Scene Graph Generation [66.10579690929623]
シーングラフモデルは通常、大量のラベル付きデータを人間のアノテーションで教師付き学習する必要がある。
本研究では,人間ラベルデータを用いずにシーングラフモデルを訓練できる視覚関係学習の新しいパラダイムである視覚遠方監視を提案する。
包括的な実験結果から、我々の遠隔監視モデルは、弱い監督と半監督のベースラインよりも優れています。
論文 参考訳（メタデータ） (2021-03-29T06:35:24Z) - Detecting Hallucinated Content in Conditional Neural Sequence Generation [165.68948078624499]
出力シーケンスの各トークンが(入力に含まれていない)幻覚化されているかどうかを予測するタスクを提案する。
また、合成データに微調整された事前学習言語モデルを用いて幻覚を検出する方法についても紹介する。
論文 参考訳（メタデータ） (2020-11-05T00:18:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。