論文の概要: ChatBCG: Can AI Read Your Slide Deck?

• arxiv url: http://arxiv.org/abs/2407.12875v1
• Date: Tue, 16 Jul 2024 06:00:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-19 19:52:52.733573
• Title: ChatBCG: Can AI Read Your Slide Deck?
• Title（参考訳）: ChatBCG:AIはあなたのスライドデッキを読むことができるか?
• Authors: Nikita Singh, Rob Balian, Lukas Martinelli,
• Abstract要約: 本稿では,GPT 4o と Gemini Flash-1.5 の精度を評価する。 これらのモデルは、複雑なグラフやラベル付けされていないグラフを含む場合、現在、デッキを正確にエンドツーエンドに読むことはできないと結論付けています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal models like GPT4o and Gemini Flash are exceptional at inference and summarization tasks, which approach human-level in performance. However, we find that these models underperform compared to humans when asked to do very specific 'reading and estimation' tasks, particularly in the context of visual charts in business decks. This paper evaluates the accuracy of GPT 4o and Gemini Flash-1.5 in answering straightforward questions about data on labeled charts (where data is clearly annotated on the graphs), and unlabeled charts (where data is not clearly annotated and has to be inferred from the X and Y axis). We conclude that these models aren't currently capable of reading a deck accurately end-to-end if it contains any complex or unlabeled charts. Even if a user created a deck of only labeled charts, the model would only be able to read 7-8 out of 15 labeled charts perfectly end-to-end. For full list of slide deck figures visit https://www.repromptai.com/chat_bcg
• Abstract（参考訳）: GPT4oやGemini Flashのようなマルチモーダルモデルは、人間レベルのパフォーマンスにアプローチする推論および要約タスクにおいて例外的である。 しかし、これらのモデルは、特にビジネスデッキのビジュアルチャートの文脈において、非常に具体的な「読み上げと推定」タスクを行うよう依頼されたとき、人間に比べて性能が劣っていることがわかった。 本稿では,GPT 4o と Gemini Flash-1.5 の精度を評価し,ラベル付きチャート(グラフ上にデータが明確に注釈付けされている場合)およびラベルなしチャート(データが明確に注釈付けされておらず,X軸とY軸から推測する必要がある場合)に関する簡単な質問に答える。 これらのモデルは、複雑なグラフやラベル付けされていないグラフを含む場合、現在、デッキを正確にエンドツーエンドに読むことはできないと結論付けています。 たとえユーザーがラベル付きチャートのみのデッキを作ったとしても、このモデルは15のラベル付きチャートのうち7～8個しか読めない。 スライドデッキのフィギュアの全リストについては、https://www.repromptai.com/chat_bcgを参照してください。

関連論文リスト

• SynChart: Synthesizing Charts from Language Models [50.73888371511983]
  本研究は,LLMをデータ生成に単独で活用し,チャート理解に焦点をあてた競合するマルチモダリティモデルを開発する可能性を探る。 約400万の多彩なチャートイメージと7500万以上の高密度アノテーションを含む大規模チャートデータセットであるSynChartを構築した。 我々は,このデータセットを用いて4.2Bのグラフエキスパートモデルを訓練し,GPT-4Vを超え,ChartQAタスクでほぼGPT-4Oの性能を達成した。
  論文  参考訳（メタデータ） (2024-09-25T00:18:12Z)
• ChartGemma: Visual Instruction-tuning for Chart Reasoning in the Wild [28.643565008567172]
  本稿では,PaliGemma上で開発された新しいチャート理解と推論モデルであるChartGemmaを紹介する。 基礎となるデータテーブルに頼るのではなく、ChartGemmaは、チャートイメージから直接生成されたインストラクションチューニングデータに基づいて訓練される。 我々の単純なアプローチは、チャートの要約、質問応答、ファクトチェックにまたがる5ドルのベンチマークで最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-07-04T22:16:40Z)
• CharXiv: Charting Gaps in Realistic Chart Understanding in Multimodal LLMs [62.84082370758761]
  CharXivは、arXiv論文の2,323のチャートを含む総合的な評価スイートである。 品質を確保するために、すべてのチャートと質問は、人間の専門家によって手書きされ、キュレーションされ、検証されます。 その結果、最強のプロプライエタリモデルの推論スキルの間に、かなり過小評価されていたギャップが明らかとなった。
  論文  参考訳（メタデータ） (2024-06-26T17:50:11Z)
• TinyChart: Efficient Chart Understanding with Visual Token Merging and Program-of-Thoughts Learning [83.58521787193293]
  本稿では,3Bパラメータのみを用いたチャート理解のための効率的なMLLMであるTinyChartを提案する。 TinyChartは,1)プログラム・オブ・ソート(PoT)学習戦略による数値計算学習の負担軽減,2)ビジョン・トーケン・マージ・モジュールによる高解像度画像のためのビジョン・トランスフォーマーによって生成される長大な視覚特徴系列の削減という,効率的なチャート理解における2つの課題を克服した。
  論文  参考訳（メタデータ） (2024-04-25T14:23:24Z)
• ChartX & ChartVLM: A Versatile Benchmark and Foundation Model for Complicated Chart Reasoning [54.82612435284695]
  我々は、チャート領域における既製のマルチモーダル言語モデル(MLLM)の能力をベンチマークする。 ChartXは18種類のチャートタイプ,7つのチャートタスク,22のディシプリナトピック,高品質なチャートデータを含むマルチモーダルな評価セットである。 我々は、解釈可能なパターンに強く依存するマルチモーダルタスクに対する新しい視点を提供するため、ChartVLMを開発した。
  論文  参考訳（メタデータ） (2024-02-19T14:48:23Z)
• ChartAssisstant: A Universal Chart Multimodal Language Model via Chart-to-Table Pre-training and Multitask Instruction Tuning [54.89249749894061]
  ChartAssistantは、ユニバーサルチャートの理解と推論のためのビジョン言語モデルである。 2段階のトレーニングプロセスを経て、チャートとテキストの調整のために、チャートからテーブルへのパースを事前トレーニングする。 実験により, 最先端UniChart法とChartllama法に比較して, 顕著な性能向上が得られた。
  論文  参考訳（メタデータ） (2024-01-04T17:51:48Z)
• ChartBench: A Benchmark for Complex Visual Reasoning in Charts [36.492851648081405]
  MLLM(Multimodal Large Language Models)は画像の理解と生成に優れた能力を示している。 現在のベンチマークでは、限定的なチャートタイプと不適切なメトリクスのため、MLLMのチャート理解を正確に評価することができない。 複雑な視覚的推論によってチャートの理解とデータの信頼性を評価するための総合的なベンチマークであるChartBenchを提案する。
  論文  参考訳（メタデータ） (2023-12-26T07:20:55Z)
• ChartReader: A Unified Framework for Chart Derendering and Comprehension without Heuristic Rules [89.75395046894809]
  ChartReaderは、チャートのデレンダリングと理解タスクをシームレスに統合する統合フレームワークです。 提案手法には,トランスフォーマーに基づくチャートコンポーネント検出モジュールと,チャートからXまでのタスクに対する事前学習型視覚言語モデルが組み込まれている。 提案するフレームワークは,チャート解析に係わる作業を大幅に削減し,ユニバーサルチャート理解モデルへの一歩を踏み出すことができる。
  論文  参考訳（メタデータ） (2023-04-05T00:25:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。