論文の概要: DeepVIS: Bridging Natural Language and Data Visualization Through Step-wise Reasoning
- arxiv url: http://arxiv.org/abs/2508.01700v1
- Date: Sun, 03 Aug 2025 10:04:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-05 18:25:22.019301
- Title: DeepVIS: Bridging Natural Language and Data Visualization Through Step-wise Reasoning
- Title（参考訳）: DeepVIS: ステップワイド推論による自然言語とデータの可視化
- Authors: Zhihao Shuai, Boyan Li, Siyu Yan, Yuyu Luo, Weikai Yang,
- Abstract要約: 本稿では,CoT推論を自然言語から可視化(NL2VIS)パイプラインに統合することを提案する。
まず,NL2VISのための包括的CoT推論プロセスを設計し,構造化された推論ステップで既存のデータセットを装備する自動パイプラインを開発する。
第二にnvBench-CoTは、曖昧な自然言語記述から最終的な視覚化まで、ステップバイステップの詳細な推論をキャプチャする特殊なデータセットである。
第3に,CoT推論プロセスと密に統合された対話型ビジュアルインタフェースであるDeepVISを開発する。
- 参考スコア（独自算出の注目度）: 6.901863663424825
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although data visualization is powerful for revealing patterns and communicating insights, creating effective visualizations requires familiarity with authoring tools and often disrupts the analysis flow. While large language models show promise for automatically converting analysis intent into visualizations, existing methods function as black boxes without transparent reasoning processes, which prevents users from understanding design rationales and refining suboptimal outputs. To bridge this gap, we propose integrating Chain-of-Thought (CoT) reasoning into the Natural Language to Visualization (NL2VIS) pipeline. First, we design a comprehensive CoT reasoning process for NL2VIS and develop an automatic pipeline to equip existing datasets with structured reasoning steps. Second, we introduce nvBench-CoT, a specialized dataset capturing detailed step-by-step reasoning from ambiguous natural language descriptions to finalized visualizations, which enables state-of-the-art performance when used for model fine-tuning. Third, we develop DeepVIS, an interactive visual interface that tightly integrates with the CoT reasoning process, allowing users to inspect reasoning steps, identify errors, and make targeted adjustments to improve visualization outcomes. Quantitative benchmark evaluations, two use cases, and a user study collectively demonstrate that our CoT framework effectively enhances NL2VIS quality while providing insightful reasoning steps to users.
- Abstract（参考訳）: データビジュアライゼーションは、パターンを明らかにし、洞察を伝えるのに強力だが、効果的なビジュアライゼーションを作成するには、オーサリングツールに精通し、しばしば分析フローを乱す必要がある。
大きな言語モデルは、分析意図を視覚化に自動的に変換することを約束する一方で、既存のメソッドは、透明な推論プロセスなしでブラックボックスとして機能する。
このギャップを埋めるため、我々はChain-of-Thought(CoT)推論を自然言語から可視化(NL2VIS)パイプラインに統合することを提案する。
まず,NL2VISのための包括的CoT推論プロセスを設計し,構造化された推論ステップで既存のデータセットを装備する自動パイプラインを開発する。
第二にnvBench-CoTは、不明瞭な自然言語記述から最終的な視覚化まで、詳細なステップバイステップの推論をキャプチャする特殊なデータセットである。
第3に,CoT推論プロセスと密に統合された対話型ビジュアルインターフェースであるDeepVISを開発した。
定量的なベンチマーク評価,2つのユースケース,そしてユーザスタディは,私たちのCoTフレームワークがNL2VISの品質を効果的に向上し,ユーザに対して洞察に富んだ推論ステップを提供することを示した。
関連論文リスト
- Multi-Step Visual Reasoning with Visual Tokens Scaling and Verification [22.871255950998016]
本稿では,MLLMが視覚コンテンツに対して検証者誘導推論を行うことを可能にする,推論時ビジュアルトークンスケーリングのための新しいフレームワークを提案する。
提案手法は,様々な視覚的推論ベンチマークにおいて,既存手法よりも優れていた。
これらの結果は,次世代MLLMにおける微粒でコンテキスト対応の視覚的推論を実現するための動的推論機構の実現を実証するものである。
論文 参考訳（メタデータ） (2025-06-08T17:38:49Z) - End-to-End Vision Tokenizer Tuning [73.3065542220568]
低レベルの再構築のために最適化された視覚トークンーは、様々な表現と意味論を必要とする下流タスクである。
視覚トークン化の損失は、ターゲットタスクの表現ボトルネックになる可能性がある。
本研究では,視覚トークン化と目標自己回帰タスクを協調的に最適化するエンド・ツー・エンドの視覚トークン化チューニング手法であるETTを提案する。
論文 参考訳（メタデータ） (2025-05-15T17:59:39Z) - QID: Efficient Query-Informed ViTs in Data-Scarce Regimes for OCR-free Visual Document Understanding [53.69841526266547]
トレーニング済みのVision-Language Modelを新しいデータセットで微調整することは、ビジョンエンコーダの最適化に不足することが多い。
視覚エンコーダにクエリの埋め込みを統合する,新しい,合理化されたアーキテクチャ保存アプローチであるQIDを導入する。
論文 参考訳（メタデータ） (2025-04-03T18:47:16Z) - On the Perception Bottleneck of VLMs for Chart Understanding [17.70892579781301]
チャート理解には、数値データ、テキスト要素、複雑なビジュアルコンポーネントを分析し、推論するモデルが必要である。
この過程において,既存の大規模視覚言語モデル(LVLM)の知覚能力が重要なボトルネックとなっていることが明らかとなった。
本研究では,視覚エンコーダのボトルネックと抽出ボトルネックの2つのコンポーネントに分解することで,この認識ボトルネックを解明する。
論文 参考訳（メタデータ） (2025-03-24T08:33:58Z) - InterChat: Enhancing Generative Visual Analytics using Multimodal Interactions [22.007942964950217]
視覚要素の直接操作と自然言語入力を組み合わせた生成的視覚分析システムであるInterChatを開発した。
この統合により、正確なインテント通信が可能になり、プログレッシブで視覚的に駆動された探索データ分析をサポートする。
論文 参考訳（メタデータ） (2025-03-06T05:35:19Z) - A Cognitive Paradigm Approach to Probe the Perception-Reasoning Interface in VLMs [3.2228025627337864]
本稿では,視覚言語モデル(VLM)における知覚推論インタフェースを識別するための構造化評価フレームワークを提案する。
本稿では,人間の問題解決戦略を反映した3つの評価パラダイムを提案する。
このフレームワークを適用したCAは、リッチで独立に生成された記述を推論するために強力な言語モデルを活用し、新しい最先端(SOTA)パフォーマンスを実現することを実証する。
論文 参考訳（メタデータ） (2025-01-23T12:42:42Z) - Enhancing Visual-Language Modality Alignment in Large Vision Language Models via Self-Improvement [102.22911097049953]
大規模視覚言語モデル(LVLM)は、視覚的質問応答および推論タスクにおいて印象的な結果を得た。
既存の手法は、しばしば外部モデルやデータに依存し、制御不能で不安定なアライメント結果をもたらす。
本稿では,外部依存を伴わない視覚的・言語的モダリティアライメントを向上させる自己改善フレームワークSIMAを提案する。
論文 参考訳（メタデータ） (2024-05-24T23:09:27Z) - Bidirectional Trained Tree-Structured Decoder for Handwritten
Mathematical Expression Recognition [51.66383337087724]
Handwriting Mathematical Expression Recognition (HMER) タスクは、OCRの分野における重要な分岐である。
近年の研究では、双方向コンテキスト情報の導入により、HMERモデルの性能が大幅に向上することが示されている。
本稿では,MF-SLT と双方向非同期トレーニング (BAT) 構造を提案する。
論文 参考訳（メタデータ） (2023-12-31T09:24:21Z) - AdViCE: Aggregated Visual Counterfactual Explanations for Machine
Learning Model Validation [9.996986104171754]
我々は,ブラックボックスモデルデバッグとバリデーションでユーザをガイドすることを目的とした視覚分析ツールであるAdViCEを紹介する。
1) ユーザ定義データサブセットの意思決定の比較を可能にするインタラクティブな可視化,(2) 反現実的説明の計算と視覚化を行うアルゴリズムとビジュアルデザイン。
論文 参考訳（メタデータ） (2021-09-12T22:52:12Z) - T3-Vis: a visual analytic framework for Training and fine-Tuning
Transformers in NLP [0.0]
本稿では,研究者を支援する視覚分析フレームワークの設計と実装について述べる。
我々のフレームワークは、ユーザーがモデルの異なる面を探索できる直感的な概要を提供する。
これは、モデルコンポーネントと入力シーケンスの異なる部分の重要性を計算する組込みアルゴリズム群を可能にする。
論文 参考訳（メタデータ） (2021-08-31T02:20:46Z) - A Dependency Syntactic Knowledge Augmented Interactive Architecture for
End-to-End Aspect-based Sentiment Analysis [73.74885246830611]
エンドツーエンドABSAのためのマルチタスク学習を用いた対話型アーキテクチャを新たに提案する。
このモデルは、よく設計された依存性関係埋め込みグラフ畳み込みネットワーク(DreGcn)を活用することで、構文知識(依存性関係と型)を完全に活用することができる。
3つのベンチマークデータセットの大規模な実験結果から,本手法の有効性が示された。
論文 参考訳（メタデータ） (2020-04-04T14:59:32Z) - Weakly Supervised Visual Semantic Parsing [49.69377653925448]
SGG(Scene Graph Generation)は、画像からエンティティ、述語、それらの意味構造を抽出することを目的としている。
既存のSGGメソッドでは、トレーニングのために何百万もの手動アノテーション付きバウンディングボックスが必要である。
本稿では,ビジュアルセマンティック・パーシング,VSPNet,グラフベースの弱教師付き学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-01-08T03:46:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。