論文の概要: Data Formulator 2: Iteratively Creating Rich Visualizations with AI
- arxiv url: http://arxiv.org/abs/2408.16119v1
- Date: Wed, 28 Aug 2024 20:12:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-08-30 15:44:44.853650
- Title: Data Formulator 2: Iteratively Creating Rich Visualizations with AI
- Title（参考訳）: データフォーミュラ2: AIでリッチな可視化を反復的に作成
- Authors: Chenglong Wang, Bongshin Lee, Steven Drucker, Dan Marshall, Jianfeng Gao,
- Abstract要約: これらの課題に対処するためのLCMを利用した可視化システムであるData Formulator 2を提案する。
Data Formulator 2では、ユーザはUIと自然言語をブレンドして視覚化の意図を記述し、データ変換はAIに委譲される。
イテレーションをサポートするため、Data Formulator 2では、ユーザがイテレーション履歴をナビゲートし、以前の設計を新しい設計に再利用することで、毎回スクラッチから始める必要がない。
- 参考スコア（独自算出の注目度）: 65.48447317310442
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To create rich visualizations, data analysts often need to iterate back and forth among data processing and chart specification to achieve their goals. To achieve this, analysts need not only proficiency in data transformation and visualization tools but also efforts to manage the branching history consisting of many different versions of data and charts. Recent LLM-powered AI systems have greatly improved visualization authoring experiences, for example by mitigating manual data transformation barriers via LLMs' code generation ability. However, these systems do not work well for iterative visualization authoring, because they often require analysts to provide, in a single turn, a text-only prompt that fully describes the complex visualization task to be performed, which is unrealistic to both users and models in many cases. In this paper, we present Data Formulator 2, an LLM-powered visualization system to address these challenges. With Data Formulator 2, users describe their visualization intent with blended UI and natural language inputs, and data transformation are delegated to AI. To support iteration, Data Formulator 2 lets users navigate their iteration history and reuse previous designs towards new ones so that they don't need to start from scratch every time. In a user study with eight participants, we observed that Data Formulator 2 allows participants to develop their own iteration strategies to complete challenging data exploration sessions.
- Abstract（参考訳）: リッチな視覚化を作成するためには、データアナリストが目標を達成するために、データ処理とチャート仕様の間を行き来する必要があることが多い。
これを実現するためには、データ変換と視覚化ツールの熟練度だけでなく、データとチャートのさまざまなバージョンで構成されるブランチ履歴の管理にも努力する必要がある。
最近のLLMベースのAIシステムは、例えばLLMのコード生成能力を通じて手動のデータ変換障壁を緩和することで、視覚化オーサリングエクスペリエンスを大幅に改善している。
しかし、これらのシステムは反復的な視覚化オーサリングではうまく機能しない。なぜなら、しばしばアナリストが1ターンで実行すべき複雑な視覚化タスクを完全に記述するテキストのみのプロンプトを提供する必要があるため、多くの場合、ユーザーとモデルの両方にとって非現実的である。
本稿では,これらの課題に対処するLCMを用いた可視化システムであるData Formulator 2を提案する。
Data Formulator 2では、ユーザはUIと自然言語をブレンドして視覚化の意図を記述し、データ変換はAIに委譲される。
イテレーションをサポートするため、Data Formulator 2では、ユーザがイテレーション履歴をナビゲートし、以前の設計を新しい設計に再利用することで、毎回スクラッチから始める必要がない。
8人の参加者によるユーザスタディにおいて、データフォーミュラ2は、参加者が自身の反復戦略を開発して、挑戦的なデータ探索セッションを完了させることができることを観察した。
関連論文リスト
- Iris: Breaking GUI Complexity with Adaptive Focus and Self-Refining [67.87810796668981]
インフォメーション・インフォメーション・インフォメーション・クロッピング(ISC)と自己精製デュアルラーニング(SRDL)
Irisは850KのGUIアノテーションだけで、複数のベンチマークで最先端のパフォーマンスを実現している。
これらの改善は、WebとOSエージェントの両方の下流タスクで大幅に向上した。
論文 参考訳（メタデータ） (2024-12-13T18:40:10Z) - Web-Scale Visual Entity Recognition: An LLM-Driven Data Approach [56.55633052479446]
Webスケールのビジュアルエンティティ認識は、クリーンで大規模なトレーニングデータがないため、重大な課題を呈している。
本稿では,ラベル検証,メタデータ生成,合理性説明に多モーダル大言語モデル(LLM)を活用することによって,そのようなデータセットをキュレートする新しい手法を提案する。
実験により、この自動キュレートされたデータに基づいてトレーニングされたモデルは、Webスケールの視覚的エンティティ認識タスクで最先端のパフォーマンスを達成することが示された。
論文 参考訳（メタデータ） (2024-10-31T06:55:24Z) - Distill Visual Chart Reasoning Ability from LLMs to MLLMs [38.62832112530892]
マルチモーダル大言語モデル(MLLM)における複雑なチャートQ&Aタスクの解決には高度な視覚的推論能力が必要である
我々は,LLMからMLLMへの視覚的推論能力を蒸留するための費用効率,効率的,スケーラブルなデータ合成法であるCode-as-Intermediary Translation (CIT)を提案する。
我々は、テキストベースの合成技術を用いて、チャート作成コードを構築し、3kの推論集約チャートと20kのQ&Aペアを含むデータセットであるReachQAを作成した。
論文 参考訳（メタデータ） (2024-10-24T14:50:42Z) - HAIChart: Human and AI Paired Visualization System [17.828527048327548]
HAIChartは、ユーザフィードバックを取り入れて、与えられたデータセットに対して優れた視覚化を推奨するように設計された強化学習ベースのフレームワークである。
本稿では,モンテカルログラフ検索に基づく可視化生成アルゴリズムと合成報酬関数を組み合わせて,視覚化空間を効率的に探索し,優れた視覚化を自動的に生成する手法を提案する。
我々は定量的評価とユーザスタディの両方を行い、HAIChartは最先端の人力ツール(リコールでは21%、CPUでは1.8倍)とAIによる自動ツール(Hit@3とR10@30では25.1%、それぞれ14.9%)を大きく上回っていることを示した。
論文 参考訳（メタデータ） (2024-06-16T18:04:47Z) - Contrastive Transformer Learning with Proximity Data Generation for
Text-Based Person Search [60.626459715780605]
記述的なテキストクエリーを与えられたテキストベースの人物検索は、画像ギャラリーからベストマッチした人物を検索することを目的としている。
このようなクロスモーダル検索タスクは、重要なモダリティギャップ、きめ細かい相違、注釈付きデータの不十分さのため、かなり難しい。
本稿では,テキストに基づく人物検索のための2つのトランスフォーマーモデルを提案する。
論文 参考訳（メタデータ） (2023-11-15T16:26:49Z) - DOMINO: A Dual-System for Multi-step Visual Language Reasoning [76.69157235928594]
視覚情報抽出のための「System-1」ステップと、意図的な推論のための「System-2」ステップからなる多段階マルチモーダル推論のためのデュアルシステムを提案する。
事前学習した System-2 モジュールを用いた本手法は, 配当データと配当データの先行処理と比較して, 競合的に動作する。
論文 参考訳（メタデータ） (2023-10-04T13:29:47Z) - Data Formulator: AI-powered Concept-driven Visualization Authoring [31.45748186186275]
我々は、高レベルの可視化意図と低レベルのデータ変換ステップを分離する新しい可視化パラダイム、概念バインディングを提案する。
Data Formulatorでは、著者がまず自然言語や例を使って視覚化するデータ概念を定義し、それをビジュアルチャネルにバインドする。
Data FormulatorはAIエージェントをディスパッチして、入力データを自動的に変換してこれらの概念をサーフェスし、望ましい視覚化を生成する。
論文 参考訳（メタデータ） (2023-09-18T19:06:29Z) - Learning without Forgetting for Vision-Language Models [65.49600786387106]
CIL(Class-Incremental Learning)あるいは継続的学習(Continuous Learning)は、現実世界において望ましい能力である。
VLM(Vision-Language Models)の最近の進歩は、一般化可能な表現を学習する上で有望な能力を示している。
本稿では,VLM を忘れずに学習できる ProjectiOn Fusion (PROOF) を提案する。
論文 参考訳（メタデータ） (2023-05-30T17:59:32Z) - Demonstration of InsightPilot: An LLM-Empowered Automated Data
Exploration System [48.62158108517576]
本稿では,データ探索プロセスの簡略化を目的とした自動データ探索システムであるInsightPilotを紹介する。
InsightPilotは、理解、要約、説明などの適切な分析意図を自動的に選択する。
簡単に言うと、IQueryはデータ分析操作の抽象化と自動化であり、データアナリストのアプローチを模倣しています。
論文 参考訳（メタデータ） (2023-04-02T07:27:49Z) - Accountable Textual-Visual Chat Learns to Reject Human Instructions in
Image Re-creation [26.933683814025475]
合成CLEVR-ATVCデータセット(620K)と手動図形Fruit-ATVCデータセット(50K)の2つの新しいマルチモーダルデータセットを紹介した。
これらのデータセットには、ビジュアルとテキストベースの入力と出力の両方が含まれている。
言語ベースのChatGPT会話と同様に、人間の要求を拒否する際のマルチモーダルシステムの説明責任を容易にするため、データセット内の監視信号として特定のルールを導入する。
論文 参考訳（メタデータ） (2023-03-10T15:35:11Z) - Using Large Language Models to Generate Engaging Captions for Data
Visualizations [51.98253121636079]
大規模言語モデル(LLM)は、高度なディープラーニング技術を用いて人間のような散文を生成する。
主な課題は、プロンプトエンジニアリングと呼ばれるLLMの最も効果的なプロンプトを設計することである。
我々は,LLM GPT-3を用いた最初の実験について報告し,いくつかの有望な結果を得た。
論文 参考訳（メタデータ） (2022-12-27T23:56:57Z) - TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual
Environments [84.6017003787244]
本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。
既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
論文 参考訳（メタデータ） (2022-08-16T20:46:08Z) - Weakly Supervised Change Detection Using Guided Anisotropic Difusion [97.43170678509478]
我々は、このようなデータセットを変更検出の文脈で活用するのに役立つ独自のアイデアを提案する。
まず,意味的セグメンテーション結果を改善する誘導異方性拡散(GAD)アルゴリズムを提案する。
次に、変化検出に適した2つの弱い教師付き学習戦略の可能性を示す。
論文 参考訳（メタデータ） (2021-12-31T10:03:47Z) - Unsupervised Domain Adaptive Learning via Synthetic Data for Person
Re-identification [101.1886788396803]
人物再識別(re-ID)は、ビデオ監視に広く応用されているため、ますます注目を集めている。
残念なことに、主流のディープラーニング手法では、モデルをトレーニングするために大量のラベル付きデータが必要です。
本稿では,コンピュータゲーム内で合成されたre-IDサンプルを自動的に生成するデータコレクタを開発し,同時にアノテートするデータラベラを構築した。
論文 参考訳（メタデータ） (2021-09-12T15:51:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。