論文の概要: VisInteract: Towards Dynamic Interactive Text-to-Visualization under Imperfect Queries
- arxiv url: http://arxiv.org/abs/2609.15182v1
- Date: Mon, 14 Sep 2026 08:03:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:06.178105
- Title: VisInteract: Towards Dynamic Interactive Text-to-Visualization under Imperfect Queries
- Title（参考訳）: VisInteract:不完全なクエリ下での動的インタラクティブテキスト・ツー・ビジュアライゼーションを目指して
- Abstract要約: 既存のText-to-Visシステムでは、適切に特定された入力を仮定し、単一のパスでチャートを生成する。
Text-to-Visをインタラクション駆動のインテントリカバリとして再構成する新しいパラダイムである textbfVis-MCTS を導入する。
Vis-MCTSはテキスト・ツー・ビジュアルのベースラインを一貫して上回り、対話性の高いベースラインよりも13.40%$--16.27%$、非インタラクティブなベースラインよりも5ドル以上向上している。
- 参考スコア（独自算出の注目度）: 22.96648629537872
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Real-world visualization requests are routinely ambiguous, incomplete, or factually incorrect, yet existing Text-to-Visualization (Text-to-Vis) systems assume well-specified inputs and produce charts in a single pass. When queries are imperfect, a system must \emph{interact} with the user to recover the true intent, but no benchmark or method supports this dynamic process. We introduce \textbf{VisInteract}, a new paradigm that reframes Text-to-Vis as interaction-driven intent recovery, and \textbf{VisInteract-Bench}, to our knowledge, that is the first benchmark for dynamic interactive Text-to-Vis, featuring controlled imperfection injection, a leakage-controlled User Agent for realistic multi-turn feedback, and dual-perspective (code and chart) automated evaluation. On the algorithmic side, we propose \textbf{Vis-MCTS}, a Monte Carlo Tree Search (MCTS) enhanced method, introducing improvements over classical MCTS, that \emph{Progressive Widening} to tame the unbounded tool-argument space in tree search, \emph{cross-rollout information sharing} so clarifications and critiques benefit the entire search tree, and \emph{Dimension-Aware Reward Decomposition} that routes scalar user feedback along data-fidelity, visual-design, and intent-alignment dimensions to resolve credit assignment across heterogeneous actions. Extensive Experiments across two LLM backbones show that Vis-MCTS consistently outperforms all Text-to-Vis baselines, improving end-to-end task success by $13.40\%$--$16.27\%$ over the strongest interactive baseline and by more than $5\times$ over non-interactive ones.
- Abstract（参考訳）: 実世界のビジュアライゼーション要求は、不明瞭、不完全、あるいは事実的不正確であるが、既存のテキスト・トゥ・ヴィジュアライゼーション(Text-to-Vis)システムでは、適切に指定された入力を仮定し、単一のパスでチャートを生成する。
クエリが不完全な場合、システムは真のインテントを回復するためにユーザにemph{interact}を指定しなければならないが、この動的プロセスをサポートするベンチマークやメソッドは存在しない。
我々は,テキスト・トゥ・ヴァイスをインタラクション駆動型インテントリカバリとして再編成する新しいパラダイムである \textbf{VisInteract} と \textbf{VisInteract-Bench} を紹介した。これは動的インタラクティブなテキスト・トゥ・ヴァイスの最初のベンチマークであり,制御された不完全な注入,リアルなマルチターンフィードバックのためのリーク制御されたユーザエージェント,デュアルパースペクティブ(コードとチャート)自動評価などが特徴である。
アルゴリズム面では,モンテカルロ木探索 (MCTS) の改良手法である \textbf{Vis-MCTS} が提案され,従来のMCTS よりも改良され,木探索における非有界なツール引数空間をテーム化するための \emph{Progressive Widening} や,探索ツリー全体に対して明確化と批判が有効となる \emph{Dimension-Aware Reward Decomposition} や,データの忠実性,視覚的設計,意図的整合性の両面に沿ってスカラーユーザフィードバックをルーティングする \emph{Dimension-Aware Recomposition} などが提案される。
2つのLCMバックボーンにわたる大規模な実験では、Vis-MCTSはテキスト・ツー・ビジュアルのベースラインを一貫して上回り、最強のインタラクティブベースラインよりも13.40 %$--16.27 %$、非インタラクティブベースラインより5 ドル以上向上している。
関連論文リスト
- UI2App: Benchmarking Visual Interaction Inference in Executable Web Application Generation [35.72992007209751]
インタラクション推論をターゲットとする最初のベンチマーク、スクリーンショットのみからアプリケーションの振る舞いを復元する機能を紹介します。
UI2Appは、実行可能なマルチルートWebアプリケーションのための45のステートコヒーレントスクリーンショットセットにグループ化された327のスクリーンショットで構成されている。
実行可能性、ナビゲーション到達性、視覚的忠実性、相互作用推論の4つの次元に沿って、各アーティファクトを評価するエンドツーエンドパイプラインを設計する。
論文 参考訳（メタデータ） (2026-07-07T14:08:55Z) - Text-Guided Visual Representation Learning for Robust Multimodal E-Commerce Recommendation [51.52908699287466]
Text-Guided Q-Formerはテキストガイドによる視覚表現学習フレームワークである。
メタデータと探索的なビジュアルストリームを分離し、軽量で信頼性に配慮したデュアルゲートベクトル変調モジュールを導入する。
フルプール検索による大規模な実世界のeコマースデータセットの実験では、TGQ-Formerは強いコネクタベースラインとエンドツーエンドMLLMを一貫して上回っている。
論文 参考訳（メタデータ） (2026-05-17T10:20:23Z) - How to Utilize Complementary Vision-Text Information for 2D Structure Understanding [55.98339043221623]
DiVA-Formerは、視覚とテキスト情報を効果的に統合するために設計された軽量アーキテクチャである。
13のテーブルベンチマークで評価され、DiVA-Formerは純粋テキストベースラインを23.9%改善した。
論文 参考訳（メタデータ） (2026-03-17T08:30:01Z) - MonkeyOCR v1.5 Technical Report: Unlocking Robust Document Parsing for Complex Patterns [80.05126590825121]
MonkeyOCR v1.5は、レイアウト理解とコンテンツ認識の両方を強化する統合ビジョン言語フレームワークである。
複雑なテーブル構造に対処するために,視覚的整合性に基づく強化学習手法を提案する。
2つの特別なモジュール、Image-Decoupled Table ParsingとType-Guided Table Mergingを導入し、テーブルの信頼性の高いパースを可能にする。
論文 参考訳（メタデータ） (2025-11-13T15:12:17Z) - FitPro: A Zero-Shot Framework for Interactive Text-based Pedestrian Retrieval in Open World [13.089848592467675]
テキストベースのPedestrian Retrieval (TPR)は、自然言語の記述に従って視覚的なシーンで特定の歩行者を検索する。
セマンティック理解とクロスシーン適応性を強化したオープンワールド対話型ゼロショットTPRフレームワークFitProを提案する。
論文 参考訳（メタデータ） (2025-09-20T12:55:18Z) - Chat-Driven Text Generation and Interaction for Person Retrieval [16.448356660477682]
我々は,Multi-Turn Text Generation(MTG)とMulti-Turn Text Interaction(MTI)の2つの補完モジュールを紹介する。
MTGはMLLMとのシミュレートされた対話を通じて豊かな擬似ラベルを生成し、手動による監督なしに細粒度で多様な視覚的記述を生成する。
MTIは動的対話に基づく推論を通じて推論時にユーザクエリを洗練し、曖昧で不完全、曖昧な記述をシステムが解釈し、解決できるようにする。
論文 参考訳（メタデータ） (2025-09-16T04:40:24Z) - Text-guided Visual Prompt DINO for Generic Segmentation [31.33676182634522]
テキスト誘導型ビジュアルプロンプトDINOフレームワークであるPrompt-DINOを提案する。
まず、テキスト/視覚的プロンプトとバックボーン機能を統一する早期融合機構を導入する。
第二に、DreTRアーキテクチャの順序整合クエリ選択を設計する。
第3に,PR(Prompting, Prompting, Prompting, RAP)モデルによる認識情報を利用した生成データエンジンを開発する。
論文 参考訳（メタデータ） (2025-08-08T09:09:30Z) - Text2Vis: A Challenging and Diverse Benchmark for Generating Multimodal Visualizations from Text [30.74255946385862]
テキスト・ツー・ビジュアル化モデルを評価するためのベンチマークであるText2Visを紹介する。
1,985のサンプルからなり、それぞれにデータテーブル、自然言語クエリ、短い回答、視覚化コード、注釈付きチャートがある。
これは大きなパフォーマンスギャップを明らかにし、重要な課題を強調し、将来の進歩に対する洞察を提供する。
論文 参考訳（メタデータ） (2025-07-26T14:59:04Z) - QID: Efficient Query-Informed ViTs in Data-Scarce Regimes for OCR-free Visual Document Understanding [53.69841526266547]
トレーニング済みのVision-Language Modelを新しいデータセットで微調整することは、ビジョンエンコーダの最適化に不足することが多い。
視覚エンコーダにクエリの埋め込みを統合する,新しい,合理化されたアーキテクチャ保存アプローチであるQIDを導入する。
論文 参考訳（メタデータ） (2025-04-03T18:47:16Z) - Towards Text-Image Interleaved Retrieval [49.96332254241075]
テキスト画像検索(TIIR)タスクを導入し、クエリと文書をインターリーブしたテキスト画像シーケンスとする。
我々は、自然にインターリーブされたwikiHowチュートリアルに基づいてTIIRベンチマークを構築し、インターリーブされたクエリを生成するために特定のパイプラインを設計する。
異なる粒度で視覚トークンの数を圧縮する新しいMMEを提案する。
論文 参考訳（メタデータ） (2025-02-18T12:00:47Z) - Relation-aware Hierarchical Prompt for Open-vocabulary Scene Graph Generation [14.82606425343802]
Open-vocabulary Scene Graph Generation (OV-SGG)は、視覚的関係表現とオープンな語彙的テキスト表現を整合させることにより、クローズドセットの仮定の限界を克服する。
既存のOV-SGG法は、固定されたテキスト表現によって制約され、画像テキストアライメントの多様性と精度が制限される。
本稿では,対象物と地域固有の関係情報を統合することでテキスト表現を向上させるRAHP(Relation-Aware Hierarchical Prompting)フレームワークを提案する。
論文 参考訳（メタデータ） (2024-12-26T02:12:37Z) - TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。
TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。
分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
論文 参考訳（メタデータ） (2023-06-06T03:37:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。