論文の概要: Aligning Text, Code, and Vision: A Multi-Objective Reinforcement Learning Framework for Text-to-Visualization

• arxiv url: http://arxiv.org/abs/2601.04582v1
• Date: Thu, 08 Jan 2026 04:29:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-09 17:01:53.034405
• Title: Aligning Text, Code, and Vision: A Multi-Objective Reinforcement Learning Framework for Text-to-Visualization
• Title（参考訳）: テキスト・コード・ビジョンの調整:テキスト・ツー・ビジュアル化のための多目的強化学習フレームワーク
• Authors: Mizanur Rahman, Mohammed Saidul Islam, Md Tahmid Rahman Laskar, Shafiq Joty, Enamul Hoque,
• Abstract要約: テキスト2Vis生成のための最初の強化学習フレームワークであるRL-Text2Visを提案する。 本手法では,テキストの精度,コードの有効性,可視化品質を共同で最適化する新しい多目的報酬を用いている。 その結果,GRPOは可視化生成における構造的マルチモーダル推論の効果的な戦略として確立された。
• 参考スコア（独自算出の注目度）: 50.13408999553116
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-to-Visualization (Text2Vis) systems translate natural language queries over tabular data into concise answers and executable visualizations. While closed-source LLMs generate functional code, the resulting charts often lack semantic alignment and clarity, qualities that can only be assessed post-execution. Open-source models struggle even more, frequently producing non-executable or visually poor outputs. Although supervised fine-tuning can improve code executability, it fails to enhance overall visualization quality, as traditional SFT loss cannot capture post-execution feedback. To address this gap, we propose RL-Text2Vis, the first reinforcement learning framework for Text2Vis generation. Built on Group Relative Policy Optimization (GRPO), our method uses a novel multi-objective reward that jointly optimizes textual accuracy, code validity, and visualization quality using post-execution feedback. By training Qwen2.5 models (7B and 14B), RL-Text2Vis achieves a 22% relative improvement in chart quality over GPT-4o on the Text2Vis benchmark and boosts code execution success from 78% to 97% relative to its zero-shot baseline. Our models significantly outperform strong zero-shot and supervised baselines and also demonstrate robust generalization to out-of-domain datasets like VIS-Eval and NVBench. These results establish GRPO as an effective strategy for structured, multimodal reasoning in visualization generation. We release our code at https://github.com/vis-nlp/RL-Text2Vis.
• Abstract（参考訳）: Text-to-Visualization (Text2Vis) システムは、グラフデータ上の自然言語クエリを簡潔な回答と実行可能な可視化に変換する。 クローズドソースのLLMは関数型コードを生成するが、結果として得られるチャートには意味的なアライメントや明確さが欠如していることが多い。 オープンソースモデルは、実行不可能または視覚的に貧弱なアウトプットを頻繁に生み出すため、さらに苦労する。 教師付き微調整によってコードの実行性が向上するが、従来のSFT損失では実行後のフィードバックをキャプチャできないため、全体的な可視化品質の向上には失敗する。 このギャップを解決するために,テキスト2Vis生成のための最初の強化学習フレームワークであるRL-Text2Visを提案する。 GRPO(Group Relative Policy Optimization)に基づいて構築された本手法では,テキストの正確性,コード妥当性,視覚化品質を,実行後フィードバックを用いて共同で最適化する,新たな多目的報酬を用いる。 Qwen2.5モデル(7Bと14B)のトレーニングにより、RL-Text2Visは、Text2VisベンチマークのGPT-4oよりも22%のグラフ品質向上を実現し、ゼロショットベースラインと比較してコード実行の成功率が78%から97%に向上した。 我々のモデルは、強いゼロショットと教師付きベースラインを著しく上回り、VIS-EvalやNVBenchといったドメイン外のデータセットに堅牢な一般化を示す。 これらの結果は,可視化生成における構造的多モーダル推論の効果的な戦略としてGRPOを確立した。 コードをhttps://github.com/vis-nlp/RL-Text2Visでリリースします。

関連論文リスト

• RAPO++: Cross-Stage Prompt Optimization for Text-to-Video Generation via Data Alignment and Test-Time Scaling [59.088798018184235]
  textbfRAPO++は、クロスプラットフォームのプロンプト最適化フレームワークである。 トレーニングデータの整合性向上、テスト時の反復スケーリング、大規模言語モデルの微調整を統一する。 RAPO++は意味的アライメント、構成的推論、時間的安定性、物理的妥当性において大きな進歩を遂げている。
  論文  参考訳（メタデータ） (2025-10-23T04:45:09Z)
• LaV-CoT: Language-Aware Visual CoT with Multi-Aspect Reward Optimization for Real-World Multilingual VQA [39.131225916852834]
  思考の連鎖(CoT)推論は、解釈可能性と複雑な推論を高めることが証明されている。 LaV-CoTは、マルチアスペクト・リワード最適化を備えた最初の言語対応Visual CoTフレームワークである。 LaV-CoTはオープンソースベースラインよりも9.5%の精度向上を実現している。
  論文  参考訳（メタデータ） (2025-09-12T07:45:44Z)
• Text2Vis: A Challenging and Diverse Benchmark for Generating Multimodal Visualizations from Text [30.74255946385862]
  テキスト・ツー・ビジュアル化モデルを評価するためのベンチマークであるText2Visを紹介する。 1,985のサンプルからなり、それぞれにデータテーブル、自然言語クエリ、短い回答、視覚化コード、注釈付きチャートがある。 これは大きなパフォーマンスギャップを明らかにし、重要な課題を強調し、将来の進歩に対する洞察を提供する。
  論文  参考訳（メタデータ） (2025-07-26T14:59:04Z)
• Boosting Chart-to-Code Generation in MLLM via Dual Preference-Guided Refinement [16.22363384653305]
  MLLM(Multimodal Large Language Models)は、きめ細かい視覚解析、正確なコード合成、堅牢なクロスモーダル推論を行う。 本稿では、フィードバック駆動の2つのモダリティ報酬機構と反復的な嗜好学習を組み合わせた2つの嗜好誘導改善フレームワークを提案する。 本フレームワークは汎用MLLMの性能を大幅に向上させ,高品質なプロットコードを生成する。
  論文  参考訳（メタデータ） (2025-04-03T07:51:20Z)
• TULIP: Towards Unified Language-Image Pretraining [60.99500935831526]
  既存のCLIPライクなモデルの代替として,オープンソースでドロップイン可能なTを導入する。 提案手法は, 生成データの拡張, 画像画像の強化, テキストコントラスト学習, 画像/テキスト再構成正規化を利用して, きめ細かい視覚的特徴を学習する。 当社のアプローチでは、ベンチマーク全体で既存の最先端(SOTA)モデルを上回っています。
  論文  参考訳（メタデータ） (2025-03-19T17:58:57Z)
• VisRAG: Vision-based Retrieval-augmented Generation on Multi-modality Documents [66.42579289213941]
  Retrieval-augmented Generation (RAG) は、大規模言語モデルが外部知識ソースを生成に活用できる効果的な手法である。 本稿では、視覚言語モデル(VLM)に基づくRAGパイプラインを確立することにより、この問題に対処するVisRAGを紹介する。 このパイプラインでは、まず文書を解析してテキストを得る代わりに、VLMを画像として直接埋め込んで、VLMの生成を強化する。
  論文  参考訳（メタデータ） (2024-10-14T15:04:18Z)
• Leveraging Vision-Language Foundation Models for Fine-Grained Downstream Tasks [17.367599062853156]
  CLIPのようなビジョン言語基盤モデルは、多くのタスクやデータセットで印象的なゼロショットのパフォーマンスを示している。 本稿では,視覚言語基礎モデルの能力をさらに活用するために,肯定的/否定的なプロンプト定式化に基づくマルチタスク微調整戦略を提案する。
  論文  参考訳（メタデータ） (2023-07-13T15:05:34Z)
• Enabling Multimodal Generation on CLIP via Vision-Language Knowledge Distillation [79.72299298976525]
  我々は、視覚言語知識蒸留(VLKD)を通して、テキスト事前学習言語モデル(PLM)を用いた視覚言語事前学習モデルの拡張を提案する。 実験の結果,複数モーダル生成タスクにおいて,視覚的質問応答や画像キャプションなどのゼロショット性能が強いことがわかった。 PLMの本来のテキスト言語理解と生成能力は、VLKDの後に維持される。
  論文  参考訳（メタデータ） (2022-03-12T09:33:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。