論文の概要: RECODE: Reasoning Through Code Generation for Visual Question Answering

• arxiv url: http://arxiv.org/abs/2510.13756v1
• Date: Wed, 15 Oct 2025 17:05:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-16 20:13:28.777771
• Title: RECODE: Reasoning Through Code Generation for Visual Question Answering
• Title（参考訳）: RECODE: ビジュアル質問応答のためのコード生成による推論
• Authors: Junhong Shen, Mu Cai, Bo Hu, Ameet Talwalkar, David A Ross, Cordelia Schmid, Alireza Fathi,
• Abstract要約: 我々は、検証可能な視覚的推論のための新しいモダリティとして、視覚を実行可能コードにリバースエンジニアリングするプロセスであるデレンダリングを活用することを提案する。 我々の研究は、実行可能コードにおける視覚的認識の基盤が、より正確で検証可能なマルチモーダル推論への新たな道を提供することを示した。
• 参考スコア（独自算出の注目度）: 68.86938437188964
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal Large Language Models (MLLMs) struggle with precise reasoning for structured visuals like charts and diagrams, as pixel-based perception lacks a mechanism for verification. To address this, we propose to leverage derendering -- the process of reverse-engineering visuals into executable code -- as a new modality for verifiable visual reasoning. Specifically, we propose RECODE, an agentic framework that first generates multiple candidate programs to reproduce the input image. It then uses a critic to select the most faithful reconstruction and iteratively refines the code. This process not only transforms an ambiguous perceptual task into a verifiable, symbolic problem, but also enables precise calculations and logical inferences later on. On various visual reasoning benchmarks such as CharXiv, ChartQA, and Geometry3K, RECODE significantly outperforms methods that do not leverage code or only use code for drawing auxiliary lines or cropping. Our work demonstrates that grounding visual perception in executable code provides a new path toward more accurate and verifiable multimodal reasoning.
• Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)は、チャートや図のような構造化された視覚の正確な推論に苦労する。 これを解決するために、検証可能な視覚的推論のための新しいモダリティとして、視覚をリバースエンジニアリングするプロセスであるデレンダリング(deendering)を活用することを提案する。 具体的には、まず複数の候補プログラムを生成して入力画像を再生するエージェントフレームワークであるRECODEを提案する。 そして、批評家を使って最も忠実な再構築を選択し、コードを反復的に洗練します。 このプロセスは、曖昧な知覚タスクを検証可能なシンボリックな問題に変換するだけでなく、正確な計算と論理的推論を可能にする。 CharXiv、ChartQA、Geometry3Kといった様々な視覚的推論ベンチマークでは、RECODEは、コードを利用していないメソッドや補助線を描画したり、トリミングするためにコードのみを使用するメソッドよりも大幅に優れています。 我々の研究は、実行可能コードにおける視覚的認識の基盤が、より正確で検証可能なマルチモーダル推論への新たな道を提供することを示した。

関連論文リスト

• CodePlot-CoT: Mathematical Visual Reasoning by Thinking with Code-Driven Images [69.93976232543066]
  本稿では,コード駆動型Chain-of-ThoughtパラダイムであるCodePlot-CoTを提案する。 そこで我々はまず,視覚推論を用いた数学問題のための大規模バイリンガルデータセットとベンチマークであるMath-VRを構築した。 我々のモデルは,提案したコード駆動推論パラダイムの有効性を十分に検証し,ベースモデルよりも最大で21%向上する。
  論文  参考訳（メタデータ） (2025-10-13T17:59:55Z)
• PixelCraft: A Multi-Agent System for High-Fidelity Visual Reasoning on Structured Images [58.73779101355669]
  PixelCraftは、高忠実度画像処理と、構造化画像に対する柔軟な視覚的推論のための、新しいマルチエージェントシステムである。 この基盤の上に構築されたPixelCraftは、ツールの選択、エージェントの議論、自己批判といった3段階の動的なワークフローを通じて、視覚的推論を容易にする。
  論文  参考訳（メタデータ） (2025-09-29T17:59:49Z)
• Learning Only with Images: Visual Reinforcement Learning with Reasoning, Rendering, and Visual Feedback [33.127607245587576]
  本稿では,MLLMが生画像のみから複雑な視覚的推論を学習できるようにするフレームワークを提案する。 我々は、この相対的容易さが強化学習による最適化に理想的な報酬信号を提供することを示した。 RRVF訓練モデルは既存のMLLMを上回り、微調整ベースラインを監督するだけでなく、より優れた一般化を示す。
  論文  参考訳（メタデータ） (2025-07-28T12:21:19Z)
• VisionThink: Smart and Efficient Vision Language Model via Reinforcement Learning [95.89543460132413]
  視覚言語モデル(VLM)は、視覚トークンの数を増やすことで性能を改善した。 しかし、現実世界のシナリオの多くは、このような膨大な数の視覚トークンを必要としない。 視覚的トークン圧縮(VisionThink)のための新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2025-07-17T17:59:55Z)
• VisCoder: Fine-Tuning LLMs for Executable Python Visualization Code Generation [69.35779796364413]
  提案するVisCode-200Kは,Pythonによる可視化と自己補正のための大規模インストラクションチューニングデータセットである。 1)オープンソースリポジトリからの検証済みプロットコードと自然言語命令と描画プロットのペア,(2)Code-Feedbackからの45Kのマルチターン補正ダイアログ。
  論文  参考訳（メタデータ） (2025-06-04T13:24:44Z)
• Automated Visualization Code Synthesis via Multi-Path Reasoning and Feedback-Driven Optimization [13.178750787401263]
  VisPathは構造化されたマルチステージ処理を通じて、不特定クエリを処理する。 最初はChain-of-Thoughtプロンプトを通じてユーザ入力をリフォームする。 VisPathは、最適な最終結果を合成するために集約されたターゲットフィードバックを生成する。
  論文  参考訳（メタデータ） (2025-02-16T14:09:42Z)
• Scalable Image Tokenization with Index Backpropagation Quantization [74.15447383432262]
  インデックスバックプロパゲーション量子化(IBQ)は、すべてのコードブック埋め込みとビジュアルエンコーダの共同最適化のための新しいVQ手法である。 IBQは、ビジュアルトークンのスケーラブルなトレーニングを可能にし、初めて、高次元(256ドル)で高利用率の大規模コードブックを実現する。
  論文  参考訳（メタデータ） (2024-12-03T18:59:10Z)
• Chain of Images for Intuitively Reasoning [23.692458865558486]
  本稿では,複雑な言語推論問題を単純なパターン認識に変換するために,画像の連鎖(CoI)アプローチを提案する。 我々は、画像が直感的に問題解決を支援する15の異なる領域を含むCoI評価データセットを開発した。 CoI推論を支援するために,言語命令に基づいて厳密に画像を生成するシンボリック・マルチモーダル・大規模言語モデル(SyMLLM)を導入する。
  論文  参考訳（メタデータ） (2023-11-09T11:14:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。