論文の概要: $A^2R^2$: Advancing Img2LaTeX Conversion via Visual Reasoning with Attention-Guided Refinement

• arxiv url: http://arxiv.org/abs/2507.20890v1
• Date: Mon, 28 Jul 2025 14:41:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-29 16:23:58.166153
• Title: $A^2R^2$: Advancing Img2LaTeX Conversion via Visual Reasoning with Attention-Guided Refinement
• Title（参考訳）: A^2R^2$:注意ガイドによる視覚的推論によるImg2LaTeX変換の促進
• Authors: Zhecheng Li, Guoxian Song, Yiwei Wang, Zhen Xiong, Junsong Yuan, Yujun Cai,
• Abstract要約: 視覚言語モデル(VLM)は、様々な視覚的理解タスクにおいて強い性能を示す。 A2R2$:Advancing Img2La Conversion via Visual Reasoning with Attention-Guided Refinementを提案する。 有効評価のために,1,100個の慎重にキュレートされた,挑戦的なサンプルからなる新しいデータセットImg2La-TexHard-1Kを導入する。
• 参考スコア（独自算出の注目度）: 48.856390495568114
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Img2LaTeX is a practically significant task that involves converting mathematical expressions or tabular data from images into LaTeX code. In recent years, vision-language models (VLMs) have demonstrated strong performance across a variety of visual understanding tasks, owing to their generalization capabilities. While some studies have explored the use of VLMs for the Img2LaTeX task, their performance often falls short of expectations. Empirically, VLMs sometimes struggle with fine-grained visual elements, leading to inaccurate LaTeX predictions. To address this challenge, we propose $A^2R^2$: Advancing Img2LaTeX Conversion via Visual Reasoning with Attention-Guided Refinement, a framework that effectively integrates attention localization and iterative refinement within a visual reasoning framework, enabling VLMs to perform self-correction and progressively improve prediction quality. For effective evaluation, we introduce a new dataset, Img2LaTex-Hard-1K, consisting of 1,100 carefully curated and challenging examples designed to rigorously evaluate the capabilities of VLMs within this task domain. Extensive experimental results demonstrate that: (1) $A^2R^2$ significantly improves model performance across six evaluation metrics spanning both textual and visual levels, consistently outperforming other baseline methods; (2) Increasing the number of inference rounds yields notable performance gains, underscoring the potential of $A^2R^2$ in test-time scaling scenarios; (3) Ablation studies and human evaluations validate the practical effectiveness of our approach, as well as the strong synergy among its core components during inference.
• Abstract（参考訳）: Img2LaTeXは、画像から数式や表形式のデータをLaTeXコードに変換するという、事実上重要なタスクである。 近年,視覚言語モデル (VLM) は,その一般化能力から,様々な視覚的理解タスクにおいて高い性能を示した。 Img2LaTeXタスクにおけるVLMの使用を調査する研究もあるが、その性能は期待に届かなかった。 経験的に、VLMは時に微細な視覚要素と苦労し、不正確なLaTeX予測をもたらす。 A^2R^2$: Advancing Img2LaTeX Conversion via Visual Reasoning with Attention-Guided Refinement, このフレームワークは、視覚的推論フレームワークにおいて、注意のローカライゼーションと反復的な改善を効果的に統合し、VLMが自己補正を行い、予測品質を漸進的に改善する。 有効評価のために,本タスク領域内のVLMの機能を厳格に評価するために,1,100個の慎重にキュレートされた,挑戦的な例からなる新しいデータセットImg2LaTex-Hard-1Kを導入する。 実験結果から,(1)A^2R^2$は,テキストレベルと視覚レベルにまたがる6つの評価指標のモデル性能を著しく向上し,他のベースライン法より一貫して向上すること,(2)A^2R^2$がテスト時間スケーリングシナリオにおいて有意な性能向上をもたらすこと,(3)A^2R^2$の可能性,(3)推論中のコアコンポーネント間の強力な相乗効果,などの結果が得られた。

関連論文リスト

• VisTIRA: Closing the Image-Text Modality Gap in Visual Math Reasoning via Structured Tool Integration [2.7403985180660784]
  視覚言語モデル(VLM)は、同じ問題がテキストではなく画像として提示される場合、数学的推論においてテキストのみの言語モデルより遅れる。 本稿では、与えられた数学問題を(画像として)自然言語の有理数に分解することで、構造化された問題解決を可能にするツール統合推論フレームワークであるVisTIRAを紹介する。 ツール統合監視により画像ベース推論が向上し,OCRグラウンド化により,より小さなモデルのギャップをさらに狭めることができることを示す。
  論文  参考訳（メタデータ） (2026-01-20T19:54:49Z)
• Aligning Text, Code, and Vision: A Multi-Objective Reinforcement Learning Framework for Text-to-Visualization [50.13408999553116]
  テキスト2Vis生成のための最初の強化学習フレームワークであるRL-Text2Visを提案する。 本手法では,テキストの精度,コードの有効性,可視化品質を共同で最適化する新しい多目的報酬を用いている。 その結果,GRPOは可視化生成における構造的マルチモーダル推論の効果的な戦略として確立された。
  論文  参考訳（メタデータ） (2026-01-08T04:29:07Z)
• CodePlot-CoT: Mathematical Visual Reasoning by Thinking with Code-Driven Images [69.93976232543066]
  本稿では,コード駆動型Chain-of-ThoughtパラダイムであるCodePlot-CoTを提案する。 そこで我々はまず,視覚推論を用いた数学問題のための大規模バイリンガルデータセットとベンチマークであるMath-VRを構築した。 我々のモデルは,提案したコード駆動推論パラダイムの有効性を十分に検証し,ベースモデルよりも最大で21%向上する。
  論文  参考訳（メタデータ） (2025-10-13T17:59:55Z)
• Table2LaTeX-RL: High-Fidelity LaTeX Code Generation from Table Images via Reinforced Multimodal Language Models [53.03670032402846]
  視覚的な入力から,高品質で出版可能なテーブルの再構築を自動化することを目的として,表画像からコード生成への課題に対処する。 このタスクの中心的な課題は、大きなサイズ、深くネストされた構造、セマンティックにリッチか不規則かという複雑なテーブルを正確に扱うことである。 本稿では,大規模テーブル・トゥ・ラデータセット上で事前学習したMLLMを微調整する,強化型マルチモーダル大規模言語モデル(MLLM)を提案する。
  論文  参考訳（メタデータ） (2025-09-22T11:13:48Z)
• Text2Vis: A Challenging and Diverse Benchmark for Generating Multimodal Visualizations from Text [30.74255946385862]
  テキスト・ツー・ビジュアル化モデルを評価するためのベンチマークであるText2Visを紹介する。 1,985のサンプルからなり、それぞれにデータテーブル、自然言語クエリ、短い回答、視覚化コード、注釈付きチャートがある。 これは大きなパフォーマンスギャップを明らかにし、重要な課題を強調し、将来の進歩に対する洞察を提供する。
  論文  参考訳（メタデータ） (2025-07-26T14:59:04Z)
• Simple Semi-supervised Knowledge Distillation from Vision-Language Models via $\mathbf{\texttt{D}}$ual-$\mathbf{\texttt{H}}$ead $\mathbf{\texttt{O}}$ptimization [49.2338910653152]
  VLM(Vision-Constrained Model)は、ラベル付きデータが最小限に抑えられたリッチテキスト情報を活用することで、様々なタスクで顕著な成功を収めた。 知識蒸留(KD)は、この問題に対して確立された解決策を提供するが、近年のVLMからのKDアプローチでは、多段階のトレーニングや追加のチューニングがしばしば行われている。 本稿では,VLMの知識を,半言語設定でコンパクトなタスク固有モデルに伝達する,シンプルで効果的なKDフレームワークであるmathbftextttDHO$を提案する。
  論文  参考訳（メタデータ） (2025-05-12T15:39:51Z)
• IGDA: Interactive Graph Discovery through Large Language Model Agents [6.704529554100875]
  大規模な言語モデル(textbfLLMs$)が発見の強力な方法として登場した。 我々は既存の数値駆動型手法を補完するグラフ発見のための強力な手法として$textbfIGDA$を提案する。
  論文  参考訳（メタデータ） (2025-02-24T14:24:27Z)
• Why Vision Language Models Struggle with Visual Arithmetic? Towards Enhanced Chart and Geometry Understanding [94.64781599202882]
  視覚言語モデル(VLM)はマルチモーダルタスクにおいて顕著な進歩を遂げた。 彼らはしばしば、オブジェクトのカウントや長さ比較のような一見単純な機能である視覚的算術に苦しむ。 我々は、ピアジェの認知発達理論に触発された新しいポストトレーニング戦略であるCogAlignを提案する。
  論文  参考訳（メタデータ） (2025-02-17T06:54:49Z)
• D-Attn: Decomposed Attention for Large Vision-and-Language Models [29.611769371733672]
  大規模視覚・言語モデル(LVLM)のためのより柔軟な注意アーキテクチャである分解注意アーキテクチャ(D-Attn)を提案する。 D-AttnはLVLMの1次元因果自認を視覚的・視覚的・視覚的・テキスト的・テキスト的に分解する。 実験と解析によりD-Attnの有効性が検証され、複数の画像ベンチマークで大幅な改善が示された。
  論文  参考訳（メタデータ） (2025-02-04T00:46:11Z)
• Open Eyes, Then Reason: Fine-grained Visual Mathematical Understanding in MLLMs [62.875934732547435]
  現在の大言語モデル(MLLM)は、細かな視覚的理解を必要とする数学的問題解決のタスクでは性能が劣ることが多い。 本稿では,最先端MLLMの視覚的接地能力を評価し,視覚的接地精度と問題解決性能との間に有意な負の相関関係を示す。 本稿では,幾何学的地上視覚エンコーダと,階層型視覚特徴マップの寄与度を動的に調整する機能ルータを備えた新しいアプローチであるSVE-Mathを提案する。
  論文  参考訳（メタデータ） (2025-01-11T04:08:44Z)
• NeKo: Toward Post Recognition Generative Correction Large Language Models with Task-Oriented Experts [57.53692236201343]
  提案するマルチタスク補正MOEでは,専門家が音声・テキスト・言語・テキスト・視覚・テキスト・データセットの「専門家」になるよう訓練する。 NeKoはマルチタスクモデルとして文法とポストOCR補正を競合的に実行している。
  論文  参考訳（メタデータ） (2024-11-08T20:11:24Z)
• MathNet: A Data-Centric Approach for Printed Mathematical Expression Recognition [2.325171167252542]
  ベンチマークデータセットim2latex-100kの改良版を提示し,30フォントを特徴とする。 第2に,論文からMEを抽出した実世界のデータセット realFormula を紹介する。 第3に、畳み込み視覚変換器をベースとしたMERモデルMathNetを開発し、4つのテストセットすべてにおいて優れた結果を得た。
  論文  参考訳（メタデータ） (2024-04-21T14:03:34Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。