論文の概要: CoVA-SFT: A Large-Scale Dataset for Chain of Visual Abstractions

• arxiv url: http://arxiv.org/abs/2608.28958v1
• Date: Sat, 29 Aug 2026 00:03:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:30.793916
• Title: CoVA-SFT: A Large-Scale Dataset for Chain of Visual Abstractions
• Title（参考訳）: CoVA-SFT:ビジュアル抽象化のチェーンのための大規模データセット
• Abstract要約: CoT推論は大規模言語モデル(LLM)を劇的に改善した CoVA-SFTは51.9Kサンプルからなる高度に構造化されたコーパスであり、5つの異なるレイアウトファミリーと17の複雑なタスクにわたる222K以上のマルチモーダル推論ステップを含んでいる。 明確な論理式、エージェントレンダリング、検証ループを提供することで、CoVA-SFTはテキストと視覚的抽象化をインターリーブするマルチモーダル言語モデルを教える。
• 参考スコア（独自算出の注目度）: 73.85100620647452
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Chain-of-thought (CoT) reasoning has dramatically improved large language models (LLMs) by allowing them to decompose problems into intermediate steps. While CoT is widely effective for linguistic tasks, text-only CoT forces models to serialize visual problems into awkward prose. Although architectural solutions exist to process visual inputs, the community lacks a massive, multi-step, self-corrected dataset to teach models how to build and maintain internal visual workspaces when solving purely textual reasoning problems. To address this limitation, we introduce CoVA-SFT, a highly structured corpus of 51.9K samples containing over 222K multimodal reasoning steps across 5 distinct layout families and 17 complex tasks, and CoVA-Bench, a companion benchmark of 1,700 held-out test samples spanning the same tasks for reproducible evaluation. By providing explicit rationale formulations, agentic renderings, and verification loops, CoVA-SFT teaches multimodal language models to interleave text and visual abstractions. We validate the dataset by demonstrating that models fine-tuned on CoVA-SFT outperform all interleaved CoT baselines by more than 2x on average on CoVA-Bench, though they still fall short of strong text-only CoT baselines, highlighting open challenges for future work.
• Abstract（参考訳）: チェーン・オブ・思想(CoT)推論は、問題を中間ステップに分解することで、大きな言語モデル(LLM)を劇的に改善した。 CoTは言語処理に広く有効であるが、テキストのみのCoTは、視覚的な問題を散文にシリアライズするようモデルを強制する。 ビジュアルインプットを処理するアーキテクチャソリューションは存在するが、コミュニティには、純粋にテキストによる推論問題を解決する際に、内部の視覚ワークスペースを構築し維持する方法をモデルに教える、大規模で多段階の自己修正データセットが欠けている。 この制限に対処するため、5つの異なるレイアウトファミリーと17の複雑なタスクにまたがる222K以上のマルチモーダル推論ステップを含む51.9Kサンプルからなる高度に構造化されたコーパスであるCoVA-SFTと、同じタスクにまたがる1,700のホールドアウトテストサンプルのベンチマークであるCoVA-Benchを紹介する。 明確な論理式、エージェントレンダリング、検証ループを提供することで、CoVA-SFTはテキストと視覚的抽象化をインターリーブするマルチモーダル言語モデルを教える。 CoVA-SFTで微調整されたモデルは、CoVA-Benchで平均して2倍以上のCOTベースラインを上回ります。

関連論文リスト

• Canvas-of-Thought: Grounding Reasoning via Mutable Structured States [18.74176136703898]
  CoT(Chain-of-Thought)の促進により、MLLM(Multimodal Large Language Models)の推論能力が大幅に向上した。 線形テキストシーケンスのみに依存することは、複雑なタスクのボトルネックのままです。 文脈効率を考慮したマルチモーダル推論のための新しいパラダイムである textbf Canvas-of-Thought (Canvas-CoT) を導入する。
  論文  参考訳（メタデータ） (2026-02-11T03:54:58Z)
• Table2LaTeX-RL: High-Fidelity LaTeX Code Generation from Table Images via Reinforced Multimodal Language Models [53.03670032402846]
  視覚的な入力から,高品質で出版可能なテーブルの再構築を自動化することを目的として,表画像からコード生成への課題に対処する。 このタスクの中心的な課題は、大きなサイズ、深くネストされた構造、セマンティックにリッチか不規則かという複雑なテーブルを正確に扱うことである。 本稿では,大規模テーブル・トゥ・ラデータセット上で事前学習したMLLMを微調整する,強化型マルチモーダル大規模言語モデル(MLLM)を提案する。
  論文  参考訳（メタデータ） (2025-09-22T11:13:48Z)
• LaV-CoT: Language-Aware Visual CoT with Multi-Aspect Reward Optimization for Real-World Multilingual VQA [39.131225916852834]
  思考の連鎖(CoT)推論は、解釈可能性と複雑な推論を高めることが証明されている。 LaV-CoTは、マルチアスペクト・リワード最適化を備えた最初の言語対応Visual CoTフレームワークである。 LaV-CoTはオープンソースベースラインよりも9.5%の精度向上を実現している。
  論文  参考訳（メタデータ） (2025-09-12T07:45:44Z)
• Unsupervised Visual Chain-of-Thought Reasoning via Preference Optimization [69.29207684569695]
  CoT推論は多モーダル大言語モデル(MLLM)の解釈可能性と問題解決能力を大幅に向上させる 既存のアプローチはテキストCoTに重点を置いており、視覚的手がかりを活用する能力を制限する。 本稿では、優先最適化による画像レベルのCoT推論のための新しいフレームワークであるUnsupervised Visual CoT (UV-CoT)を紹介する。
  論文  参考訳（メタデータ） (2025-04-25T14:48:18Z)
• LATTE: Learning to Think with Vision Specialists [110.43838069105998]
  我々は、認識を最先端の視覚モデルにオフロードする視覚言語モデルのファミリーであるLATTEを提案する。 我々のアプローチは、認識を最先端の視覚モデルにオフロードすることで、視覚言語モデルが高品質な知覚情報に対する推論のみに集中できるようにする。
  論文  参考訳（メタデータ） (2024-12-07T00:42:04Z)
• LLaVA-CoT: Let Vision Language Models Reason Step-by-Step [34.32147663809707]
  LLaVA-CoTは、自律的な多段階推論を行うために設計された大型ビジョンランゲージモデル(VLM)である。 チェーン・オブ・シークレットのプロンプトとは異なり、LLaVA-CoTは独立に要約、視覚的解釈、論理的推論、結論生成の逐次的な段階に関与する。 100kのトレーニングサンプルとテストタイムのスケーリングだけで、LLaVA-CoTは、幅広いマルチモーダル推論ベンチマークでベースモデルを9.4%上回っている。
  論文  参考訳（メタデータ） (2024-11-15T18:58:31Z)
• Visual CoT: Advancing Multi-Modal Language Models with a Comprehensive Dataset and Benchmark for Chain-of-Thought Reasoning [40.972648044298374]
  MLLM(Multi-Modal Large Language Models)は様々なVQAタスクにおいて顕著な性能を示す。 解釈可能性に欠け、複雑な視覚的な入力に苦しむことが多い。 438k問合せ対からなる大規模Visual CoTデータセットを提案する。 視覚的な入力を動的に重視し,解釈可能な思考を提供するマルチターン処理パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-03-25T17:59:23Z)
• ChainLM: Empowering Large Language Models with Improved Chain-of-Thought Prompting [124.69672273754144]
  CoT(Chain-of-Thought)のプロンプトにより,大規模言語モデル(LLM)の推論能力が向上する 既存のCoTアプローチは通常、単純な推論タスクに重点を置いており、結果として低品質で一貫性のないCoTプロンプトをもたらす。 優れたCoTプロンプトの自動生成のための新しいフレームワークであるCoTGeniusを紹介する。
  論文  参考訳（メタデータ） (2024-03-21T11:34:26Z)
• NPHardEval4V: Dynamic Evaluation of Large Vision-Language Models with Effects of Vision [64.83085920775316]
  NPHardEval4Vは4つの古典的NPハード問題に基づくマルチモーダルベンチマークスイートである。 各タスクは、構造化された視覚レイアウトとテキストプロンプトを組み合わせることで、視覚言語的制約の下で推論を行うLVLMの能力を評価するように設計されている。 以上の結果から,これらのモデルは知覚に基づく入力に対して合理的に優れているが,グローバルな最適化,抽象化,制約満足度に苦慮していることが明らかとなった。
  論文  参考訳（メタデータ） (2024-03-04T07:10:31Z)
• Learning to Decompose: Hypothetical Question Decomposition Based on Comparable Texts [65.84370471189676]
  本研究は,分解型変圧器の大規模中間訓練について,比較テキストから遠ざかって検討する。 このような中間的事前学習により、多様なタスクのための堅牢な分解ベースモデルの開発がより実現可能であることを示す。
  論文  参考訳（メタデータ） (2022-10-30T15:38:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。