論文の概要: OmniThoughtVis: A Scalable Distillation Pipeline for Deployable Multimodal Reasoning Models

• arxiv url: http://arxiv.org/abs/2605.11629v1
• Date: Tue, 12 May 2026 06:54:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.64558
• Title: OmniThoughtVis: A Scalable Distillation Pipeline for Deployable Multimodal Reasoning Models
• Title（参考訳）: OmniThoughtVis: デプロイ可能なマルチモーダル推論モデルのためのスケーラブルな蒸留パイプライン
• Authors: Yuanhao Yue, Chengyu Wang, Yuanjie Lyu, Lei Shen, Jun Huang,
• Abstract要約: 我々は、マルチモーダル推論能力をより小さく、デプロイ指向のMLLMに転送するためのスケーラブルなデータキュレーションおよび蒸留パイプラインであるOmniVisを紹介する。 データ品質を大規模に維持するために、ルールベースのフィルタリング、難易度選択、タグベースの多様性サンプリングを組み合わせる。 4BモデルのMMMU-Proでは、MathVerseでは+16.8点、MMMU-Proでは+5.6点の改善など、モデルスケール全体で一貫した利得を示す。
• 参考スコア（独自算出の注目度）: 12.869876096473027
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent multimodal large language models (MLLMs) have shown strong chain-of-thought (CoT) reasoning ability on vision-language tasks, but their direct deployment in real-world systems is often limited by latency and resource constraints. In practice, smaller MLLMs are preferred for online serving, yet their reasoning performance is bottlenecked by the lack of large-scale, high-quality multimodal CoT supervision. In this paper, we present OmniThoughtVis, a scalable data curation and distillation pipeline for transferring multimodal reasoning capabilities from high-capacity teacher models to smaller, deployment-oriented MLLMs. Starting from a diverse open-source seed pool, our pipeline generates structured CoT traces and performs joint annotation of reasoning difficulty, answer quality, and semantic task tags. To maintain data quality at scale, we combine rule-based filtering, difficulty-aware selection, and tag-based diversity sampling, resulting in a curated corpus of 1.8M samples that supports controllable subset construction for downstream training. We use OmniThoughtVis to distill Qwen3-VL models from 2B to 8B parameters and evaluate them on nine multimodal reasoning benchmarks. The resulting distilled models show consistent gains across model scales, including improvements of up to +16.8 points on MathVerse and +5.6 points on MMMU-Pro for the 4B model. Notably, the distilled 4B model matches or surpasses the undistilled 8B baseline on several tasks, highlighting the practical value of scalable reasoning distillation for deployment-oriented MLLMs.
• Abstract（参考訳）: 最近のマルチモーダルな大規模言語モデル(MLLM)は、視覚言語タスクにおいて強力なチェーン・オブ・シント(CoT)推論能力を示しているが、実際のシステムへの直接配置はレイテンシやリソース制約によって制限されることが多い。 実際には、より小さなMLLMはオンラインサービスに好まれるが、大規模で高品質なマルチモーダルCoT管理が欠如しているため、それらの推論性能はボトルネックとなる。 本稿では,高容量教師モデルから小規模で展開指向のMLLMへマルチモーダル推論機能を移行するための,スケーラブルなデータキュレーションおよび蒸留パイプラインであるOmniThoughtVisを提案する。 さまざまなオープンソースのシードプールから、パイプラインは構造化されたCoTトレースを生成し、推論困難、応答品質、セマンティックタスクタグのジョイントアノテーションを実行します。 データ品質を大規模に維持するために、ルールベースのフィルタリング、難易度選択、タグベースの多様性サンプリングを組み合わせて、下流トレーニングのための制御可能なサブセット構築をサポートする1.8Mサンプルをキュレートしたコーパスを作成する。 我々は、OmniThoughtVisを用いて、2Bから8BパラメータのQwen3-VLモデルを蒸留し、9つのマルチモーダル推論ベンチマークで評価する。 得られた蒸留モデルは、MathVerseの+16.8点と4BモデルのMMMU-Proの+5.6点の改善を含む、モデルスケール全体で一貫した利得を示している。 特に、蒸留した4Bモデルは、いくつかのタスクにおいて未蒸留の8Bベースラインに適合または超過し、展開指向MLLMのスケーラブルな推論蒸留の実用的価値を強調している。

関連論文リスト

• One LLM to Train Them All: Multi-Task Learning Framework for Fact-Checking [7.856998585396422]
  大規模言語モデル(LLM)は、統合されたエンドツーエンドの検証パイプラインを有効にすることで、自動化されたファクトチェック(AFC)を再構築している。 我々は,主張検出,エビデンスランキング,スタンス検出を共同で行うために,単一のモデルを微調整する,より効率的な代替手段として,textbfmulti-task Learning (MTL)を提案する。
  論文  参考訳（メタデータ） (2026-01-16T13:44:25Z)
• Think Then Embed: Generative Context Improves Multimodal Embedding [51.76690812535934]
  本稿では,ユニバーサル・マルチモーダル・エンベディング (UME) のためのThink-Then-Embed (TTE) フレームワークを提案する。 強力なMLLM推論器を利用することで、MMEB-V2ベンチマークで最先端のパフォーマンスを達成し、大規模な社内データセットでトレーニングされたプロプライエタリモデルを上回った。
  論文  参考訳（メタデータ） (2025-10-06T16:53:56Z)
• OptMerge: Unifying Multimodal LLM Capabilities and Modalities via Model Merging [124.91183814854126]
  モデルマージは、複数のエキスパートモデルをひとつのモデルに組み合わせようとしている。 本稿ではMLLMのトレーニングと評価のタスクを明確に分割したモデルマージ研究のベンチマークを紹介する。 モデルマージは、トレーニングデータを必要とせずに改善されたMLLMを構築するための有望な方法であることがわかった。
  論文  参考訳（メタデータ） (2025-05-26T12:23:14Z)
• VisualPRM: An Effective Process Reward Model for Multimodal Reasoning [76.35753243272521]
  既存のマルチモーダル大言語モデル(MLLM)の推論能力を改善するVisualPRMを導入する。 我々のモデルは7つのマルチモーダル推論ベンチマークで5.9ポイントの改善を実現している。 マルチモーダルPRMの評価のために,人間に注釈付きステップワイズラベルを付したベンチマークであるVisualProcessBenchを提案する。
  論文  参考訳（メタデータ） (2025-03-13T12:03:37Z)
• Enhancing the Reasoning Ability of Multimodal Large Language Models via Mixed Preference Optimization [65.64108848398696]
  我々は、MLLMのマルチモーダル推論能力を高めるために、選好最適化(PO)プロセスを導入する。 具体的には、自動選好データ構築パイプラインを設計し、高品質で大規模なマルチモーダル推論選好データセットであるMMPRを作成する。 マルチモーダルCoT性能を向上するMPO(Mixed Preference Optimization)と呼ばれるシンプルな手法を開発した。
  論文  参考訳（メタデータ） (2024-11-15T18:59:27Z)
• LLaVA-CoT: Let Vision Language Models Reason Step-by-Step [34.32147663809707]
  LLaVA-CoTは、自律的な多段階推論を行うために設計された大型ビジョンランゲージモデル(VLM)である。 チェーン・オブ・シークレットのプロンプトとは異なり、LLaVA-CoTは独立に要約、視覚的解釈、論理的推論、結論生成の逐次的な段階に関与する。 100kのトレーニングサンプルとテストタイムのスケーリングだけで、LLaVA-CoTは、幅広いマルチモーダル推論ベンチマークでベースモデルを9.4%上回っている。
  論文  参考訳（メタデータ） (2024-11-15T18:58:31Z)
• LLAVADI: What Matters For Multimodal Large Language Models Distillation [77.73964744238519]
  本研究では,新しい効率的なモデル構造を提案するのではなく,スクラッチから小規模MLLMを訓練する。 本研究は, 知識蒸留プロセスにおける学習戦略, モデル選択, 蒸留アルゴリズムに関するものである。 異なるベンチマークと適切な戦略を評価することで、2.7Bの小型モデルでも7Bまたは13Bのパラメータを持つ大型モデルと同等に動作することができる。
  論文  参考訳（メタデータ） (2024-07-28T06:10:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。