論文の概要: TorchUMM: A Unified Multimodal Model Codebase for Evaluation, Analysis, and Post-training

• arxiv url: http://arxiv.org/abs/2604.10784v1
• Date: Sun, 12 Apr 2026 19:19:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.214513
• Title: TorchUMM: A Unified Multimodal Model Codebase for Evaluation, Analysis, and Post-training
• Title（参考訳）: TorchUMM: 評価・分析・ポストトレーニングのための統一型マルチモーダルモデルコードベース
• Abstract要約: 本稿では,統合マルチモーダルモデルの総合評価,分析,ポストトレーニングを行う最初の統合フレームワークであるTorchUMMを提案する。 本ベンチマークでは, マルチモーダル理解, 生成, 編集を対象とし, 確立されたデータセットと新規データセットを統合した。
• 参考スコア（独自算出の注目度）: 25.562880121429966
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in unified multimodal models (UMMs) have led to a proliferation of architectures capable of understanding, generating, and editing across visual and textual modalities. However, developing a unified framework for UMMs remains challenging due to the diversity of model architectures and the heterogeneity of training paradigms and implementation details. In this paper, we present TorchUMM, the first unified codebase for comprehensive evaluation, analysis, and post-training across diverse UMM backbones, tasks, and datasets. TorchUMM supports a broad spectrum of models covering a wide range of scales and design paradigms. Our benchmark encompasses three core task dimensions: multimodal understanding, generation, and editing, and integrates both established and novel datasets to evaluate perception, reasoning, compositionality, and instruction-following abilities. By providing a unified interface and standardized evaluation protocols, TorchUMM enables fair and reproducible comparisons across heterogeneous models and fosters deeper insights into their strengths and limitations, facilitating the development of more capable unified multimodal systems. Code is available at: https://github.com/AIFrontierLab/TorchUMM.
• Abstract（参考訳）: 統一マルチモーダルモデル(UMM)の最近の進歩は、視覚的およびテキスト的モダリティの理解、生成、編集が可能なアーキテクチャの急増につながっている。 しかし,モデルアーキテクチャの多様性やトレーニングパラダイムの不均一性,実装詳細などにより,統一的な UMM フレームワークの開発は依然として困難である。 本稿では,様々なUMMバックボーン,タスク,データセットを対象とした総合的な評価,分析,ポストトレーニングのための最初の統一コードベースであるTorchUMMを提案する。 TorchUMMは幅広いスケールと設計パラダイムをカバーする幅広いモデルをサポートしている。 本ベンチマークでは, マルチモーダル理解, 生成, 編集の3つのタスク次元を網羅し, 認識, 推論, 構成性, 指示追従能力を評価するために, 確立されたデータセットと新規データセットを統合した。 統一インターフェースと標準化された評価プロトコルを提供することにより、TorchUMMは異種モデル間の公正かつ再現可能な比較を可能にし、その強みと制限に関する深い洞察を高め、より有能なマルチモーダルシステムの開発を促進する。 コードは、https://github.com/AIFrontierLab/TorchUMM.comで入手できる。

関連論文リスト

• InternVL-U: Democratizing Unified Multimodal Models for Understanding, Reasoning, Generation and Editing [87.5130783098133]
  InternVL-Uは、マルチモーダル理解と推論機能を民主化する軽量な4BパラメータUMMである。 MLLM(Multimodal Large Language Model)と特殊なMMDiTベースのビジュアルジェネレーションヘッドを統合している。 BAGEL (14B) など,さまざまな生成タスクや編集タスクにおいて,3倍以上のスケールで統一ベースラインモデルを上回るパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-03-10T16:38:33Z)
• UniM: A Unified Any-to-Any Interleaved Multimodal Benchmark [72.37370242707432]
  本稿では,Unified Any-to-Any Interleaved MultimodalデータセットであるUniMベンチマークを紹介する。 UniMには30ドメインにわたる31Kの高品質インスタンスと7つの代表モダリティが含まれている。 セマンティック・コヒーレンス(Semantic Correctness & Generation Quality)、応答構造整合性(Re Response Structure Integrity)、インターリーブド・コヒーレンス(Interleaved Coherence)という3次元のモデルを評価する。
  論文  参考訳（メタデータ） (2026-03-05T11:45:16Z)
• Generation Enhances Understanding in Unified Multimodal Models via Multi-Representation Generation [53.18286807225952]
  統一マルチモーダルモデル(UMM)は、視覚的理解と生成の両方を単一のフレームワークに統合する。 単純なアーキテクチャに依存しないポストトレーニング手法であるUniMRG(Unified Multi-Representation Generation)を提案する。 提案手法は, 微粒化知覚を高め, 幻覚を低減し, 空間的理解を向上し, 同時に生成能力を向上する。
  論文  参考訳（メタデータ） (2026-01-29T08:42:25Z)
• Uni-MMMU: A Massive Multi-discipline Multimodal Unified Benchmark [69.8473923357969]
  統一マルチモーダルモデルは、視覚的理解と生成を共同で行うことを目的としているが、現在のベンチマークでは、その真の統合を検査することはめったにない。 提案するUni-MMMUは、8つの推論中心領域にまたがる生成と理解の双方向の相乗効果を拡大する総合的なベンチマークである。
  論文  参考訳（メタデータ） (2025-10-15T17:10:35Z)
• VisCodex: Unified Multimodal Code Generation via Merging Vision and Coding Models [82.05514464090172]
  マルチモーダルな大言語モデル(MLLM)は、視覚的およびテキスト的理解の統合を著しく進歩させてきた。 しかし、マルチモーダル入力からコードを生成する能力は依然として限られている。 視覚とコーディング言語モデルをシームレスにマージする統合フレームワークであるVisCodexを紹介します。
  論文  参考訳（メタデータ） (2025-08-13T17:00:44Z)
• A Survey of Generative Categories and Techniques in Multimodal Large Language Models [3.7507324448128876]
  MLLM(Multimodal Large Language Models)はテキスト生成を超えて急速に進化してきた。 本調査では,6つの主要な生成モダリティを分類し,基礎技術がクロスモーダル機能を実現する方法について検討する。
  論文  参考訳（メタデータ） (2025-05-29T12:29:39Z)
• IWISDM: Assessing instruction following in multimodal models at scale [1.2320972303448239]
  我々は,視覚言語タスクの無制限な配列を生成するために,指示された仮想VISual Decision Making (iWISDM)環境を紹介する。 iWISDMを用いて,様々な複雑性レベルにわたる視覚課題に追従する命令の3つの異なるベンチマークをコンパイルした。 本研究は,既存のマルチモーダルモデルと創発的マルチモーダルモデルの両方の命令順守性を評価するための頑健なベンチマークとしてiWISDMを確立した。
  論文  参考訳（メタデータ） (2024-06-20T14:09:54Z)
• Uni-MoE: Scaling Unified Multimodal LLMs with Mixture of Experts [54.529880848937104]
  そこで我々は,MoEアーキテクチャをUni-MoEと呼ぶ一貫したMLLMを開発し,様々なモダリティを扱えるようにした。 具体的には、統一マルチモーダル表現のためのコネクタを持つモダリティ特化エンコーダを特徴とする。 マルチモーダルデータセットの包括的集合を用いた命令調整Uni-MoEの評価を行った。
  論文  参考訳（メタデータ） (2024-05-18T12:16:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。