論文の概要: Argus-Unified: Towards A Compact and Economical Unified Model for Image Understanding and Generation

• arxiv url: http://arxiv.org/abs/2607.25527v1
• Date: Tue, 28 Jul 2026 10:12:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.79365
• Title: Argus-Unified: Towards A Compact and Economical Unified Model for Image Understanding and Generation
• Title（参考訳）: Argus-Unified:画像の理解と生成のためのコンパクトで経済的な統一モデルを目指して
• Abstract要約: 本稿では、計算とデータに対する低需要で構築されたコンパクトで効果的で統一されたマルチモーダルモデルであるArgus-Unifiedを提案する。 具体的には、凍結した統合視覚エンコーダから生成のための離散トークンを学習しながら、理解のための連続トークンを保存するハイブリッド視覚トークンを紹介する。 統合マルチモーダルモデルは、理解と生成の両方において高い性能を達成しつつ、経済的に訓練できることを実証する。
• 参考スコア（独自算出の注目度）: 57.22064715346608
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unifying visual understanding and generation in one model holds immense promise, but remains challenging and expensive due to heavy compute and data demands and conflicts between the visual features needed for these two capabilities. To address these challenges, we present Argus-Unified, a compact, effective and unified multimodal model built with low demand on computation and data. Instead of aligning modalities from scratch, Argus-Unified effectively leverages pretrained vision-language models (VLMs) that provide strong multimodal priors. Specifically, we introduce hybrid visual tokens that preserve continuous tokens for understanding while learning discrete tokens for generation from a frozen unified vision encoder. Our training pipeline includes two stages: the first stage learns a quantizer and image decoder on top of the frozen vision encoder, the second stage trains the LLM initialized from a pretrained VLM for the unified multimodal modeling. Using by far the least amount of data (15.6M) and the lowest cost (~$2,000), we demonstrate that unified multimodal models can be trained economically while achieving strong performance in both understanding and generation. Notably, our model attains state-of-the-art multimodal understanding on GQA, POPE, and VQAv2, and competitive generation quality compared to models with dedicated vision encoders (e.g., Janus, Janus-Pro), all at ~10x lower cost and with ~5x less data. We envision Argus-Unified as a useful baseline that lowers the development barrier for unified models.
• Abstract（参考訳）: 1つのモデルで視覚的理解と生成を統一することは大きな約束である。 これらの課題に対処するために、計算とデータに対する低需要で構築されたコンパクトで効果的で統一されたマルチモーダルモデルであるArgus-Unifiedを提案する。 Argus-Unifiedは、スクラッチからモダリティを整列させる代わりに、強力なマルチモーダル先行を提供する事前訓練された視覚言語モデル(VLM)を効果的に活用する。 具体的には、凍結した統合視覚エンコーダから生成のための離散トークンを学習しながら、理解のための連続トークンを保存するハイブリッド視覚トークンを紹介する。 トレーニングパイプラインには,凍結した視覚エンコーダ上に量子化器と画像デコーダを学習する第1ステージ,統合マルチモーダルモデリングのための事前訓練されたVLMから初期化したLDMを訓練する第2ステージ,の2段階がある。 最小データ(15.6M)と最低コスト(約2,000ドル)を用いて、統合マルチモーダルモデルを経済的に訓練し、理解と生成の両方において高い性能を達成できることを実証する。 特に、我々のモデルは、GQA、POPE、VQAv2に関する最先端のマルチモーダル理解と、専用のビジョンエンコーダ(例えば、Janus、Janus-Pro)を持つモデルと比較して、約10倍のコストで、データの約5倍の競合生成品質が得られる。 我々はArgus-Unifiedを統一モデルの開発障壁を低くする有用なベースラインとして想定する。

関連論文リスト

• Learning Compact Vision Tokens for Efficient Large Multimodal Models [11.212952256422609]
  本稿では,短時間の視覚トークンシーケンスに対して,コンパクトな視覚トークンを学習する手法を提案する。 また,マルチブロックトークン融合 (MBTF) モジュールを導入し,トークン列の低減のために多粒度機能を補う。 提案手法は,8つの人気視線ベンチマークのベースラインに匹敵する,あるいはさらに優れた性能を達成している。
  論文  参考訳（メタデータ） (2025-06-08T13:36:06Z)
• OptMerge: Unifying Multimodal LLM Capabilities and Modalities via Model Merging [124.91183814854126]
  モデルマージは、複数のエキスパートモデルをひとつのモデルに組み合わせようとしている。 本稿ではMLLMのトレーニングと評価のタスクを明確に分割したモデルマージ研究のベンチマークを紹介する。 モデルマージは、トレーニングデータを必要とせずに改善されたMLLMを構築するための有望な方法であることがわかった。
  論文  参考訳（メタデータ） (2025-05-26T12:23:14Z)
• Nexus-Gen: Unified Image Understanding, Generation, and Editing via Prefilled Autoregression in Shared Embedding Space [9.327655601475605]
  共有画像埋め込み空間における画像理解,生成,編集を統一する新しいアーキテクチャであるNexus-Genを提案する。 自己回帰埋め込み予測における過度なエラーの蓄積を軽減するため,新しい自己回帰戦略を提案する。 Nexus-Genは、画像理解、生成、編集タスクにまたがる評価ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-04-30T06:30:48Z)
• SynerGen-VL: Towards Synergistic Image Understanding and Generation with Vision Experts and Token Folding [66.74446220401296]
  画像の理解と生成の両方が可能なシンプルだが強力なエンコーダのないMLLMであるSynerGen-VLを提案する。 トークンの折り畳み機構と,高分解能画像理解を効果的に支援するビジョンエキスパートベースのプログレッシブアライメント事前学習戦略を導入する。 コードとモデルはリリースされます。
  論文  参考訳（メタデータ） (2024-12-12T18:59:26Z)
• ADEM-VL: Adaptive and Embedded Fusion for Efficient Vision-Language Tuning [38.26304604660713]
  ADEM-VLは、事前訓練された大規模言語モデルに基づいてモデルをチューニングする効率的な視覚言語手法である。 我々のフレームワークはScienceQAデータセットの平均精度を0.77%上回る。
  論文  参考訳（メタデータ） (2024-10-23T11:31:06Z)
• NVLM: Open Frontier-Class Multimodal LLMs [64.00053046838225]
  NVLM 1.0は、フロンティアクラスのマルチモーダル言語モデル(LLM)のファミリーであり、視覚言語タスクの最先端結果を実現する。 トレーニング効率とマルチモーダル推論能力を両立させる新しいアーキテクチャを提案する。 我々は、NVLM-1.0モデルのための生産級マルチモーダリティを開発し、視覚言語タスクに優れる。
  論文  参考訳（メタデータ） (2024-09-17T17:59:06Z)
• eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
  本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。 視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。 総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T19:20:34Z)
• Enabling Multimodal Generation on CLIP via Vision-Language Knowledge Distillation [79.72299298976525]
  我々は、視覚言語知識蒸留(VLKD)を通して、テキスト事前学習言語モデル(PLM)を用いた視覚言語事前学習モデルの拡張を提案する。 実験の結果,複数モーダル生成タスクにおいて,視覚的質問応答や画像キャプションなどのゼロショット性能が強いことがわかった。 PLMの本来のテキスト言語理解と生成能力は、VLKDの後に維持される。
  論文  参考訳（メタデータ） (2022-03-12T09:33:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。