論文の概要: MODUS: Decoder-Only Any-to-Any Modeling of Diverse Modalities

• arxiv url: http://arxiv.org/abs/2607.25948v1
• Date: Tue, 28 Jul 2026 16:34:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.920004
• Title: MODUS: Decoder-Only Any-to-Any Modeling of Diverse Modalities
• Title（参考訳）: MODUS: 分散モードのデコーダのみのモデリング
• Authors: Mingqiao Ye, Zhaochong An, Zhitong Gao, Xian Liu, François Fleuret, Chuan Li, Amir Zadeh, Serge Belongie, Afshin Dehghan, Jesse Allardice, David Mizrahi, Oğuzhan Fatih Kar, Roman Bachmann, Amir Zamir,
• Abstract要約: 任意のモデルが単一のネットワーク内の任意の組み合わせから任意のモダリティを予測する。 本研究では,デコーダのみの任意のマルチモーダルモデリングについて検討する。 すべてのモダリティは同一モデルの入力と出力の両方であるため、結果のモデルはModusと呼ばれ、様々なアプリケーションをサポートすることができる。
• 参考スコア（独自算出の注目度）: 40.11485744925299
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Any-to-any models predict any modality from any combination of others within a single network, a formulation used in multimodal vision and vision-language models, and increasingly in scientific domains such as ecology and astronomy. Existing any-to-any models are typically trained from scratch using encoder-decoder or diffusion architectures, impacting their performance and preventing them from using strong pre-trained decoder-only models as a prior. In this work, we investigate decoder-only any-to-any multimodal modeling, which treats all modalities symmetrically and supports arbitrary modalities as inputs and outputs without modality-specific heads, losses, or task pipelines. Because every modality is both an input and an output of the same model, the resulting model, named Modus, can support a range of applications, such as chained generation through intermediate modalities or cross-modal self-verification by scoring the model's own outputs with another generated modality. Modus demonstrates strong out-of-the-box performance and is competitive with specialist and multitask baselines using a single model across various benchmarks. All materials are open-sourced at https://modus-multimodal.epfl.ch/.
• Abstract（参考訳）: どんなモデルでも、単一のネットワーク内の他の組み合わせ、多モーダルビジョンや視覚言語モデルで使われる定式化、生態学や天文学などの科学分野において、あらゆるモダリティを予測できる。 既存の任意のモデルは通常、エンコーダデコーダや拡散アーキテクチャを使ってゼロからトレーニングされ、パフォーマンスに影響を与え、事前訓練されたデコーダのみのモデルを前もって使用するのを防ぐ。 本研究では,すべてのモダリティを対称に扱い,任意のモダリティをモダリティ固有のヘッドやロス,タスクパイプラインを使わずに入力および出力としてサポートするデコーダのみの任意のマルチモーダルモデリングについて検討する。 すべてのモダリティが同じモデルの入力と出力の両方であるため、結果のモデルであるModusは、中間モダリティによる連鎖生成や、モデル自身の出力を別のモダリティで評価することで、相互の自己検証など、様々な応用をサポートすることができる。 Modusは、さまざまなベンチマークで単一のモデルを使用して、スペシャリストやマルチタスクのベースラインと競合する強力なアウト・オブ・ザ・ボックス性能を示している。 すべての資料はhttps://modus-multimodal.epfl.ch/でオープンソース化されている。

関連論文リスト

• NExT-OMNI: Towards Any-to-Any Omnimodal Foundation Models with Discrete Flow Matching [64.10695425442164]
  NExT-OMNI(英語版)は、離散フローパラダイムによる統一モデリングを実現するオープンソース・オムニモーダル・ファンデーション・モデルである。 NExT-OMNIは、大規模なインターリーブ付きテキスト、画像、ビデオ、オーディオデータに基づいて訓練され、マルチモーダル生成および理解ベンチマーク上で競合するパフォーマンスを提供する。 さらなる研究を進めるために、トレーニングの詳細、データプロトコル、およびコードとモデルチェックポイントの両方をオープンソース化する。
  論文  参考訳（メタデータ） (2025-10-15T16:25:18Z)
• Diffuse Everything: Multimodal Diffusion Models on Arbitrary State Spaces [10.85468238780625]
  任意の状態空間上に多モード拡散モデルを構築するための新しいフレームワークを提案する。 各モードに対して革新的な分離ノイズスケジュールを導入することにより、単一モデル内で非条件とモード条件の両方を同時に生成することが可能となる。
  論文  参考訳（メタデータ） (2025-06-09T16:20:20Z)
• Multimodal ELBO with Diffusion Decoders [0.9208007322096533]
  拡散生成モデルを用いて,より優れたデコーダを組み込んだマルチモーダルVAE ELBOを提案する。 拡散デコーダにより、モデルは複雑なモダリティを学習し、高品質な出力を生成することができる。 提案モデルでは,異なるデータセットにおける他のマルチモーダルVAEと比較して,コヒーレンスが高く,生成したモダリティの品質も優れている。
  論文  参考訳（メタデータ） (2024-08-29T20:12:01Z)
• Multimodal Lego: Model Merging and Fine-Tuning Across Topologies and Modalities in Biomedicine [10.774128925670183]
  マルチモーダルレゴ(MM-Lego)は、あらゆるエンコーダを最小限の微調整なしで競争力のあるマルチモーダルモデルに変換する汎用的な融合フレームワークである。 本研究では, MM-Legoをモデルマージ法として用いることで, 微調整を伴わずに, エンドツーエンド融合モデルとの競合性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2024-05-30T11:14:01Z)
• XTrack: Multimodal Training Boosts RGB-X Video Object Trackers [88.72203975896558]
  マルチモーダルセンシングから得られる知識を効果的に共有することが重要である。 異なるモダリティにまたがる類似のサンプルは、他のものよりも多くの知識を共有できる。 提案手法は,現在のSOTAよりも平均+3%精度が向上したRGB-Xトラッカーである。
  論文  参考訳（メタデータ） (2024-05-28T03:00:58Z)
• U3M: Unbiased Multiscale Modal Fusion Model for Multimodal Semantic Segmentation [63.31007867379312]
  U3M: An Unbiased Multiscale Modal Fusion Model for Multimodal Semanticsを紹介する。 我々は,グローバルな特徴とローカルな特徴の効果的な抽出と統合を保証するために,複数のスケールで機能融合を採用している。 実験により,本手法は複数のデータセットにまたがって優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-24T08:58:48Z)
• Attention Bottlenecks for Multimodal Fusion [90.75885715478054]
  機械知覚モデルは典型的にはモダリティに特化しており、単調なベンチマークのために最適化されている。 複数の層でのモジュラリティ融合に「融合」を用いる新しいトランスフォーマーアーキテクチャを導入する。 我々は、徹底的なアブレーション研究を行い、複数のオーディオ視覚分類ベンチマークで最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-06-30T22:44:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。