Fugu-MT 論文翻訳(概要): MSP: Modality Self-Play for Training Multimodal LLMs Without Paired Cross-Modal Data

論文の概要: MSP: Modality Self-Play for Training Multimodal LLMs Without Paired Cross-Modal Data

arxiv url: http://arxiv.org/abs/2610.20965v1
Date: Wed, 14 Oct 2026 21:41:32 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-16 19:13:16.082129
Title: MSP: Modality Self-Play for Training Multimodal LLMs Without Paired Cross-Modal Data
Title（参考訳）: MSP:マルチモーダル LLM の多モードデータなし学習のためのモダリティセルフプレイ
Abstract要約: 本稿では,プロキシによるモーダル合成に基づくマルチモーダル基礎モデルのトレーニングフレームワークであるModality Self-Play(MSP)を紹介する。 MSPは、トレーニング中に意味橋として、目に見えないモダリティのアンカーサポートプロキシテキスト記述を使用する。実アンカーモダリティのみで訓練されたモデルと、それに伴うプロキシ記述は、推論時に複数のモダリティを統合および推論することができる。
参考スコア（独自算出の注目度）: 1.4788776577018314
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large multimodal models have achieved remarkable progress by scaling model capacity and training on massive paired multimodal data. However, this paradigm introduces a fundamental bottleneck: aligned multimodal datasets are expensive to curate, difficult to scale across diverse modality combinations, and increasingly constrain further progress. We introduce Modality Self-Play (MSP), a training framework for multimodal foundation models based on proxy-mediated modality composition. Instead of relying on paired cross-modal data, MSP uses anchor-supporting proxy textual descriptions of unseen modalities as semantic bridges during training. Given an observed modality (e.g., image or audio), the model generates proxy descriptions for complementary unseen modalities, which are then encoded and aligned with the observed modality through learned bridges, enabling cross-modal interaction without real paired non-text supervision. Our central hypothesis is that proxy text, combined with contrastively trained pretrained encoders, provides sufficient semantic structure for multimodal composition to emerge. We show that MSP enables zero-shot modality composition: models trained only with a real anchor modality and accompanying proxy descriptions can integrate and reason over multiple modalities at inference time despite never observing real paired non-text data during training. Empirically, MSP achieves state-of-the-art or competitive performance on multiple multimodal benchmarks. Ablation studies further demonstrate that learned bridges improve alignment, while anchor-supporting proxy descriptions enable effective cross-modal composition. MSP removes the need for real paired non-text (e.g., audio-vision) supervision, while continuing to rely on modality-text pairs, pretrained contrastive encoders, and modality-distribution bridge calibration.
Abstract（参考訳）: 大規模マルチモーダルモデルは、モデルキャパシティのスケーリングと大規模なペアマルチモーダルデータのトレーニングによって、顕著な進歩を遂げている。しかし、このパラダイムは基本的なボトルネックをもたらしている: 整列したマルチモーダルデータセットは、キュレートするのが高価で、様々なモダリティの組み合わせをまたいだスケールが困難で、さらに進歩が制限される。本稿では,プロキシによるモーダル合成に基づくマルチモーダル基礎モデルのトレーニングフレームワークであるModality Self-Play(MSP)を紹介する。ペア化されたクロスモーダルデータに頼る代わりに、MSPはトレーニング中にセマンティックブリッジとして、目に見えないモダリティのテキスト記述をアンカーサポートプロキシで記述する。観測されたモダリティ(例えば、画像や音声)が与えられたモデルでは、補完的な不明瞭なモダリティのプロキシ記述が生成され、学習されたブリッジを通じて観察されたモダリティに符号化され整合する。我々の中心的な仮説は、プロキシテキストと、対照的に訓練された事前学習エンコーダを組み合わせることで、マルチモーダル合成に十分な意味構造を提供する、というものである。 MSPは、実際のアンカー・モダリティのみで訓練されたモデルと、それに伴うプロキシ記述は、トレーニング中に実際のペアの非テキストデータを観測することなく、推論時に複数のモダリティを統合および推論することが可能である。経験的に、MSPは複数のマルチモーダルベンチマークで最先端または競争性能を達成する。アブレーション研究により、学習ブリッジはアライメントを改善する一方、アンカー支持プロキシ記述は効果的なクロスモーダル合成を可能にすることが示された。 MSPは、実際のペア非テキスト(例えばオーディオビジョン)の監督の必要性を排除し、モダリティ-テキストペア、事前訓練されたコントラストエンコーダ、モダリティ-分配ブリッジキャリブレーションに依存している。

論文の概要: MSP: Modality Self-Play for Training Multimodal LLMs Without Paired Cross-Modal Data

関連論文リスト