論文の概要: FlexUMM: Flexible Representation Learning for Unified Multimodal Models

• arxiv url: http://arxiv.org/abs/2610.22682v1
• Date: Thu, 15 Oct 2026 21:52:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.681947
• Title: FlexUMM: Flexible Representation Learning for Unified Multimodal Models
• Title（参考訳）: FlexUMM: 統一マルチモーダルモデルのためのフレキシブル表現学習
• Abstract要約: 統一マルチモーダルモデル(UMM)は、単一のバックボーン内で理解と生成を統合することができる。 機能間でどのように表現と計算を共有すべきか? 本稿では,共有計算の保存時期を動的に決定するフレキシブルUMMフレームワークFlexUMMを紹介する。
• 参考スコア（独自算出の注目度）: 18.325013742641534
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unified multimodal models (UMMs) can integrate understanding and generation within a single backbone. However, it is commonly known that these two capabilities can cause conflicting representations, leading to a central question: how representation and computation should be shared across functionalities? Existing UMMs often rely on a largely fixed structure, where different inputs and functionalities follow the same depth and parameter-sharing pattern. We argue that this assumption is too restrictive: more effective unification requires sharing the computation that supports cross-functional communication while specializing the capacity that becomes task- or input-specific. We introduce FlexUMM, a flexible UMM framework that dynamically decides when to preserve shared computation, when to route specialized capacity, and when to stop further processing. Evidence shows that this flexible allocation improves UMMs along two complementary axes. It improves accuracy by reducing harmful competition between functionalities, and it improves efficiency by avoiding unnecessary computation once an input representation is sufficiently mature. Beyond simple architectural unification from the pre-trained models, FlexUMM works as a model-agnostic, functional plug-in to make existing UMMs more unified, stronger, and efficient. Code is available at: https://github.com/AIFrontierLab/TorchUMM/tree/main/src/umm/post_training/flexumm.
• Abstract（参考訳）: 統一マルチモーダルモデル(UMM)は、単一のバックボーン内で理解と生成を統合することができる。 しかし、これらの2つの能力が相反する表現を引き起こすことは一般的に知られており、中心的な疑問である、機能間でどのように表現と計算を共有するべきか? 既存のUMMは、しばしば大きく固定された構造に依存し、異なる入力と機能は同じ深さとパラメータ共有パターンに従う。 より効果的な統一には、クロスファンクショナル通信をサポートする計算を共有することが必要です。 我々はFlexUMMを紹介した。これはフレキシブルなUMMフレームワークで、共有計算をいつ保存するか、いつ特別な容量をルーティングするか、いつさらなる処理を停止するかを動的に決定する。 このフレキシブルな割り当ては、2つの相補的な軸に沿ってUMMを改善することを示す。 機能間の有害な競合を低減して精度を向上し、入力表現が十分に成熟すると不要な計算を回避して効率を向上する。 既存のUMMをより統一し、より強く、効率的にするために、FlexUMMはモデルに依存しない機能的なプラグインとして機能する。 コードは以下の通り。 https://github.com/AIFrontierLab/TorchUMM/tree/main/src/umm/post_training/flexumm。

関連論文リスト

• MoEMB: Scaling Universal Multimodal Embeddings with Efficient Mixture-of-Experts Models [55.732137666068446]
  ユニバーサルマルチモーダル埋め込み(UME)は、幅広いタスクやモダリティを扱うエンコーダの能力をますます要求している。 MoEMBがエキスパート軸に沿ってUMEをスケールする MoEMBはTTEベースのメソッドを4倍のアクティブパラメータで上回り、計算量は大幅に少ない。
  論文  参考訳（メタデータ） (2026-09-08T12:29:50Z)
• UniFed-VLM: Federated Instruction Tuning for Vision-Language Models with Multiple Heterogeneity [82.84279796262818]
  視覚言語モデル(VLM)のための統一的な命令チューニングフレームワークUniFed-VLMを提案する。 1)Federated Compensated Subspace Aggregation (FedCSA) パラメータ効率のアダプタのサブスペース整合アグリゲーションを実行する。 複数のベンチマークデータセットで実験を行い、UniFed-VLMがより優れた平均性能を実現することを示す。
  論文  参考訳（メタデータ） (2026-08-16T04:01:04Z)
• MuCo: Multi-turn Contrastive Learning for Multimodal Embedding Model [57.89395815934156]
  Multi-Turn Contrastive Learning (MuCo)は、このプロセスを再考する対話にインスパイアされたフレームワークである。 新たな5Mマルチモーダルマルチターンデータセット(M3T)による MuCo の表示実験
  論文  参考訳（メタデータ） (2026-02-06T05:18:33Z)
• Better Together: Leveraging Unpaired Multimodal Data for Stronger Unimodal Models [63.032359320629105]
  In this present: Unpaired Multimodal, a modality-agnostic training paradigm, a single model then alternately processs from different modalities while sharing parameters across。 補助モダリティからの未ペアリングデータを使用することで、画像や音声などの様々な単一目標に対して、ダウンストリーム性能が一貫して向上することを示す。
  論文  参考訳（メタデータ） (2025-10-09T17:32:23Z)
• OptMerge: Unifying Multimodal LLM Capabilities and Modalities via Model Merging [124.91183814854126]
  モデルマージは、複数のエキスパートモデルをひとつのモデルに組み合わせようとしている。 本稿ではMLLMのトレーニングと評価のタスクを明確に分割したモデルマージ研究のベンチマークを紹介する。 モデルマージは、トレーニングデータを必要とせずに改善されたMLLMを構築するための有望な方法であることがわかった。
  論文  参考訳（メタデータ） (2025-05-26T12:23:14Z)
• MergeBench: A Benchmark for Merging Domain-Specialized LLMs [25.333088749417414]
  MergeBenchは、スケールでのモデルマージを評価するために設計された評価スイートである。 2Bから9BスケールのLlamaやGemmaファミリなど、最先端のオープンソース言語モデルの上に構築されている。 マルチタスク性能, 忘れられたこと, 実行効率にまたがる8つの代表的なマージ手法を評価した。
  論文  参考訳（メタデータ） (2025-05-16T04:02:55Z)
• Efficient and Effective Weight-Ensembling Mixture of Experts for Multi-Task Model Merging [111.8456671452411]
  マルチタスク学習(MTL)は、共有モデルを利用して複数のタスクを遂行し、知識伝達を促進する。 マルチタスクモデル統合のためのウェイトエンセブリング・ミックス・オブ・エキスパート(WEMoE)手法を提案する。 WEMoEとE-WEMoEは, MTL性能, 一般化, 堅牢性の観点から, 最先端(SOTA)モデルマージ法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-29T07:16:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。