論文の概要: Modaliff: A Unified Token Diffusion Model for Any-to-Any Generation

• arxiv url: http://arxiv.org/abs/2610.25533v1
• Date: Sun, 18 Oct 2026 21:07:26 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:06:20.186246
• Title: Modaliff: A Unified Token Diffusion Model for Any-to-Any Generation
• Title（参考訳）: Modaliff: あらゆる世代に統一されたトーケン拡散モデル
• Abstract要約: あらゆる世代が、テキスト、画像、オーディオの間で柔軟に翻訳する単一のモデルを求めている。 広く利用可能なバイモーダルペアから学習する新しいトークンベースの拡散モデルであるModaliffを紹介する。 Modaliffは条件とターゲットを統一されたトークンシーケンスに組み立てる。
• 参考スコア（独自算出の注目度）: 21.616240962208526
• License:
• Abstract: Any-to-any generation seeks a single model that translates flexibly among text, image, and audio, yet existing approaches either require fully aligned multimodal tuples or a shared representation that suppresses modality-specific structure. We introduce Modaliff, a novel token-based diffusion model that learns from widely available bimodal pairs while preserving each modality in its native latent sequence. Modaliff assembles conditions and targets into a unified token sequence, with per-token attributes to disambiguate token identities and role-based positional embedding to preserve each modality's internal structure across sequence layouts. This design enables a single denoiser to support diverse generation tasks without task-specific architectural changes or a shared cross-modal latent space. Beyond one-to-one generation, Modaliff supports multiple conditions either by combining single-condition predictions at inference or by lightweight finetuning on captions that jointly describe multiple inputs. Experiments across text, image, and audio show that Modaliff achieves the best fidelity among any-to-any models on most generation tasks while using substantially fewer parameters and training data.
• Abstract（参考訳）: あらゆる世代は、テキスト、画像、オーディオの間で柔軟に変換できる単一のモデルを求めているが、既存のアプローチでは、完全に整列されたマルチモーダルタプルか、モダリティ固有の構造を抑圧する共有表現が必要である。 そこで本研究では,広く利用可能なバイモーダルペアから学習するトークンベースの拡散モデルであるModaliffについて紹介する。 モダリフは条件と目標を統一されたトークンシーケンスに集約し、トークン単位の属性とロールベースの位置埋め込みを曖昧にすることで、各モードの内部構造をシーケンスレイアウトで保持する。 この設計により、タスク固有のアーキテクチャ変更や共有モードのラテントスペースなしで、単一のデノイザが多様な生成タスクをサポートすることができる。 1～1世代を超えて、Modaliffは推論時の単一条件予測と、複数の入力を共同で記述するキャプションの軽量な微調整を組み合わせることで、複数の条件をサポートする。 テキスト、画像、オーディオでの実験では、Modaliffは、ほとんどの世代タスクにおいて、パラメータをかなり少なくし、トレーニングデータを使用しながら、あらゆるモデルの中で最高の忠実さを達成している。

関連論文リスト

• MUNI: Multimodal Unified Latent Diffusion for Coherent Any-to-Any Generation [26.862922663735347]
  MUNIは、あらゆる世代のためのエンドツーエンドのマルチモーダル遅延拡散フレームワークである。 サブセット条件のクロスモーダル生成と共有潜水器による非条件結合サンプリングを統一する。 MUNIは2つの補完的な貢献に依存している。
  論文  参考訳（メタデータ） (2026-06-15T08:46:48Z)
• Towards General Modality Translation with Contrastive and Predictive Latent Diffusion Bridge [16.958159611661813]
  Latent Denoising Diffusion Bridge Model (LDDBM)は、モーダル翻訳のための汎用フレームワークである。 共用ラテント空間で演算することにより、任意のモード間のブリッジを、整列次元を必要とせずに学習する。 提案手法は任意のモダリティペアをサポートし,マルチビューから3次元形状生成,画像超解像,マルチビューシーン合成など,多様なMTタスクに強く依存する。
  論文  参考訳（メタデータ） (2025-10-23T17:59:54Z)
• Diffuse Everything: Multimodal Diffusion Models on Arbitrary State Spaces [10.85468238780625]
  任意の状態空間上に多モード拡散モデルを構築するための新しいフレームワークを提案する。 各モードに対して革新的な分離ノイズスケジュールを導入することにより、単一モデル内で非条件とモード条件の両方を同時に生成することが可能となる。
  論文  参考訳（メタデータ） (2025-06-09T16:20:20Z)
• Unlocking Multi-Modal Potentials for Link Prediction on Dynamic Text-Attributed Graphs [28.533930417703715]
  Dynamic Text-Attributed Graphs (DyTAGs)は、リッチテキスト属性とともに進化する時間的イベント(エッジ)をキャプチャする新しいグラフパラダイムである。 MoMentは、リンク予測のためのノード表現を学習するために、各モードを明示的にモデル化し、統合し、調整するマルチモーダルモデルである。 実験の結果、MoMentは最大17.28%の精度向上を実現し、8つのベースラインに対して最大31倍のスピードアップを達成した。
  論文  参考訳（メタデータ） (2025-02-27T00:49:44Z)
• AnyGPT: Unified Multimodal LLM with Discrete Sequence Modeling [115.56746545958522]
  我々は,様々なモーダルの統一処理に離散表現を利用する,任意のマルチモーダル言語モデルであるAnyGPTを紹介する。 我々は、マルチモーダルテキスト中心のデータセットを構築し、マルチモーダルアライメント事前学習を行う。 我々は,AnyGPTが任意のマルチモーダル対話を円滑に行うと同時に,すべてのモダリティにまたがる特化モデルに匹敵する性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2024-02-19T15:33:10Z)
• Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding [62.70450216120704]
  教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。 我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。 UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
  論文  参考訳（メタデータ） (2023-11-06T13:56:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。