論文の概要: Multimodal Co-Generation With Continuous Bitstream Diffusion

• arxiv url: http://arxiv.org/abs/2610.14349v1
• Date: Fri, 09 Oct 2026 21:54:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 22:02:13.543533
• Title: Multimodal Co-Generation With Continuous Bitstream Diffusion
• Title（参考訳）: 連続ビットストリーム拡散を用いたマルチモーダルコジェネレーション
• Abstract要約: 連続ビットストリーム拡散(CoBit)は、同一のトレーニングおよびサンプリングプロトコルを用いて、ジョイントおよび条件付きマルチモーダル生成のための統一的なフレームワークを提供することを示す。 画像テキスト、音声テキスト、タンパク質配列構造モデリング全体において、モデルはスクラッチから別々に訓練されるが、それぞれが単一の入力プロジェクション、トランスフォーマーバックボーン、ビットワイズ予測ヘッド、バイナリスコアマッチング目的を使用する。 各設定において、単一のチェックポイントは、ビットストリームのどの部分が観察されるかを変更することにより、トレーニングに含まれる共同生成と条件方向をサポートする。
• 参考スコア（独自算出の注目度）: 12.38245260494024
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We show that continuous bitstream diffusion (CoBit), originally developed for language modeling, provides a unified framework for joint and conditional multimodal generation using the same training and sampling protocol. Across image-text, speech-text and protein sequence-structure modeling, models are trained separately from scratch, but each uses a single input projection, transformer backbone, bitwise prediction head and binary score-matching objective shared across its modalities. Within each setting, a single checkpoint supports joint generation and the conditional directions included in training by changing which parts of the bitstream are observed. We first validate the approach on MNIST-Sum, a controlled image-text task pairing raw binary images with equations encoded as text, achieving near-perfect conditional accuracy and high joint consistency without learned tokenizers. We then apply the same protocol at larger scale to speech-text and protein sequence-structure modeling. Trained without text pretraining, a single speech-text model performs speech synthesis, recognition, continuation, and unconditional co-generation. Jointly generated speech and text achieve 3.5% word error rate between the generated text and automatic transcriptions of the generated speech. In protein modeling, a single CoBit checkpoint supports forward folding, inverse folding, and joint sequence-structure generation. For jointly generated proteins spanning 100-500 residues, computational refolding of CoBit's sequences yields structures that agree with the generated backbones at a mean self-consistency TM-score of 0.911. Together, these results show that CoBit provides a common generative framework for substantially different modalities and forms of cross-modal dependence, without introducing a domain-specific objective or sampling procedure.
• Abstract（参考訳）: 言語モデリングのために開発された連続ビットストリーム拡散(CoBit)は,同一のトレーニングおよびサンプリングプロトコルを用いて,共同および条件付きマルチモーダル生成のための統一的なフレームワークを提供する。 画像テキスト、音声テキスト、タンパク質配列構造モデリング全体において、モデルはスクラッチから別々に訓練されるが、それぞれが単一の入力プロジェクション、トランスフォーマーバックボーン、ビットワイド予測ヘッド、バイナリスコアマッチング目的をモダリティ間で共有する。 各設定において、単一のチェックポイントは、ビットストリームのどの部分が観察されるかを変更することにより、トレーニングに含まれる共同生成と条件方向をサポートする。 まず,テキストとしてエンコードされた方程式と生のバイナリ画像をペアリングする制御された画像テキストタスクであるMNIST-Sumのアプローチを検証する。 次に, 音声テキストとタンパク質配列構造モデリングにおいて, 同じプロトコルを大規模に適用する。 テキスト事前訓練なしで訓練された1つの音声テキストモデルは、音声合成、認識、継続、無条件のコジェネレーションを実行する。 共同生成音声とテキストは、生成したテキストと生成した音声の自動書き起こしとの間の3.5%の単語誤り率を達成する。 タンパク質モデリングでは、単一のCoBitチェックポイントが前方の折りたたみ、逆の折りたたみ、結合配列構造の生成をサポートする。 100-500残基にまたがる共同生成タンパク質の場合、CoBitの配列の計算的再構成は、生成したバックボーンに一致する構造を平均的自己整合TMスコア0.911で生成する。 これらの結果から、CoBitはドメイン固有の目的やサンプリング手順を導入することなく、実質的に異なるモダリティと形態のクロスモーダル依存のための共通の生成フレームワークを提供することが示された。

関連論文リスト

• One-Step Text Generation by Seq-Drifting [45.84436591423563]
  拡散言語モデルはトークンを並列に生成するが、高品質なテキストを生成するには複数のサンプリングステップが必要である。 連続したトークン表現の列にドリフトを適用するフレームワークであるSeq-Driftingを提案する。 実証的に、Seq-DriftingはLM1B上の36.01の生成パープレキシティを1ステップで達成し、無条件と条件の両方で競合的に実行する。
  論文  参考訳（メタデータ） (2026-10-09T02:15:52Z)
• Joint-Centric Dual Contrastive Alignment with Structure-Preserving and Information-Balanced Regularization [1.1242490155213278]
  HILBERTは文書レベルの音声テキスト表現を学習するための横断的フレームワークである。 HILBERTは意味論的に意味のあるロングシーケンス表現を学習し、高度に不均衡なマルチクラス設定において優れた性能を実現する。
  論文  参考訳（メタデータ） (2026-04-17T17:07:35Z)
• A Unified Conditional Flow for Motion Generation, Editing, and Intra-Structural Retargeting [26.68081874066983]
  両タスクを単一の生成フレームワーク内で条件付き移動のインスタンスとしてキャストする統一的な視点を示す。 我々はこのビジョンを、整流運動モデルと目標骨格構造を併用して実装する。 SnapMoGenとマルチキャラクタのMixamoサブセットの実験は、単一のトレーニングされたモデルがテキスト・ツー・モーション生成、ゼロショット編集、ゼロショット・イン・ストラクチャをサポートすることを示している。
  論文  参考訳（メタデータ） (2026-04-15T02:53:07Z)
• Communication-Inspired Tokenization for Structured Image Representations [74.17163003465537]
  COMiT(Communication inspired Tokenization)は、構造化された視覚トークンシーケンスを学習するためのフレームワークである。 セマンティックアライメントが基盤となる一方で、解釈可能なオブジェクト中心のトークン構造を誘導するためには、注意的なシーケンシャルトークン化が重要であることを示す。
  論文  参考訳（メタデータ） (2026-02-24T09:53:50Z)
• Unified Text-Image Generation with Weakness-Targeted Post-Training [57.956648078400775]
  テキストと画像を共同で生成する統一マルチモーダル生成アーキテクチャは、最近、テキスト・ツー・イメージ(T2I)合成の有望な方向として登場した。 この研究は、モデルがテキスト推論から視覚合成へ自律的に遷移する、完全に統一されたテキスト画像生成を実現するためのポストトレーニングを探求する。
  論文  参考訳（メタデータ） (2026-01-07T19:19:44Z)
• MergeDNA: Context-aware Genome Modeling with Dynamic Tokenization through Token Merging [65.07273789940116]
  本稿では,動的ゲノミクストークンと潜在トランスフォーマーをコンテキスト対応事前学習タスクで協調的に最適化する階層型アーキテクチャを提案する。 MergeDNAは3つの人気のあるDNAベンチマークと、微調整やゼロショット評価を伴う複数のマルチオミクスタスクにおいて優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-11-17T19:27:41Z)
• FLIP: Fine-grained Alignment between ID-based Models and Pretrained Language Models for CTR Prediction [49.510163437116645]
  クリックスルーレート(CTR)予測は、パーソナライズされたオンラインサービスにおいてコア機能モジュールとして機能する。 CTR予測のための従来のIDベースのモデルは、表形式の1ホットエンコードされたID特徴を入力として取る。 事前訓練された言語モデル(PLM)は、テキストのモダリティの文を入力として取る別のパラダイムを生み出した。 本稿では,CTR予測のためのIDベースモデルと事前学習言語モデル(FLIP)間の細粒度特徴レベルのアライメントを提案する。
  論文  参考訳（メタデータ） (2023-10-30T11:25:03Z)
• A Well-Composed Text is Half Done! Composition Sampling for Diverse Conditional Generation [79.98319703471596]
  高品質の条件付き生成のための多種多様な出力を生成するための簡易で効果的な合成サンプリング法であるコンポジションサンプリングを提案する。 これは最近提案された計画ベースのニューラルジェネレーションモデルに基づいて構築され、まず最初に出力の合成を作成し、それと入力を条件付けして生成するように訓練される。
  論文  参考訳（メタデータ） (2022-03-28T21:24:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。