論文の概要: Chimera: Designing and Chinchilla-Scaling Hybrid Visual Diffusion Transformers
- arxiv url: http://arxiv.org/abs/2607.28611v1
- Date: Thu, 30 Jul 2026 17:58:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-31 21:37:00.710543
- Title: Chimera: Designing and Chinchilla-Scaling Hybrid Visual Diffusion Transformers
- Title（参考訳）: Chimera:Chinchilla-Scaling Hybrid Visual Diffusion Transformerの設計と実装
- Abstract要約: ビジュアル生成には高解像度の画像、長いビデオ、マルチモーダルコンテキストが必要である。
原理的なスケーリングレシピを備えたハイブリッドビジュアル拡散バックボーンであるChimeraを紹介した。
密度の高いバックボーンは、一致したフルアテンションWan2.1 2Bベースラインの1.7倍の計算効率を示す。
- 参考スコア（独自算出の注目度）: 54.01042826416009
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visual generation increasingly requires high-resolution images, long videos, and multimodal context, making the quadratic cost of full attention prohibitive. We introduce Chimera, a hybrid visual diffusion backbone with a principled scaling recipe. Chimera processes text, image, and video tokens in one raster-ordered stream without positional embeddings. It combines Kimi Delta Attention (KDA) for long-context state tracking with O(N) complexity, interleaved Multi-head Latent Attention (MLA) for direct global interaction, and modality-aware short convolutions for local spatiotemporal context. Sparse Mixture-of-Experts (MoE) layers expand capacity while controlling activated compute. To scale this heterogeneous architecture, we introduce HeteroP, a module-wise scheme that transfers hyperparameters across width and depth according to each tensor's functional fan-in and model depth. HeteroP yields a consistently tuned family used to fit Chinchilla-style compute-optimal laws for activated model size, training-token count, and image-video data ratio. Guided by these laws, we train an 11B-parameter Chimera with 2B activated parameters. Experiments show three results. First, measured by pretraining diffusion loss, the dense backbone is 1.7x as compute-efficient as a matched full-attention Wan-2.1 2B baseline, while the complete system reaches 7.3x. Second, without length-specific fine-tuning, Chimera extrapolates zero-shot from 5-second training clips to 30-second videos, with only 6.5% FID degradation in the last five seconds. Third, the fitted laws show that compute-optimal image pretraining divides compute nearly evenly between activated model size and training-token count, whereas video pretraining modestly favors model size at higher budgets. These results establish a foundation for designing and scaling efficient long-context diffusion architectures.
- Abstract（参考訳）: 視覚生成には高解像度の画像、長いビデオ、マルチモーダルなコンテキストがますます必要になり、注意力の2次的コストは禁じられている。
原理的なスケーリングレシピを備えたハイブリッドビジュアル拡散バックボーンであるChimeraを紹介した。
Chimeraはテキスト、画像、ビデオトークンを1つのラスタ順序のストリームで、位置埋め込みなしで処理する。
KDA(Kim Delta Attention)とO(N)複雑性の長期コンテキスト状態追跡(O(N))、MLA(Multi-head Latent Attention)と、局所時空間文脈のモダリティを意識した短い畳み込みを組み合わせたものである。
Sparse Mixture-of-Experts (MoE) 層は、アクティブな計算を制御しながら容量を拡大する。
この異種アーキテクチャをスケールするために、各テンソルの機能的ファンインとモデル深さに応じて、超パラメータを幅と深さにわたって転送するモジュールワイドスキームであるHeteroPを導入する。
HeteroPは、アクティベートモデルサイズ、トレーニングトーケン数、画像-ビデオデータ比に対して、Chinchillaスタイルの計算最適法則に適合するために、一貫して調整されたファミリーを生成する。
これらの法則により、2B活性化パラメータを持つ11Bパラメータチメラを訓練する。
実験は3つの結果を示す。
第一に、拡散損失の事前測定により、密度の高いバックボーンは、一致したフルアテンション Wan-2.1 2B ベースラインと同等の計算効率が1.7倍、完全系は7.3倍となる。
第2に、長さ固有の微調整なしで、5秒のトレーニングクリップから30秒のビデオまでゼロショットを外挿し、最後の5秒でFIDが6.5%しか劣化しない。
第3の法則は, コンピュータ最適画像事前学習は, アクティベートモデルサイズとトレーニングトケン数とをほぼ均等に分けるが, ビデオ事前学習は, 高予算でのモデルサイズを適度に好んでいることを示している。
これらの結果は、効率的な長文拡散アーキテクチャの設計とスケーリングの基礎を確立している。
関連論文リスト
- LLaDA MoE v2: Scaling Mixture-of-Experts Diffusion Language Models [129.64558694024126]
拡散言語モデル(dLLM)は自己回帰(AR)言語モデリングの代替を提供する。
我々は, MoE dLLM に対するハイパーパラメータ, 計算割り当て, アーキテクチャスケールの最適化を特徴付ける。
23.5Tトークンで30B-A3B dLLMのLLaDA MoE v2をスクラッチからトレーニングします。
論文 参考訳（メタデータ） (2026-08-04T10:53:02Z) - DiffusionGemma Technical Report [72.10570774996219]
DiffusionGemma(ディフュージョン・ジェマ)は、離散拡散を用いてテキストを生成する言語モデルである。
DiffusionGemmaは、一度に1つのトークンをデコードする代わりに、256個のトークンのブロックを並列に繰り返し洗練する。
私たちの計算効率の良い2段階トレーニングパイプラインは、開始したARモデルの総トレーニングトークン予算の10%未満を使用します。
論文 参考訳（メタデータ） (2026-07-31T16:11:46Z) - MiniCPM-SALA: Hybridizing Sparse and Linear Attention for Efficient Long-Context Modeling [80.48332380100915]
MiniCPM-SALAは、疎注意の高忠実長文モデリングと線形注意のグローバル効率を統合するハイブリッドモデルである。
1つのNVIDIA A6000D GPUでは、256Kトークンのシーケンス長におけるフルアテンションモデルの推論速度が3.5倍に達する。
論文 参考訳（メタデータ） (2026-02-12T09:37:05Z) - LINA: Linear Autoregressive Image Generative Models with Continuous Tokens [56.80443965097921]
連続トークンを持つ自己回帰モデルは、特にテキスト・トゥ・イメージ(T2I)合成において、視覚生成に有望なパラダイムを形成する。
このフレームワーク内での計算効率のよい線形アテンションの設計法について検討する。
LINAは、線形注意に基づくシンプルで計算効率の良いT2Iモデルであり、ユーザ命令から高忠実度1024x1024画像を生成することができる。
論文 参考訳（メタデータ） (2026-01-30T06:44:33Z) - Breaking the Bottleneck with DiffuApriel: High-Throughput Diffusion LMs with Mamba Backbone [6.76700377196741]
両方向マンバのバックボーン上に構築されたマスク付き拡散言語モデルであるDiffuAprielを紹介する。
この結果から, 双方向状態空間アーキテクチャは, マスク拡散LMの強力なデノイザとして機能することが示唆された。
論文 参考訳（メタデータ） (2025-11-19T23:23:49Z) - Diffusion Language Models are Super Data Learners [61.721441061210896]
ユニークなデータが限られている場合、拡散言語モデル(DLM)は、よりエポックなトレーニングによって、常に自己回帰モデル(AR)を上回ります。
本研究の目的は,(1) 任意の次数モデリング,(2) 反復的双方向 denoising からの超高次計算,(3) モンテカルロ増分という3つの複合的要因に起因する。
論文 参考訳（メタデータ） (2025-11-05T08:17:42Z) - OmniSAT: Compact Action Token, Faster Auto Regression [70.70037017501357]
我々は、コンパクトで転送可能なアクション表現を学ぶOmni Swift Action Tokenizerを紹介する。
その結果、離散トークン化はトレーニングシーケンスを6.8$times$に短縮し、ターゲットエントロピーを低下させる。
論文 参考訳（メタデータ） (2025-10-08T03:55:24Z) - Spectral Compression Transformer with Line Pose Graph for Monocular 3D Human Pose Estimation [1.8999296421549172]
本稿では,SCT(Spectral Compression Transformer)を導入し,シーケンス長を削減し,計算を高速化する。
LPGは、入力された2D関節位置を補完する骨格位置情報を生成する。
本モデルでは,計算効率を向上し,最先端の性能を実現する。
論文 参考訳（メタデータ） (2025-05-27T15:08:03Z) - RainFusion: Adaptive Video Generation Acceleration via Multi-Dimensional Visual Redundancy [10.53687668536011]
RainFusionは、ビデオ品質を保ちながら注意計算を加速するために、視覚データに固有の空間性を利用する。
提案するbf RainFusionは,最先端の3D動画生成モデルにシームレスに統合可能なプラグアンドプレイ方式である。
論文 参考訳（メタデータ） (2025-05-27T11:15:02Z) - Systems and Algorithms for Convolutional Multi-Hybrid Language Models at Scale [68.6602625868888]
本稿では,2つの簡単な観測に基づいて,畳み込み型マルチハイブリッドアーキテクチャを提案する。
ハイブリッドモデルのオペレータは、インコンテキストリコール、マルチトークンリコール、圧縮などのトークン操作タスクにカスタマイズできる。
我々は、最適化されたトランスフォーマーの1.2倍から2.9倍、以前の世代のハイブリッドの1.1倍から1.4倍の速さでエンドツーエンドを訓練する。
論文 参考訳（メタデータ） (2025-02-25T19:47:20Z) - Large Scale Time-Series Representation Learning via Simultaneous Low and
High Frequency Feature Bootstrapping [7.0064929761691745]
本稿では,非コントラスト型自己教師型学習手法を提案する。
提案手法は生の時系列データを入力として、モデルの2つのブランチに対して2つの異なる拡張ビューを生成する。
モデルの堅牢性を実証するために,5つの実世界の時系列データセットに関する広範な実験とアブレーション研究を行った。
論文 参考訳（メタデータ） (2022-04-24T14:39:47Z) - Chimera: Efficiently Training Large-Scale Neural Networks with Bidirectional Pipelines [23.62360119212958]
本稿では,大規模モデルを効率的に学習するための双方向パイプラインを組み合わせた新しいパイプライン並列化手法であるChimeraを提案する。
最新の同期パイプラインアプローチと比較して、Chimeraはバブルの数を最大50%削減する。
Piz Daintスーパーコンピュータの2,048のGPUノード上で動作する13億のパラメータを持つGPT-2モデルにおいて、Chimeraは、最先端の同期および非同期パイプラインアプローチよりも1.16x-2.34xのトレーニングスループットを改善する。
論文 参考訳（メタデータ） (2021-07-14T18:16:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。