論文の概要: Video-Rate Streaming Stylization on a Vision-Aware MLLM-Conditioned Edit Diffusion: Asymmetric Batched Inference on a Distilled UNet + MLLM Text Encoder

• arxiv url: http://arxiv.org/abs/2606.05981v1
• Date: Thu, 04 Jun 2026 10:24:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.722111
• Title: Video-Rate Streaming Stylization on a Vision-Aware MLLM-Conditioned Edit Diffusion: Asymmetric Batched Inference on a Distilled UNet + MLLM Text Encoder
• Title（参考訳）: ビジョン対応MLLM-Conditioned Edit Diffusion上のビデオレートストリーミングスティル化:蒸留UNet+MLLMテキストエンコーダ上の非対称バッチ推論
• Authors: Yoshiyuki Ootani,
• Abstract要約: 拡散U-Netの攻撃的蒸留は、リアルタイムテキスト・ツー・イメージパイプラインのフレーム単位のボトルネックを逆転させる。 本稿では,3つのエンジニアリングメカニズムを中心に構築されたストリーミングパイプラインについて述べる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Aggressive distillation of the diffusion U-Net inverts the per-frame bottleneck of real-time text-to-image pipelines: once the denoiser is a 4-step or 1-step distilled student, the text encoder becomes the critical path. This inversion is most acute in vision-aware edit diffusion, where the encoder is a multimodal large language model (MLLM). We study the case of a 0.39B distilled edit U-Net paired with a 2.13B MLLM text encoder (Qwen3-VL) and present a streaming pipeline targeted at this regime built around three engineering mechanisms: asymmetric side-stream / main-stream CUDA pipelining with batched text-encoder amortisation (and optional static-prompt caching), a compile-friendly ControlNet-LLLite reformulation that folds the entire U-Net + adapter stack into a single fused graph, and a periodic conditioning-refresh schedule with a hook subset that amortises the per-frame conditioning cost. On a single consumer RTX 3090 Ti at 512x512 the pipeline sustains 27.4 fps over a 480-frame run at batch size B=8 and 29.6 fps at B=16, with end-to-end p50 latency of approximately 0.5 and 1.0 seconds respectively; the same operating point measures 54.9 fps on RTX 4090 and 74.1 fps on RTX 5090. We report video-rate streaming throughput rather than interactive low latency, and locate our numbers against same-stack StreamDiffusion re-runs as systems context, not as a benchmark superiority claim. For the trained oil-painting style, the released temporal adapter generalises within in-clip noise to 19 unused DAVIS-2017 sequences and 15 non-DAVIS clips from seven sources; prompt-level generalisation to unseen style families is bounded and reported separately.
• Abstract（参考訳）: 拡散U-Netの攻撃的蒸留は、リアルタイムテキスト・ツー・イメージパイプラインのフレーム単位のボトルネックを逆転させ、デノイザが4ステップまたは1ステップの蒸留学生であれば、テキストエンコーダがクリティカルパスとなる。 エンコーダはマルチモーダル大言語モデル(MLLM)である。 我々は,2.13B MLLM テキストエンコーダ (Qwen3-VL) と組み合わせた 0.39B 蒸留された編集 U-Net の事例について検討し,非対称なサイドストリーム/メインストリームCUDAパイプライニングとバッチされたテキストエンコーダのアモート化 (およびオプションの静的プロンプトキャッシュ) ,U-Net + アダプタスタック全体を1つのフューズグラフに折り畳むコンパイルフレンドリな ControlNet-LLLite 再構成,フレーム単位のコンディショニングコストを補正するフックサブセットによる定期的条件更新スケジュール,という3つの技術機構を中心に構築されたストリーミングパイプラインを提示する。 RTX 3090 Ti at 512x512では、パイプラインはバッチサイズB=8で480フレームで27.4fps、B=16で29.6fps、それぞれエンドツーエンドのp50レイテンシは0.5秒と1.0秒であり、RTX 4090では54.9fps、RTX 5090では74.1fpsである。 我々は、インタラクティブな低レイテンシではなく、ビデオレートのストリーミングスループットを報告し、ベンチマーク上の優越性要求としてではなく、システムコンテキストとして、同じスタックのStreamDiffusionに対して、我々の数値を再実行します。 訓練されたオイル塗装スタイルでは、リリースされたテンポラルアダプタは、7つのソースから19個の未使用DAVIS-2017シーケンスと15個の非DAVISクリップにインクリップノイズを一般化する。

関連論文リスト

• Accelerating Video Inverse Problem Solvers with Autoregressive Diffusion Models [59.36933513963735]
  拡散モデルは、ゼロショットビデオ逆問題に対して強力な先行情報を提供する。 彼らのリアルタイムデプロイメントは、2つの非効率さによって妨げられている: 全体的ビデオ復元による高い初期遅延と、複数のVAEパスによる低スループットである。 本稿では,これらの制限を克服するために,自動回帰ビデオ逆問題解法(AVIS)を提案する。
  論文  参考訳（メタデータ） (2026-05-20T02:16:30Z)
• SpaCeFormer: Fast Proposal-Free Open-Vocabulary 3D Instance Segmentation [82.87586897359367]
  SpaCeFormerはプロポーザルフリーのスペースカーブトランスであり、1シーンあたり0.14秒で動作する。 SpaCeFormerは、以前のシングルビューパイプラインよりも21倍高いマスクリコールを実現している。 ScanNet200では、従来のベストプロポーザルフリーメソッドよりも2.8倍改善された11.1ゼロショットのmAPを実現しています。
  論文  参考訳（メタデータ） (2026-04-22T09:57:57Z)
• Pushing the Limits of On-Device Streaming ASR: A Compact, High-Accuracy English Model for Low-Latency Inference [5.685908474026849]
  エッジデバイス上での高品質な自動音声認識(ASR)は、GPUアクセラレーションなしでCPUで完全に動作している間に、精度、レイテンシ、メモリフットプリントを共同で最適化するモデルを必要とする。 我々は,エンコーダデコーダ,トランスデューサ,LDMベースのパラダイムを包含し,バッチ,チャンク,ストリーミング推論モードで評価する,最先端のASRアーキテクチャの体系的研究を行った。 推奨構成であるint4 k-quant変種は、8つの標準ベンチマークで平均8.20%のストリーミングWERを実現し、0.56秒のアルゴリズムレイテンシでCPU上でのリアルタイムよりも快適に動作します。
  論文  参考訳（メタデータ） (2026-04-16T00:04:32Z)
• Small Vision-Language Models are Smart Compressors for Long Video Understanding [73.65465038390771]
  長時間のビデオ理解は、欲求に満ちたコンテキストではなく、意図駆動の効率に頼っている。 本稿では,下流の理解のために長い動画を圧縮する効率的なクエリ認識フレームワークであるTempoを提案する。 テストでは、Tempoが1時間のビデオを理論的限界以下に圧縮し、真のロングフォームビデオ理解が意図駆動の効率に依存することを示した。
  論文  参考訳（メタデータ） (2026-04-09T11:40:25Z)
• FluxMem: Adaptive Hierarchical Memory for Streaming Video Understanding [49.23912975740968]
  FluxMemは階層的な2段階の設計を通じて冗長な視覚記憶を適応的に圧縮する。 既存のオンラインビデオベンチマークで、最先端の結果を新たに達成する。 強力なオフライン性能を維持し、MLVUで73.1を達成し、65%のビジュアルトークンを使用する。
  論文  参考訳（メタデータ） (2026-03-02T17:16:47Z)
• Accelerating Video Generation Inference with Sequential-Parallel 3D Positional Encoding Using a Global Time Index [11.944339418621693]
  因果自己回帰ビデオ生成パイプラインに対するシステムレベルの推論最適化を実装した。 5秒の480Pビデオでは、1.58倍のスピードアップが達成され、リアルタイムインタラクティブアプリケーションに対する効果的なサポートを提供する。
  論文  参考訳（メタデータ） (2026-03-02T10:18:18Z)
• StreamDiffusionV2: A Streaming System for Dynamic and Interactive Video Generation [65.90400162290057]
  生成モデルは、コンテンツの作り方、スタイル、配信方法を再定義することで、ライブストリーミング業界を変革している。 ビデオ拡散の最近の進歩は、オフライン生成のための時間的一貫性とサンプリング効率を著しく改善した。 ライブオンラインストリーミングは厳しいサービスレベル(SLO)の下で動作します。 タイム・ツー・ファーストフレームは最小限でなければなりません。
  論文  参考訳（メタデータ） (2025-11-10T18:51:28Z)
• StreamDiffusion: A Pipeline-level Solution for Real-time Interactive Generation [52.56469577812338]
  本稿では,インタラクティブな画像生成のためのリアルタイム拡散パイプラインStreamDiffusionを紹介する。 既存の拡散モデルは、テキストや画像プロンプトから画像を作成するのに適しているが、リアルタイムのインタラクションでは不足することが多い。 本稿では,従来のシーケンシャル・デノナイジングをデノナイジング・プロセスに変換する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-12-19T18:18:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。