論文の概要: SlotDiT: Object-Centric Representations for Diffusion Transformers

• arxiv url: http://arxiv.org/abs/2609.17414v1
• Date: Tue, 15 Sep 2026 16:38:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.623745
• Title: SlotDiT: Object-Centric Representations for Diffusion Transformers
• Title（参考訳）: SlotDiT:拡散変換器のオブジェクト中心表現
• Abstract要約: SlotDiTは、スロットベースの潜在空間で動作するテキスト誘導拡散変換器(DiT)である。 スロットをDiT潜入子として使用すると、常にタスク完了率を向上しつつ、競争力のあるビデオ生成品質が得られることを示す。 本研究は,ロボット環境における拡散型生成モデルにおいて,オブジェクト中心構造が強力な帰納バイアスであることを示す。
• 参考スコア（独自算出の注目度）: 17.4778210092639
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-conditioned latent diffusion models perform strongly in video generation and are promising backbones for robotic applications. However, existing approaches rely on pixel-level or VAE-based latent representations that lack explicit semantic structure, leaving the impact of the representation space largely unexplored. Slot-based object-centric representations offer a structured alternative by decomposing scenes into object-level latents, or slots. While they have shown success in dynamics modeling and planning, they have not yet been explored for diffusion-based generative modeling. We introduce SlotDiT, a text-guided Diffusion Transformer (DiT) that operates in a slot-based latent space. Given a reference image and a language instruction, SlotDiT decomposes the scene into object-centric slots representing individual entities. Conditioned on the instruction and observed scene context, the model autoregressively denoises future slot trajectories to predict scene dynamics. To systematically investigate latent-space design for diffusion transformers, we compare slot-based representations against VAE-based and semantics-aligned alternatives within a unified DiT framework. Our experiments show that using slots as DiT latents yields competitive video generation quality while consistently improving task-completion rates across four robotic datasets. Furthermore, their compact representation provides a computationally efficient alternative to VAE-based and semantics-aligned latent spaces. Overall, our results demonstrate that object-centric structure is a powerful inductive bias for diffusion-based generative modeling in robotic environments. The project page is available at https://slot-dit.github.io/.
• Abstract（参考訳）: テキスト条件付き潜伏拡散モデルはビデオ生成において強く機能し、ロボット応用に期待できるバックボーンである。 しかし、既存のアプローチは、明示的な意味構造を持たないピクセルレベルまたはVAEベースの潜在表現に依存しており、表現空間の影響はほとんど探索されていない。 スロットベースのオブジェクト中心表現は、シーンをオブジェクトレベルのラテントまたはスロットに分解することで、構造化された代替手段を提供する。 彼らは動的モデリングと計画に成功しているが、拡散に基づく生成モデルについてはまだ研究されていない。 スロットベースの潜在空間で動作するテキスト誘導拡散変換器(DiT)であるSlotDiTを紹介する。 参照イメージと言語命令が与えられた後、SlotDiTはシーンを個々のエンティティを表すオブジェクト中心のスロットに分解する。 命令と観察されたシーンコンテキストに基づいて、モデルは将来のスロットトラジェクトリを自己回帰的に識別し、シーンのダイナミクスを予測する。 拡散変圧器の潜時空間設計を体系的に研究するために,統合されたDiTフレームワーク内でのVAEおよびセマンティクスに整合した代替品に対するスロットベース表現を比較した。 実験の結果、スロットをDiT潜伏剤として使用すると、競争力のあるビデオ生成の品質が得られ、4つのロボットデータセットにおけるタスク補完率が一貫して向上することがわかった。 さらに、それらのコンパクト表現は、VAEベースのセマンティックス整列空間に対する計算的に効率的な代替を提供する。 本研究は,ロボット環境における拡散型生成モデルにおいて,オブジェクト中心構造が強力な帰納バイアスであることを示す。 プロジェクトページはhttps://slot-dit.github.io/.com/で公開されている。

関連論文リスト

• Slot-RAE: Streamlining Object-Centric Learning via Direct Representation Auto-Encoders [44.055446967139424]
  Slot-RAEは視覚基盤モデルの連続的な意味的特徴空間内で直接動作する。 VAEボトルネックやタスクに依存しない生成前トレーニングの必要性を排除します。 同等に教師なしのオブジェクト発見、高忠実度画像再構成、堅牢なゼロショット合成を提供する。
  論文  参考訳（メタデータ） (2026-07-13T07:47:09Z)
• Exploring Representation-Aligned Latent Space for Better Generation [86.45670422239317]
  生成性能を改善するために,セマンティックな事前情報を統合するReaLSを導入する。 本研究では、ReaLSでトレーニングされたDETとSiTが、FID測定値の15%改善を実現することを示す。 拡張されたセマンティック潜在空間は、セグメンテーションや深さ推定のようなより知覚的な下流タスクを可能にする。
  論文  参考訳（メタデータ） (2025-02-01T07:42:12Z)
• EnerVerse: Envisioning Embodied Future Space for Robotics Manipulation [55.26713167507132]
  本稿では,エンボディ空間の構築と解釈を行う生成ロボティクス基礎モデルを提案する。 EnerVerseは、自己回帰的ビデオ拡散フレームワークを使用して、命令から将来のエンボディドスペースを予測する。 本稿では,生成モデルと4次元ガウススプラッティングを組み合わせたデータエンジンパイプラインであるEnerVerse-Dについて述べる。
  論文  参考訳（メタデータ） (2025-01-03T17:00:33Z)
• LaVin-DiT: Large Vision Diffusion Transformer [99.98106406059333]
  LaVin-DiTは、20以上のコンピュータビジョンタスクを生成フレームワークで扱うために設計された、スケーラブルで統一された基盤モデルである。 視覚タスクの生成性能を最適化するための重要なイノベーションを紹介する。 このモデルは0.1Bから3.4Bのパラメータに拡張され、様々な視覚タスクにまたがる相当なスケーラビリティと最先端の性能を示す。
  論文  参考訳（メタデータ） (2024-11-18T12:05:27Z)
• SlotDiffusion: Object-Centric Generative Modeling with Diffusion Models [47.986381326169166]
  SlotDiffusion - 画像データとビデオデータの両方に設計されたオブジェクト中心の潜在拡散モデル(LDM)を紹介する。 LDMの強力なモデリング能力のおかげで、SlotDiffusionは教師なしオブジェクトセグメンテーションと視覚生成において、以前のスロットモデルを上回っている。 学習対象の特徴は、既存のオブジェクト中心のダイナミックスモデルによって利用することができ、ビデオ予測品質と下流時間推論タスクを改善することができる。
  論文  参考訳（メタデータ） (2023-05-18T19:56:20Z)
• Object-Centric Slot Diffusion [30.722428924152382]
  本稿では,2つの目的を果たす新しいモデルであるLatent Slot Diffusion(LSD)を紹介する。 我々はLSDが最先端のトランスフォーマーベースのデコーダよりも大幅に優れていることを示した。 また,LSDにおける事前学習拡散モデルの統合について予備的検討を行った。
  論文  参考訳（メタデータ） (2023-03-20T02:40:16Z)
• PnP-DETR: Towards Efficient Visual Analysis with Transformers [146.55679348493587]
  近年、DeTRはトランスフォーマーを用いたソリューションビジョンタスクの先駆者であり、画像特徴マップを直接オブジェクト結果に変換する。 最近の変圧器を用いた画像認識モデルとTTは、一貫した効率向上を示す。
  論文  参考訳（メタデータ） (2021-09-15T01:10:30Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。