Fugu-MT 論文翻訳(概要): ReaDiT Guidance: Control for Image and Video Generation using Diffusion Transformer Features

論文の概要: ReaDiT Guidance: Control for Image and Video Generation using Diffusion Transformer Features

arxiv url: http://arxiv.org/abs/2609.04649v1
Date: Fri, 04 Sep 2026 02:30:18 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-07 18:15:23.880834
Title: ReaDiT Guidance: Control for Image and Video Generation using Diffusion Transformer Features
Title（参考訳）: ReaDiT Guidance:拡散変換器の特徴を用いた画像・映像生成の制御
Abstract要約: 本稿ではDiffusion Transformer(DiT)モデルで生成を制御するためのフレームワークであるDiT Readout (ReaDiT) Guidanceを提案する。 ReaDiT Guidanceは、単一のDiTブロックの機能を使用して、テスト時に提供される空間的ターゲットに応じて生成プロセスを制御します。
参考スコア（独自算出の注目度）: 43.21745581279017
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We present DiT Readout (ReaDiT) Guidance, a lightweight framework for controlling generation with Diffusion Transformer (DiT) models via their internal feature representations. ReaDiT Guidance uses features from a single DiT block to steer the generative process according to spatial targets - like depth, pose, or edge maps - provided at test time. Furthermore, since modern text-to-video models are largely built on DiT backbones, ReaDiT Guidance naturally extends to video generation, enabling camera and motion control. Experimental results demonstrate that our approach achieves competitive or improved results compared to existing feature-based and off-the-shelf adapter-based approaches while requiring fewer parameters.
Abstract（参考訳）: 本稿では,Diffusion Transformer(DiT)モデルによる生成を制御する軽量フレームワークであるDiT Readout (ReaDiT) Guidanceを紹介する。 ReaDiT Guidanceは、テスト時に提供される空間的ターゲット(深さ、ポーズ、エッジマップなど)に応じて生成プロセスを制御するために、1つのDiTブロックの機能を使用する。さらに、現代のテキスト・ビデオモデルは主にDiTのバックボーン上に構築されているため、ReaDiT Guidanceは自然にビデオ生成に拡張され、カメラとモーションコントロールが可能である。提案手法は,既存の機能ベースおよび市販アダプタベースのアプローチと比較して,より少ないパラメータを必要としながら,競争力や改善効果が得られることを示す。

関連論文リスト

QWERTY: Training-Free Motion Control via Query-Warped Video Diffusion Transformers [12.871297586071364]
ビデオ拡散変換器(DiT)は高忠実度かつ時間的に一貫性のあるビデオを生成するが、モーションコントロールは暗黙的に残っている。ユーザが定義したオブジェクトワープと光フローを介して、DiTのフレキシブルなモーション制御を可能にする、トレーニング不要のフレームワークであるQWERTYを紹介する。 QWERTYは,直近のイメージ・ツー・ビデオDiTにおいて,既存のトレーニング不要アプローチの中で最も効果的な動作制御を実現し,その性能は微調整方式に匹敵する。
論文参考訳（メタデータ） (2026-07-02T08:25:38Z)
DiTraj: training-free trajectory control for video diffusion transformer [34.05715460730871]
軌道制御は、制御可能なビデオ生成におけるユーザフレンドリなタスクを表す。提案するDiTrajは,DiTに適したテキスト・ビデオ生成におけるトラジェクトリ制御のためのトレーニングフリーフレームワークである。提案手法は,映像品質とトラジェクトリ制御性の両方において,従来の手法よりも優れていた。
論文参考訳（メタデータ） (2025-09-26T03:53:31Z)
TIDE : Temporal-Aware Sparse Autoencoders for Interpretable Diffusion Transformers in Image Generation [41.909091496502704]
拡散トランスフォーマー(Diffusion Transformers, DiTs)は、強力なが未探索な生成モデルのクラスである。解釈可能な拡散変換を行うためのTIDE-Temporal-aware sparse Autoencodersを提案する。
論文参考訳（メタデータ） (2025-03-10T08:35:51Z)
OminiControl: Minimal and Universal Control for Diffusion Transformer [68.3243031301164]
我々は,Diffusion Transformer(DiT)アーキテクチャに画像条件をどのように統合するかを再考する,新しいアプローチであるOminiControlを提案する。 OminiControlは3つの重要なイノベーションを通じて、これらの制限に対処する。
論文参考訳（メタデータ） (2024-11-22T17:55:15Z)
DiVE: DiT-based Video Generation with Enhanced Control [23.63288169762629]
時間的・多視点的な一貫したビデオを生成するために特別に設計された第1のDiTベースのフレームワークを提案する。具体的には、パラメータフリーな空間ビューインフレードアテンション機構を利用して、クロスビューの一貫性を保証する。
論文参考訳（メタデータ） (2024-09-03T04:29:59Z)
VD3D: Taming Large Video Diffusion Transformers for 3D Camera Control [74.5434726968562]
制御ネットライクなコンディショニング機構を用いて3次元カメラ制御のためのトランスフォーマー映像の改ざん方法を示す。我々の研究は、トランスフォーマーに基づくビデオ拡散モデルのカメラ制御を可能にする最初のものである。
論文参考訳（メタデータ） (2024-07-17T17:59:05Z)
Latent-Shift: Latent Diffusion with Temporal Shift for Efficient Text-to-Video Generation [115.09597127418452]
Latent-Shiftは、事前訓練されたテキスト・ツー・イメージ生成モデルに基づく効率的なテキスト・ツー・ビデオ生成手法である。 Latent-Shiftは、より効率的でありながら、同等またはより良い結果が得られることを示す。
論文参考訳（メタデータ） (2023-04-17T17:57:06Z)
TransVOD: End-to-end Video Object Detection with Spatial-Temporal Transformers [96.981282736404]
時空間トランスフォーマアーキテクチャに基づく最初のエンドツーエンドビデオオブジェクト検出システムであるTransVODを提案する。提案した TransVOD++ は,90.0% mAP の ImageNet VID の精度で,最先端のレコードを新たに設定する。提案したTransVOD Liteは,約30FPSで動作する場合に,83.7%のmAPで最高の速度と精度のトレードオフを実現する。
論文参考訳（メタデータ） (2022-01-13T16:17:34Z)
PnP-DETR: Towards Efficient Visual Analysis with Transformers [146.55679348493587]
近年、DeTRはトランスフォーマーを用いたソリューションビジョンタスクの先駆者であり、画像特徴マップを直接オブジェクト結果に変換する。最近の変圧器を用いた画像認識モデルとTTは、一貫した効率向上を示す。
論文参考訳（メタデータ） (2021-09-15T01:10:30Z)
End-to-End Video Object Detection with Spatial-Temporal Transformers [33.40462554784311]
本稿では,時空間トランスフォーマアーキテクチャに基づくエンドツーエンドのビデオオブジェクト検出モデルであるTransVODを提案する。本手法では,Seq-NMSやチューブレット再構成のような複雑な後処理は不要である。これらの設計により、ImageNet VIDデータセット上の大きなマージン(3%-4% mAP)で、強力なベースライン変形可能なDETRが向上した。
論文参考訳（メタデータ） (2021-05-23T11:44:22Z)
Visual Saliency Transformer [127.33678448761599]
RGBとRGB-Dの液状物体検出(SOD)のための、純粋な変圧器であるVST(Visual Saliency Transformer)に基づく新しい統一モデルを開発しました。イメージパッチを入力として取り、トランスフォーマーを利用してイメージパッチ間のグローバルコンテキストを伝搬する。実験結果から,RGBとRGB-D SODのベンチマークデータセットにおいて,本モデルが既存の最新結果を上回っていることが示された。
論文参考訳（メタデータ） (2021-04-25T08:24:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。