論文の概要: Should We Skip Diffusion?

• arxiv url: http://arxiv.org/abs/2610.07002v1
• Date: Sun, 04 Oct 2026 09:42:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.500598
• Title: Should We Skip Diffusion?
• Title（参考訳）: 拡散をスキップすべきか?
• Abstract要約: 安定トレーニングを維持しつつ,各エンコーダブロックの自己保持と操作の残余接続を除去するDDT-RFEを提案する。 画像分類、セマンティックセグメンテーション、オブジェクト発見、セマンティック対応など、視覚的理解タスク全体でのDDTに対する全体的な改善を実現している。 また、ImageNet上の画像生成のための低いFIDも実現している。
• 参考スコア（独自算出の注目度）: 28.21911063329243
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models learn semantic representations while generating images. In the Decoupled Diffusion Transformer (DDT), a condition encoder provides features that guide a velocity decoder in denoising. To enable effective denoising at all noise levels, these features must capture both high-level abstract structures and low-level details. However, skip/residual connections in the encoder allow shallow features to bypass successive transformations, which may limit progressive abstraction, or at least make it difficult to disentangle different levels of abstraction. We propose DDT-RFE, which removes the residual connections around the Self-Attention and MLP operations in each encoder block while maintaining stable training. To retain the information that abstraction discards but that the decoder still needs, we fuse the input patch embedding with intermediate and final encoder features to form the encoder output. The decoder thus has access to information from multiple encoder depths, while each encoder block is able to learn more abstract representations. DDT-RFE achieves overall improvements over DDT across visual understanding tasks, including image classification, semantic segmentation, object discovery, and semantic correspondence, while using fewer encoder blocks. It also achieves a lower FID for image generation on ImageNet.
• Abstract（参考訳）: 拡散モデルは、画像を生成しながら意味表現を学ぶ。 Decoupled Diffusion Transformer (DDT)では、条件エンコーダがベロシティデコーダをデノイングに導く機能を提供する。 ノイズレベルを効果的にデノナイズするためには、これらの機能は高レベルの抽象構造と低レベルの詳細の両方をキャプチャする必要がある。 しかし、エンコーダ内のスキップ/残留接続により、逐次的な変換をバイパスすることができるため、プログレッシブな抽象化を制限したり、少なくとも異なる抽象化レベルをアンタングルすることは困難である。 DDT-RFEは,各エンコーダブロックにおける自己注意操作とMLP操作の周囲の残余接続を,安定したトレーニングを維持しながら除去する。 抽象化が破棄されるがデコーダがまだ必要である情報を保持するために、中間および最終エンコーダ機能に埋め込まれた入力パッチを融合してエンコーダ出力を形成する。 これにより、デコーダは複数のエンコーダの深さから情報にアクセスでき、各エンコーダブロックはより抽象的な表現を学ぶことができる。 DDT-RFEは、画像分類、セマンティックセグメンテーション、オブジェクト発見、セマンティック対応を含む視覚的理解タスクにおけるDDTよりも全体的な改善を実現し、エンコーダブロックが少ない。 また、ImageNet上の画像生成のための低いFIDも実現している。

関連論文リスト

• Faster Diffusion: Rethinking the Role of the Encoder for Diffusion Model Inference [95.42299246592756]
  本稿では,UNetエンコーダについて検討し,エンコーダの特徴を実証的に分析する。 エンコーダの特徴は最小限に変化するが,デコーダの特徴は時間段階によって大きく異なる。 我々は、テキスト・ツー・ビデオ、パーソナライズド・ジェネレーション、参照誘導ジェネレーションといった他のタスクに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-12-15T08:46:43Z)
• Encoder-minimal and Decoder-minimal Framework for Remote Sensing Image Dehazing [13.759978932686519]
  RSHazeNetは、効率的なリモートセンシング画像デハージングのためのエンコーダ最小化およびデコーダ最小化フレームワークである。 我々は、ITFM(Intra-level Transposed fusion Module)と呼ばれる革新的なモジュールを開発する。
  論文  参考訳（メタデータ） (2023-12-13T02:35:02Z)
• More complex encoder is not all you need [0.882348769487259]
  我々は,強力なデコーダを構築するために,新しいサブピクセル・コンボリューションを組み込んだneU-Net(複雑なエンコーダではないU-Net)を導入する。 我々のモデル設計は、SynapseとACDCの両方のデータセット上で、最先端の手法を上回る優れた結果が得られる。
  論文  参考訳（メタデータ） (2023-09-20T08:34:38Z)
• MED-VT++: Unifying Multimodal Learning with a Multiscale Encoder-Decoder Video Transformer [12.544216587327387]
  本稿では,ビデオ中の高密度な予測タスクに着目した,エンドツーエンドのトレーニング可能なマルチスケールエンコーダ・デコーダ変換器を提案する。 提示されたMED-VT(Multiscale-Decoder Video)は、ビデオ全体にわたってマルチスケール表現を使用し、ビデオ以外の任意の入力を使用する。 本稿では,時間的に一貫したビデオ予測を提供するため,多対多のラベル伝搬によるトランスダクティブ学習方式を提案する。
  論文  参考訳（メタデータ） (2023-04-12T15:50:19Z)
• Divided Attention: Unsupervised Multi-Object Discovery with Contextually Separated Slots [65.302728042116]
  意味的アノテーションがない場合の視覚知覚における物体の出現について検討する。 得られたモデルは、監督を受けておらず、事前訓練された特徴を一切使用していないが、画像の領域を複数の移動領域に分割することができる。 結果として得られる動き分節法は、未知のさまざまなオブジェクトをリアルタイムで処理することができる。
  論文  参考訳（メタデータ） (2023-04-04T00:26:13Z)
• Reducing Redundancy in the Bottleneck Representation of the Autoencoders [98.78384185493624]
  オートエンコーダは教師なしニューラルネットワークの一種であり、様々なタスクを解くのに使用できる。 本稿では,ボトルネック表現における特徴冗長性を明示的に罰する手法を提案する。 我々は,3つの異なるデータセットを用いた次元削減,MNISTデータセットを用いた画像圧縮,ファッションMNISTを用いた画像デノナイズという,さまざまなタスクにまたがってアプローチを検証した。
  論文  参考訳（メタデータ） (2022-02-09T18:48:02Z)
• Modeling Lost Information in Lossy Image Compression [72.69327382643549]
  ロスシー画像圧縮は、デジタル画像の最もよく使われる演算子の1つである。 Invertible Lossy Compression (ILC) と呼ばれる新しい非可逆的フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-22T04:04:56Z)
• Rethinking and Improving Natural Language Generation with Layer-Wise Multi-View Decoding [59.48857453699463]
  シーケンシャル・ツー・シーケンス学習では、デコーダは注意機構に依存してエンコーダから情報を効率的に抽出する。 近年の研究では、異なるエンコーダ層からの表現を多様なレベルの情報に利用することが提案されている。 本稿では, 各デコーダ層に対して, グローバルビューとして機能する最後のエンコーダ層からの表現とともに, ソースシーケンスの立体視のために他のエンコーダ層からのデコーダ層からのデコーダ層を補足するレイヤワイド・マルチビューデコーダを提案する。
  論文  参考訳（メタデータ） (2020-05-16T20:00:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。