Fugu-MT 論文翻訳(概要): Exploring Diffusion Transformer Designs via Grafting

論文の概要: Exploring Diffusion Transformer Designs via Grafting

arxiv url: http://arxiv.org/abs/2506.05340v2
Date: Fri, 06 Jun 2025 17:59:47 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-09 17:28:43.098564
Title: Exploring Diffusion Transformer Designs via Grafting
Title（参考訳）: グラフティングによる拡散変圧器設計の探索
Authors: Keshigeyan Chandrasegaran, Michael Poli, Daniel Y. Fu, Dongjun Kim, Lea M. Hadzic, Manling Li, Agrim Gupta, Stefano Massaroli, Azalia Mirhoseini, Juan Carlos Niebles, Stefano Ermon, Li Fei-Fei,
Abstract要約: 計算予算の少ない新しいアーキテクチャを実現するために,事前に訓練された拡散変換器(DiT)を編集する簡単な手法であるグラフト方式を提案する。演算子置換からアーキテクチャ再構成に至るまで,事前訓練したDiTをグラフトすることで,新しい拡散モデルの設計を探索できることが示されている。
参考スコア（独自算出の注目度）: 82.91123758506876
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Designing model architectures requires decisions such as selecting operators (e.g., attention, convolution) and configurations (e.g., depth, width). However, evaluating the impact of these decisions on model quality requires costly pretraining, limiting architectural investigation. Inspired by how new software is built on existing code, we ask: can new architecture designs be studied using pretrained models? To this end, we present grafting, a simple approach for editing pretrained diffusion transformers (DiTs) to materialize new architectures under small compute budgets. Informed by our analysis of activation behavior and attention locality, we construct a testbed based on the DiT-XL/2 design to study the impact of grafting on model quality. Using this testbed, we develop a family of hybrid designs via grafting: replacing softmax attention with gated convolution, local attention, and linear attention, and replacing MLPs with variable expansion ratio and convolutional variants. Notably, many hybrid designs achieve good quality (FID: 2.38-2.64 vs. 2.27 for DiT-XL/2) using <2% pretraining compute. We then graft a text-to-image model (PixArt-Sigma), achieving a 1.43x speedup with less than a 2% drop in GenEval score. Finally, we present a case study that restructures DiT-XL/2 by converting every pair of sequential transformer blocks into parallel blocks via grafting. This reduces model depth by 2x and yields better quality (FID: 2.77) than other models of comparable depth. Together, we show that new diffusion model designs can be explored by grafting pretrained DiTs, with edits ranging from operator replacement to architecture restructuring. Code and grafted models: https://grafting.stanford.edu
Abstract（参考訳）: モデルアーキテクチャの設計には、演算子(例えば、注意、畳み込み)と構成(例えば、深さ、幅)を選択する必要がある。しかしながら、これらの決定がモデル品質に与える影響を評価するには、コストのかかる事前トレーニングが必要で、アーキテクチャ調査が制限される。既存のコード上に新しいソフトウェアを構築する方法に触発されて、私たちは次のような質問をした。事前トレーニングされたモデルを使って、新しいアーキテクチャ設計を研究できるだろうか? そこで本論文では,従来の分散トランスフォーマ (DiT) を簡易に編集し,計算予算の少ない新しいアーキテクチャを実現するためのグラフト処理を提案する。アクティベーションの挙動とアテンションの局所性について解析した結果,DiT-XL/2設計に基づくテストベッドを構築し,グラフト処理がモデル品質に与える影響について検討した。このテストベッドを用いて,ソフトマックスアテンションをゲート畳み込み,局所的アテンション,線形アテンションに置き換え,MLPを可変膨張比と畳み込み変種に置き換えた。特に、多くのハイブリッド設計は、2%の事前学習計算を用いて品質(FID: 2.38-2.64 vs. 2.27 for DiT-XL/2)を達成する。次にテキスト・トゥ・イメージ・モデル(PixArt-Sigma)を移植し、GenEvalスコアの2%以下で1.43倍の高速化を実現した。最後に,DiT-XL/2を1対の逐次変圧器ブロックをグラフトにより並列ブロックに変換することで再構成するケーススタディを提案する。これによりモデルの深さを2倍に減らし、同等の深さの他のモデルよりも優れた品質(FID: 2.77)が得られる。また, 演算子置換からアーキテクチャ再構成に至るまで, 事前学習したDiTをグラフトすることで, 新たな拡散モデル設計を探索できることが示唆された。コードとグラフトモデル:https://grafting.stanford.edu

関連論文リスト

Growing Transformers: Modular Composition and Layer-wise Expansion on a Frozen Substrate [0.0]
本稿では,非学習可能で決定論的な入力埋め込みの基礎の上に構築された,モデル開発のための代替的,建設的なアプローチについて検討する。異なるデータセットでトレーニングされたスペシャリストモデルは、単一のより有能なMixture-of-Expertsモデルにマージ可能であることを示す。そこで我々は,深層トランスフォーマーを段階的に積み重ねて,一度に1つのレイヤをトレーニングすることで,階層的に構築的なトレーニング手法を導入する。
論文参考訳（メタデータ） (2025-07-08T20:01:15Z)
ArchComplete: Autoregressive 3D Architectural Design Generation with Hierarchical Diffusion-Based Upsampling [0.0]
ArchCompleteはベクトル量子化モデルからなる2段階のボクセルベースの3D生成パイプラインである。パイプラインのキーとなるのは、(i) 2.5Dの知覚的損失とともに最適化された、ローカルなパッチ埋め込みのコンテキスト的にリッチなコードブックを学習することです。 ArchCompleteは643ドルという解像度で自動回帰的にモデルを生成し、それを5123ドルまで改良する。
論文参考訳（メタデータ） (2024-12-23T20:13:27Z)
STAR: Synthesis of Tailored Architectures [61.080157488857516]
本稿では, 適合型アーキテクチャ (STAR) の新規な合成手法を提案する。提案手法は線形入力可変系の理論に基づく新しい探索空間を結合し,階層的な数値エンコーディングをアーキテクチャゲノムに支持する。STARゲノムは,複数のモデル品質と効率の指標に最適化するために,勾配のない進化的アルゴリズムで自動的に精製・組換えされる。 STARを用いて、多種多様な計算単位と相互接続パターンを活用し、品質、パラメータサイズ、および自動回帰言語モデリングのための推論キャッシュのフロンティアにおける高度に最適化されたトランスフォーマーとストライプハイブリッドモデルを改善する。
論文参考訳（メタデータ） (2024-11-26T18:42:42Z)
Transformers to SSMs: Distilling Quadratic Knowledge to Subquadratic Models [92.36510016591782]
本稿では,事前学習したトランスフォーマーアーキテクチャを,状態空間モデル(SSM)などの代替アーキテクチャに蒸留する手法を提案する。提案手法はMOHAWKと呼ばれ、3Bトークンと5Bトークンを用いたハイブリッドバージョン(Hybrid Phi-Mamba)を用いてPhi-1.5アーキテクチャに基づくMamba-2変異体を蒸留することができる。 Phi-Mambaは、スクラッチからモデルのトレーニングに使用されるトレーニングデータの1%未満を使用してはいるが、過去のオープンソース非トランスフォーマーモデルと比較して、大幅にパフォーマンスが向上している。
論文参考訳（メタデータ） (2024-08-19T17:48:11Z)
Cross-Architecture Transfer Learning for Linear-Cost Inference Transformers [1.1499643186017316]
本稿では,トランスフォーマ言語モデルの効率を向上させるために,クロスアーキテクチャトランスファー学習(XATL)を提案する。 Methodabbrはトレーニング時間を最大2.5倍に削減し、同じ計算予算内でLMベンチマークで最大2.6%より強力なモデルで最小限に収束する。
論文参考訳（メタデータ） (2024-04-03T12:27:36Z)
MatFormer: Nested Transformer for Elastic Inference [91.45687988953435]
MatFormerは、多様なデプロイメント制約にまたがる弾性推論を提供するように設計された、新しいTransformerアーキテクチャである。 MatFormerは、標準的なTransformerモデルにネストフィードフォワードネットワーク(FFN)ブロック構造を組み込むことで、これを実現している。 8億5000万デコーダのみのMatFormer言語モデル(MatLM)により,5億2200万から8億5千万のパラメータにまたがる複数の小さなモデルを抽出できることを示す。
論文参考訳（メタデータ） (2023-10-11T17:57:14Z)
The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
論文参考訳（メタデータ） (2023-09-20T10:31:17Z)
Attention over pre-trained Sentence Embeddings for Long Document Classification [4.38566347001872]
変圧器はトークンの数に2次注意の複雑さがあるため、短いシーケンスに制限されることが多い。文を意味的に意味のある埋め込みから始めるために,事前学習した文変換器を活用することを提案する。本稿では,3つの標準文書分類データセットに対して,この簡単なアーキテクチャを用いて得られた結果について報告する。
論文参考訳（メタデータ） (2023-07-18T09:06:35Z)
Full Stack Optimization of Transformer Inference: a Survey [58.55475772110702]
トランスフォーマーモデルは広範囲のアプリケーションにまたがって優れた精度を実現する。最近のTransformerモデルの推測に必要な計算量と帯域幅は、かなり増加しています。 Transformerモデルをより効率的にすることに注力している。
論文参考訳（メタデータ） (2023-02-27T18:18:13Z)
Learning Augmentation Distributions using Transformed Risk Minimization [47.236227685707526]
本稿では,古典的リスク最小化の拡張として,新しいemphTransformed Risk Minimization(TRM)フレームワークを提案する。重要な応用として、与えられたクラスの予測器による分類性能を改善するために、学習強化に焦点を当てる。
論文参考訳（メタデータ） (2021-11-16T02:07:20Z)
Predicting Attention Sparsity in Transformers [0.9786690381850356]
本稿では, 遠心注意の空間パターンを計算前に同定するモデルであるスペーサーファインダーを提案する。我々の研究は、予測された注目グラフの間隔とリコールの間のトレードオフを広範囲に分析することで、モデル効率を研究するための新しい角度を提供する。
論文参考訳（メタデータ） (2021-09-24T20:51:21Z)
Generating Diverse Structure for Image Inpainting With Hierarchical VQ-VAE [74.29384873537587]
本稿では,異なる構造を持つ複数の粗い結果を第1段階で生成し,第2段階ではテクスチャを増補して各粗い結果を別々に洗練する,多彩な塗布用2段階モデルを提案する。 CelebA-HQ, Places2, ImageNetデータセットによる実験結果から,本手法は塗布ソリューションの多様性を向上するだけでなく,生成した複数の画像の視覚的品質も向上することが示された。
論文参考訳（メタデータ） (2021-03-18T05:10:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。