論文の概要: LiFT: Loop Flow Transformers

• arxiv url: http://arxiv.org/abs/2610.05538v1
• Date: Sun, 04 Oct 2026 21:11:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 13:11:09.084532
• Title: LiFT: Loop Flow Transformers
• Title（参考訳）: LiFT: ループフロートランス
• Abstract要約: ループフロー変換器(LiFT)は、共有拡散変換器(DiT)コアを繰り返し適用することにより、計算をスケールする。 LiFTは各ステップを1つの回帰目標(モデルの初期推定からフローマッチング目標への直線経路上の点)で訓練する。 256x256のImageNetでは、LiFT-L/2は高密度のDiT-XL/2ベースラインよりもFID 3.34ポイント低い。
• 参考スコア（独自算出の注目度）: 50.488069867161556
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Loop Flow Transformers (LiFT), a family of looped generative models that scales computation by repeatedly applying a shared Diffusion Transformer (DiT) core, with only light changes to the standard architecture. Rather than asking every recurrent step for the final prediction, LiFT trains each step with a single regression target: a point on a straight path from the model's initial estimate to the flow-matching target. Because we index these targets by a continuous depth coordinate, a trained model can loop far beyond its training depth with no retraining, early exits, or other modifications. In our experiments, these longer rollouts improve generation, so inference computation can grow without adding parameters. On ImageNet at 256x256, LiFT-L/2 achieves an FID 3.34 points lower than our dense DiT-XL/2 baseline while using approximately 60% fewer parameters, 32% fewer training FLOPs, and 52% fewer inference FLOPs.
• Abstract（参考訳）: 本稿では,共有拡散変換器(DiT)コアを繰り返し適用することにより,計算をスケールするループ生成モデルのファミリであるLoop Flow Transformer(LiFT)を紹介する。 最終的な予測のために全ての繰り返しステップを尋ねるのではなく、LiFTは各ステップを単一の回帰目標(モデルの初期推定からフローマッチング目標への直線的な経路上の点)で訓練する。 これらのターゲットを連続的な深度座標でインデックスするので、トレーニングされたモデルは、トレーニングや早期出口、その他の修正なしに、トレーニングの深度をはるかに超えることができる。 実験では、これらの長いロールアウトにより生成が向上し、パラメータを追加することなく推論計算が成長する。 ImageNet at 256x256 では、LiFT-L/2 は高密度の DiT-XL/2 ベースラインよりも FID 3.34 ポイント低くなり、約60% のパラメータ、32% のトレーニング FLOP 、32% のトレーニング FLOP 、そして 52% の推論 FLOP を使用する。

関連論文リスト

• LoopVAE: Recurrent Depth Across Scales for Visual Tokenization [3.805468327504537]
  LoopVAEはスケールとループ条件のコアをスケール内で再利用する。 4ブロックコアはエンコーダまたはデコーダ毎に28ブロックアプリケーションを実行する。 同じ実行グラフを持つ非逆変換器アブレーションは、グローバルな共有の下で競合するPSNRとSSIMを見つける。
  論文  参考訳（メタデータ） (2026-09-10T13:20:03Z)
• SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers [50.00050394179417]
  ループ変換器はレイヤの共有ブロックを繰り返すことで効果的な深さを増大させるが、ほとんどの評価は固定モデルサイズと比較される。 混合演算変換器のループ化について検討し, トーケン毎のFLOP, 総非埋め込みパラメータ, およびKVキャッシュを密にマッチングする。 一連のアブリケーションを通じて、私たちはSMELTと呼ばれるレシピに到達します。これは3つの予算のすべてで未ループのBaselineにマッチしながら、レイヤの中央半分を2回ループします。
  論文  参考訳（メタデータ） (2026-09-01T14:52:57Z)
• Rethinking Pixel Mean Flows via Interval Denoiser [95.11499828543344]
  潜在自由生成のためのフレームワークであるInterval Denoiserを提案する。 その結果,FIDは1ステップ (1-NFE) で4.55, 2ステップ (2-NFE) で3.98であった。
  論文  参考訳（メタデータ） (2026-08-05T13:22:43Z)
• Hidden Decoding at Scale: Latent Computation Scaling for Large Language Models [75.80275843320511]
  トランスフォーマーのバックボーンを固定したまま、各トークンにより多くの計算を割り当てることで、既存のバックボーンが改善を続けることができるかどうかを検討する。 継続事前学習中に適用されたシーケンス長スケーリング手法であるHidden Decodingを提案する。
  論文  参考訳（メタデータ） (2026-07-09T07:37:59Z)
• KPGrasp: Scalable Keypoint Flow Matching for Dexterous Grasp Generation [23.028638559051597]
  KPGraspは,大規模データから事前の詳細な把握を学習するフローマッチングフレームワークである。 20の多様なオブジェクトに対する実験は、パイプラインを現実世界のセットアップでデプロイできることを示しています。
  論文  参考訳（メタデータ） (2026-06-08T10:19:29Z)
• MeanFlow Transformers with Representation Autoencoders [71.45823902973349]
  MeanFlow(MF)は、ノイズからデータへのジャンプを直接学習することで、効率的な数ステップ生成を可能にする拡散動機付き生成モデルである。 我々は、表現オートエンコーダ(RAE)の潜在空間におけるMFの効率的なトレーニングとサンプリング手法を開発する。 1ステップのFIDが2.03であり,バニラMFの3.43を上回っ,GFLOPSのサンプリングを38%削減し,ImageNet 256のトレーニングコストを83%削減した。
  論文  参考訳（メタデータ） (2025-11-17T06:17:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。