Fugu-MT 論文翻訳(概要): Fixed-Point Masked Generative Modeling

論文の概要: Fixed-Point Masked Generative Modeling

arxiv url: http://arxiv.org/abs/2605.31215v1
Date: Fri, 29 May 2026 12:19:26 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-01 20:56:50.594555
Title: Fixed-Point Masked Generative Modeling
Title（参考訳）: 固定点マスキング生成モデル
Abstract要約: Masked Generative Models (MGM) は並列デコードを可能にし、モダリティをまたいだ強力な性能を実現する。フルシーケンスの双方向トランスフォーマーを各ステップで必要としており、低サンプリング予算下でのトレーニングのコストと品質の低下を図っている。本稿では,固定点マスキング生成モデル (FP-MGM) を導入し,共有注意層上での定点解法をデノイザの一部に置き換える。
参考スコア（独自算出の注目度）: 35.75652770369505
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Masked Generative Models (MGMs) enable parallel decoding and achieve strong performance across modalities, but require full-sequence bidirectional transformers at every step, making training costly and degrading quality under low sampling budgets. Existing work improves efficiency via better samplers or cheaper fixed-depth denoisers, but they still allocate a fixed amount of denoiser computation to each refinement step. We introduce Fixed-Point Masked Generative Models (FP-MGMs), which replace part of the denoiser with a fixed-point solver over shared attention layers to enable adaptive depth with fewer parameters. To make it more effective for masked generation, we first introduce a cross-step consistency loss, which aligns hidden representations at neighboring denoising steps and, second, three-state reuse (3SR) which warm-starts the solver using the previous solution by treating differently unchanged, still-masked, and newly revealed tokens respectively. Together, these components define our complete training-to-inference framework for fixed-point masked generation, \emph{CoFRe}. We also show that pre-trained MGMs can be converted into FP-MGMs with short fine-tuning, avoiding full retraining. Across modalities, CoFRe improves the quality and cost trade-off. On OpenWebText, CoFRe reduces parameters by 38.8\%, training time by 11.5\%, and VRAM by 16.9\%, while improving generative perplexity from 830.8 to 101.8 at a budget of $96$ transformer-block forward passes, compared to MDLM. In ImageNette, CoFRe reduces training time by 48.6\% and VRAM by 50.7\%, while improving FID in all sample budgets tested. Overall, CoFRe offers a practical framework for cheaper training and stronger low-budget masked generation.
Abstract（参考訳）: Masked Generative Models (MGM) は並列デコードを実現し、モダリティをまたいだ強力なパフォーマンスを実現するが、全てのステップでフルシーケンスの双方向トランスフォーマーを必要とし、低サンプリング予算下でのトレーニングと品質の低下を図っている。既存の作業は、より優れたサンプリング器やより安価な固定深度デノイザによって効率を向上するが、それでも各精錬工程に一定の量のデノイザ計算を割り当てている。本稿では,固定点マスキング生成モデル(FP-MGM)を導入し,より少ないパラメータで適応深度を実現するために,共有注意層上の固定点ソルバをデノイザの一部に置き換える。マスク生成をより効果的にするために、まず近隣の認知段階における隠蔽表現を整列するクロスステップ整合性損失を導入し、第2の3状態再利用(3SR)では、異なる変化のない、静止した、新しいトークンをそれぞれ処理することで、従来の解法を用いて解法を暖房する。これらのコンポーネントは、固定ポイントマスキング生成のための完全なトレーニング・ツー・推論フレームワークである \emph{CoFRe} を定義する。また, 事前訓練したMGMをFP-MGMに変換し, 短時間の微調整を行い, 完全再訓練を回避できることを示した。モダリティ全体にわたって、CoFReは品質とコストのトレードオフを改善している。 OpenWebText では、CoFRe はパラメータを 38.8 %、トレーニング時間を 11.5 %、VRAM を 16.9 % 削減し、生成パープレキシティを 830.8 から 101.8 に改善した。 ImageNetteでは、CoFReはトレーニング時間を48.6\%、VRAMを50.7\%削減し、テスト対象のすべてのサンプル予算でFIDを改善している。全体として、CoFReはより安価なトレーニングとより強力な低予算マスク生成のための実践的なフレームワークを提供する。

関連論文リスト

Discrete Stochastic Localization for Non-autoregressive Generation [17.56505846228918]
エンハンチングだけでMDLM/ReMDMサンプリングのステップ効率を大幅に改善できることを示す。 OpenWebTextでは、textsc fine-tuningはMDLM+ReMDMを上回り、低ステップの予算でMAUVEが大きな利益を得る。分析の結果、自己補正と不確実性の校正が改善され、リマキングは計算効率が著しく向上した。
論文参考訳（メタデータ） (2026-02-18T04:05:40Z)
Learn from Your Mistakes: Self-Correcting Masked Diffusion Models [31.536464269884103]
マスク付き拡散モデル(MDM)は自己回帰モデルに代わる有望な代替品として登場している。本研究では、モデルにアンマキングと修正の両方を行うよう訓練するフレームワークを提案する。トレーニングとサンプリングの手法をProSeCo(Progressive Self-Correction)と名付けました。
論文参考訳（メタデータ） (2026-02-12T05:17:31Z)
MeanFlow Transformers with Representation Autoencoders [71.45823902973349]
MeanFlow(MF)は、ノイズからデータへのジャンプを直接学習することで、効率的な数ステップ生成を可能にする拡散動機付き生成モデルである。我々は、表現オートエンコーダ(RAE)の潜在空間におけるMFの効率的なトレーニングとサンプリング手法を開発する。 1ステップのFIDが2.03であり,バニラMFの3.43を上回っ,GFLOPSのサンプリングを38%削減し,ImageNet 256のトレーニングコストを83%削減した。
論文参考訳（メタデータ） (2025-11-17T06:17:08Z)
CoMA: Complementary Masking and Hierarchical Dynamic Multi-Window Self-Attention in a Unified Pre-training Framework [38.280496016533355]
Masked Autoencoders (MAE)は、視覚トークンの一部をランダムに除去し、原画像をプリテキストタスクとして再構成することにより、画像表現の自己教師付き学習を実現する。本研究では,全画素の均一サンプリングを保証するために,補完マスク方式を用いた補完マスク付きオートエンコーダ(CoMA)を提案する。 DM-MSA(Dynamic Multi-Window Self-Attention)を用いた階層型視覚変換器DyViTについても紹介する。
論文参考訳（メタデータ） (2025-11-08T08:43:41Z)
EDFFDNet: Towards Accurate and Efficient Unsupervised Multi-Grid Image Registration [17.190325630307097]
本稿では指数デカイ基底関数を用いた自由形変形を用いた指数デカイ自由形変形ネットワーク(EDFFDNet)を提案する。密接な相互作用をスパースなものにすることで、ASMAはパラメータを減らし、精度を向上させる。 EDFFDNetは、パラメータ、メモリ、総ランタイムをそれぞれ70.5%、32.6%、33.7%削減することを示した。 EDFFDNet-2はより少ない計算コストを維持しながらPSNRを1.06dB改善する。
論文参考訳（メタデータ） (2025-09-09T12:30:51Z)
OP-LoRA: The Blessing of Dimensionality [93.08208871549557]
低ランクアダプタは、少数のパラメータしか持たない大型モデルの微調整を可能にする。しばしば最適化の課題を提起するが、収束性は低い。推論コストを増大させることなく、トレーニングを加速する過剰パラメータ化アプローチを導入する。視覚言語タスクの改善、特に画像生成の顕著な向上を実現している。
論文参考訳（メタデータ） (2024-12-13T18:55:19Z)
Progressive Mixed-Precision Decoding for Efficient LLM Inference [49.05448842542558]
我々は,デコーディングのメモリバウンドネスに対処するために,プログレッシブ・ミックス・プレシジョン・デコーディング(PMPD)を導入する。 PMPDはfp16モデルの行列ベクトル乗算において1.4$-$12.2$times$ Speedupを達成する。我々の手法は、fp16モデルよりも3.8$-$8.0$times$、均一量子化アプローチよりも1.54$times$のスループット向上をもたらす。
論文参考訳（メタデータ） (2024-10-17T11:46:33Z)
Stretching Each Dollar: Diffusion Training from Scratch on a Micro-Budget [53.311109531586844]
大規模T2I拡散変圧器モデルの低コスト化を実証する。我々は16億のパラメータスパーストランスをわずか1890ドルの経済的コストで訓練し、ゼロショット世代で12.7 FIDを達成する。我々は、マイクロ予算での大規模拡散モデルのトレーニングをさらに民主化するために、エンドツーエンドのトレーニングパイプラインをリリースすることを目指している。
論文参考訳（メタデータ） (2024-07-22T17:23:28Z)
Online Convolutional Re-parameterization [51.97831675242173]
2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
論文参考訳（メタデータ） (2022-04-02T09:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。