論文の概要: Training-Free Hidden-State Refinement for Flow-Matching Image Generators
- arxiv url: http://arxiv.org/abs/2608.29160v1
- Date: Sat, 29 Aug 2026 09:17:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:30.862942
- Title: Training-Free Hidden-State Refinement for Flow-Matching Image Generators
- Title（参考訳）: フローマッチング画像生成装置の非学習型隠れ状態補正
- Abstract要約: 着信毎に選択したトランスフォーマー層を繰り返し適用する学習自由ループフレームワークを提案する。
2つのスケール-RAEモデルスケールで、ループ変種は、競合する品質-効率のトレードオフを伴う一次および補助的な品質指標を改善する。
- 参考スコア（独自算出の注目度）: 13.43479682921888
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We aim to improve frozen flow-matching image generators by adding inference computation inside the denoiser, without changing model weights or the outer sampler. Existing generators usually spend extra test-time computation by increasing the number of sampling steps, which repeatedly evaluates the entire denoiser and couples quality gains to sampler cost. A key challenge is how to use extra computation inside a frozen transformer denoiser: the method must decide which tokens, layers, and sampling times receive repeated updates while preserving the original generation pipeline. We introduce a training-free looping framework that repeatedly applies selected transformer layers inside each denoising call. Dense and Sparse Token Loop vary the token scope; Sampling-Progress Gating and the loop layer range specify when and where looping is active; loop count and strength control the repeated updates; and Loop Guidance combines ordinary and looped vector-field predictions. Across two Scale-RAE model scales, loop variants improve primary and auxiliary quality metrics with competitive quality--efficiency trade-offs. Loop Guidance further improves both primary metrics across all three tested models; on Scale-RAE DiT2.4B, it raises GenEval from 0.4471 to 0.5691 and DPG-Bench from 0.7656 to 0.8053. Code will be released.
- Abstract（参考訳）: 本研究では, モデル重みや外部サンプリング装置を変更することなく, デノイザ内部に推論計算を追加することにより, 凍結流マッチング画像生成装置の改善を図っている。
既存のジェネレータは通常、サンプリングステップの数を増やすことで余分なテスト時間計算に費やされる。
キーとなる課題は、フリーズされたトランスフォーマーデノイザ内で余分な計算を使用する方法である。元の生成パイプラインを保存しながら、どのトークン、レイヤ、サンプリング時間が繰り返し更新されるかを決定する必要がある。
着信毎に選択したトランスフォーマー層を繰り返し適用する学習自由ループフレームワークを提案する。
Dense と Sparse Token Loop はトークンの範囲によって異なり、サンプリング・プログレス・ゲーティングとループ層の範囲はループがアクティブなタイミングと場所を指定し、ループ数と強度は繰り返し更新を制御する。
2つのスケール-RAEモデルスケールで、ループ変種は、競合する品質-効率のトレードオフを伴う一次および補助的な品質指標を改善する。
Loop Guidanceはさらに3つのテストモデルで両方の主要な指標を改善しており、Scale-RAE DiT2.4BではGenEvalを0.4471から0.5691に、DPG-Benchを0.7656から0.8053に引き上げている。
コードはリリースされる。
関連論文リスト
- Hidden Decoding at Scale: Latent Computation Scaling for Large Language Models [75.80275843320511]
トランスフォーマーのバックボーンを固定したまま、各トークンにより多くの計算を割り当てることで、既存のバックボーンが改善を続けることができるかどうかを検討する。
継続事前学習中に適用されたシーケンス長スケーリング手法であるHidden Decodingを提案する。
論文 参考訳（メタデータ） (2026-07-09T07:37:59Z) - Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping [56.14767235650558]
共有トランスブロックを繰り返し適用するLooped Transformerは、可変長の計算タスクに自然に適合するアーキテクチャである。
この差分を、列長とループ数の間の単純なアルゴリズムタスクにおける突発的相関に追従する。
私たちの研究は、"停止する時"は単なる推論時間割当ルールではなく、トレーニング設計の選択として扱われるべきであることを示唆しています。
論文 参考訳（メタデータ） (2026-06-29T08:58:09Z) - LoopCoder-v2: Only Loop Once for Efficient Test-Time Computation Scaling [72.71005779366162]
本研究では,ゲインコストの観点から,ループ数選択について検討する。
この研究は18Tトークンのスクラッチからループ数が異なるループ数でLoopCoder-v2をトレーニングし、それにマッチした命令チューニングと評価を行う。
実証的には、この2ループ版はコード生成、コード推論、エージェントソフトウェアエンジニアリング、ツールスベンチマークなど、非ループベースラインよりも幅広い利益をもたらしている。
論文 参考訳（メタデータ） (2026-06-16T15:03:05Z) - Test-Time Compute Scaling for ASR with Depth-Conditioned Looped Transformers [13.254740124473935]
我々は、再帰エンコーダ深さを制御可能なテスト時間計算軸に変換する、深さ条件付きループ変換器 LARM を導入する。
LibriSpeechでは、推論ループの数が増加するにつれて、LARMはWERを改善している。
この結果から, 自動回帰言語モデル推論から連続非自己回帰音声認識まで, テストタイムの計算スケーリングが拡張できることが示唆された。
論文 参考訳（メタデータ） (2026-06-03T10:01:45Z) - N-vium: Mixture-of-Exits Transformer for Accelerated Exact Generation [68.47358899451255]
N-vium (N-vium) は、標準ハードウェア上での計算を部分的に並列化する変圧器である。
N-Viumは複数の深さで予測ヘッドを付加し、次のトーケン分布をこれらの出口上の学習混合物として定義する。
論文 参考訳（メタデータ） (2026-05-13T08:46:17Z) - Simply Stabilizing the Loop via Fully Looped Transformer [41.240805541680395]
Looped Transformerは、ループイテレーションの数が増えると、トレーニングの不安定性に悩まされる。
実験により、フルループ変換器はトレーニングの安定性を改善し、下流の性能を高め、異なるテスト時間計算予算の下で予備的適応性を提供することを示した。
論文 参考訳（メタデータ） (2026-05-11T07:21:53Z) - LoopCTR: Unlocking the Loop Scaling Power for Click-Through Rate Prediction [30.25338458512745]
より多くのパラメータを積み重ねることで、Transformerベースのクリックスルーレート(CTR)モデルをスケールすることで、計算とストレージのオーバーヘッドが増大する。
学習時間の計算量を増加させるループスケーリングパラダイムを導入したLoopCTRを提案する。
3つの公開ベンチマークと1つの産業データセットの実験は、最先端のパフォーマンスを示している。
論文 参考訳（メタデータ） (2026-04-21T15:06:59Z) - Noise Conditional Variational Score Distillation [60.38982038894823]
騒音条件変化スコア蒸留(NCVSD)は, 予混合拡散モデルから生成消音剤を蒸留する新しい方法である。
この知見を変分スコア蒸留フレームワークに組み込むことで、生成的デノイザのスケーラブルな学習を可能にする。
論文 参考訳（メタデータ） (2025-06-11T06:01:39Z) - Masked Audio Generation using a Single Non-Autoregressive Transformer [90.11646612273965]
MAGNeTは、複数のオーディオトークンストリーム上で直接動作するマスク付き生成シーケンスモデリング手法である。
テキスト・トゥ・ミュージック・アンド・テキスト・トゥ・オーディオ・ジェネレーションのタスクにおけるMAGNeTの有効性を実証する。
我々は、自己回帰と非自己回帰モデリングのトレードオフを指摘するとともに、MAGNeTを構成する各コンポーネントの重要性を強調した。
論文 参考訳（メタデータ） (2024-01-09T14:29:39Z) - Accelerating Large Language Model Decoding with Speculative Sampling [9.851546623666588]
投機的サンプリング(英: Speculative sample)とは、変換器の呼び出し毎に複数のトークンを生成することで、変換器の復号を高速化するアルゴリズムである。
我々は、70億のパラメータ言語モデルであるChinchillaを用いて投機的サンプリングをベンチマークし、分散セットアップで2-2.5倍のデコード速度を達成する。
論文 参考訳（メタデータ） (2023-02-02T18:44:11Z) - Megapixel Image Generation with Step-Unrolled Denoising Autoencoders [5.145313322824774]
本稿では,サンプルの解像度を高くする手法と,トレーニングとサンプリングの計算要求を低減させる手法の組み合わせを提案する。
例えば、ベクトル量子化GAN(VQ-GAN)、高レベルの損失 - しかし知覚的に重要 - 圧縮 - が可能なベクトル量子化(VQ)モデル、時間ガラストランスフォーマー、高スケールの自己アテンションモデル、非自己回帰(NAR)テキスト生成モデルであるステップ制御型デノイングオートエンコーダ(SUNDAE)などがある。
提案するフレームワークは,高解像度(1024×1024$)までスケールし,(高速で)トレーニングを行う。
論文 参考訳（メタデータ） (2022-06-24T15:47:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。