論文の概要: RepFlow: Reciprocal Supervision Improves Generation and Representation in Flow Models

• arxiv url: http://arxiv.org/abs/2609.33217v1
• Date: Sun, 27 Sep 2026 04:57:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 02:07:07.791365
• Title: RepFlow: Reciprocal Supervision Improves Generation and Representation in Flow Models
• Title（参考訳）: RepFlow: 相互スーパービジョンによるフローモデルの生成と表現の改善
• Abstract要約: 生成モデルでは、ノイズの除去によって視覚構造を学習するが、内部状態はノイズレベルとネットワーク深さの両方で絡み合っている。 本稿では、生成器の進化する計算からそのような表現を学習し、生成をガイドするRepFlowを紹介する。
• 参考スコア（独自算出の注目度）: 19.714780051182363
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative models learn visual structure through denoising, yet their internal states are entangled with both noise level and network depth, making it difficult to obtain a stable visual representation from the generator itself. We introduce RepFlow, which learns such a representation from the generator's evolving computation and uses it to guide generation. Specifically, a separate timestep-free encoder is trained, through a timestep-conditioned predictor, to recover generator states across depths and noise levels from masked clean images. By excluding the reference noise and masked-out content from the encoder's input, we encourage the encoder to distill visual information that is recoverable from the visible image context and predictive of generator states. The representation learned from the generator's evolving states is then fed back to guide and improve the generator, whose updated states provide supervision for further representation learning, forming a reciprocal learning process. This reciprocal process improves multi-step generation and representation quality, as measured by frozen linear probing on ImageNet with latent-space SiT and pixel-space JiT, without an externally pretrained representation teacher. Across the two unconditional settings, FID decreases by $19.2$--$40.8\%$ relative to native training, while linear-probe accuracy improves by 6.80--10.04 percentage points over the best searched raw generator features. The learned representation also serves as a distributional metric for one-step JiT post-training, extending its role from instance-level alignment to distribution-level supervision.
• Abstract（参考訳）: 生成モデルでは, ノイズレベルとネットワーク深度の両方で内部状態が絡み合っているため, ジェネレータ自体から安定した視覚表現を得るのが困難である。 本稿では、生成器の進化する計算からそのような表現を学習し、生成をガイドするRepFlowを紹介する。 具体的には、個別のタイムステップフリーエンコーダをタイムステップ条件付き予測器を介してトレーニングし、マスクされたクリーン画像から深度とノイズレベルにわたるジェネレータ状態を復元する。 エンコーダの入力から参照ノイズやマスクアウト内容を取り除き,可視画像から回復可能な視覚情報を抽出し,生成状態の予測を行う。 ジェネレータの進化した状態から学習した表現は、ジェネレータのガイドと改善のためにフィードバックされ、更新された状態はさらなる表現学習の監督を提供し、相互学習プロセスを形成する。 この相互プロセスは、外部に事前訓練された表現教師を使わずに、潜在空間 SiT と画素空間 JiT で ImageNet 上の凍結線形プローブによって測定されるような、多段階生成と表現品質を向上させる。 2つの非条件設定全体で、FIDはネイティブトレーニングと比較して19.2$-40.8\%の値で減少し、線形プローブの精度は検索された生のジェネレータ機能よりも6.80～10.04ポイント向上している。 学習された表現は、一段階のJITポストトレーニングの分散指標としても機能し、インスタンスレベルのアライメントから分散レベルの監視までその役割を拡張している。

関連論文リスト

• Where Does Generative Difficulty Reside? An Empirical Study of Target Representations [62.54876287800644]
  ターゲット表現は、イメージジェネレータが学ぶ必要がある分布を定義するが、しばしば交換可能なインターフェースとして扱われる。 マスク付き自己回帰整流モデルにおいて,生画素,SD-VAE潜伏剤,DINOv2,MAE表現-オートエンコーダの特徴について検討した。 その結果, 圧縮, 再構成忠実度, トークン次元, 可視的セマンティッククラスタリングは生成挙動を個別に予測できないことがわかった。
  論文  参考訳（メタデータ） (2026-08-01T12:32:31Z)
• Enfold: Folding World Model Imagination into Predictive Representations for Ultra-Efficient Embodied Control [41.15180918658398]
  我々は、未来を構成する計算が再利用可能な場合、世界生成モデルは最も再利用可能であると論じる。 本稿では,この計算を現在の視覚的コンテキストと言語命令から予測された表現に変換するEnfoldを提案する。 LIBERO、RoboTwin2.0、および実ロボットタスク全体で、Enfoldは強力な制御をサポートし、アクション遅延をFast--WAMと比較して3.7Times$減らし、Enfold-Flashは10.1times$に達した。
  論文  参考訳（メタデータ） (2026-07-29T09:17:33Z)
• Self-Refining Video Sampling [91.0784344916165]
  本稿では,大規模データセットを学習した事前学習ビデオジェネレータを自己精錬機として利用する簡単な方法である自己精錬ビデオサンプリングを提案する。 最先端のビデオジェネレータの実験では、運動コヒーレンスと物理アライメントが大幅に改善された。
  論文  参考訳（メタデータ） (2026-01-26T15:22:27Z)
• Image Tokenizer Needs Post-Training [76.91832192778732]
  本稿では,遅延空間構築と復号化に着目した新しいトークン化学習手法を提案する。 具体的には,トークン化の堅牢性を大幅に向上させる,プラグアンドプレイ型トークン化学習手法を提案する。 生成したトークンと再構成されたトークンの分布差を軽減するために、よく訓練された生成モデルに関するトークン化デコーダをさらに最適化する。
  論文  参考訳（メタデータ） (2025-09-15T21:38:03Z)
• Representation Alignment for Generation: Training Diffusion Transformers Is Easier Than You Think [72.48325960659822]
  生成のための大規模拡散モデルの訓練における主要なボトルネックは、これらの表現を効果的に学習することにある。 本稿では,RePresentation Alignment (REPA) と呼ばれる単純な正規化を導入し,ノイズの多い入力隠れ状態の投影を,外部の事前学習された視覚エンコーダから得られるクリーンな画像表現と整合させる手法を提案する。 我々の単純な戦略は、一般的な拡散やDiTsやSiTsといったフローベースのトランスフォーマーに適用した場合、トレーニング効率と生成品質の両方に大きな改善をもたらす。
  論文  参考訳（メタデータ） (2024-10-09T14:34:53Z)
• Improved Image Generation via Sparse Modeling [27.66648389933265]
  生成器は、Convolutional Sparse Coding (CSC) とそのMulti-Layeredバージョン (ML-CSC) 合成プロセスの発現として見ることができる。 この観測は、発電機内の適切な選択された活性化層にスパーシファイング正規化を明示的に強制することによって活用する。
  論文  参考訳（メタデータ） (2021-04-01T13:52:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。