論文の概要: Representation Conditioning for Generation

• arxiv url: http://arxiv.org/abs/2610.20608v1
• Date: Wed, 14 Oct 2026 17:59:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.302429
• Title: Representation Conditioning for Generation
• Title（参考訳）: 生成のための表現条件
• Abstract要約: 後続の層におけるセマンティクスを改善するためのシンプルな表現条件付け(RECON)を提案する。 RECON は SiT より 63 倍、REPA より 25 倍速い。
• 参考スコア（独自算出の注目度）: 11.26238047131676
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Representation-alignment methods effectively accelerate the diffusion transformer training. REPA, for example, uses a pretrained vision encoder to supervise an intermediate layer through an MLP projection head which is discarded after training. It aims to import semantics from the vision encoder to the diffusion backbone. While this objective is achieved at early layers by back-propagating the alignment loss, there is no guarantee that later layers, supervised by the velocity prediction loss alone, can well access such semantics. We propose a simple solution, representation conditioning (RECON), to improve semantics in later layers. During training, we feed the pretrained vision encoder tokens into later layers; during inference, because we no longer have the clean image, we reuse the MLP head (as a proxy to the vision encoder) and project its output tokens to the later layers. Our method adds no parameters and leads to much faster convergence: RECON is $63\times$ faster than SiT and $25\times$ faster than REPA. Code is available at https://github.com/saeidrazavi/RECON
• Abstract（参考訳）: 表現アライメント法は拡散変圧器の訓練を効果的に促進する。 例えば、REPAは事前訓練された視覚エンコーダを使用して、トレーニング後に破棄されるMLPプロジェクションヘッドを介して中間層を監督する。 視覚エンコーダから拡散バックボーンへのセマンティクスのインポートを目的としている。 この目的はアライメント損失をバックプロパゲートすることで初期の層で達成されるが、速度予測損失だけで制御された後続の層がそのようなセマンティクスに適切にアクセスできるという保証はない。 後続の層におけるセマンティクスを改善するために,表現条件付け(RECON)という簡単な解を提案する。 トレーニング中、トレーニング済みのビジョンエンコーダトークンを後層に供給します。推論中、クリーンなイメージがなくなったため、MPPヘッド(ビジョンエンコーダのプロキシとして)を再利用し、その出力トークンを後層に投影します。 RECON は SiT より 63\times$ 速く、REPA より 25\times$ 速い。 コードはhttps://github.com/saeidrazavi/RECONで公開されている。

関連論文リスト

• SEED: Self-Speculative Decoding via Implicit Encoder-Decoder [22.692076054730933]
  自己投機的復号化は、ターゲットモデル自体からトークンを起草することで、大言語モデル(LLM)推論を加速させる。 初期出力メソッドは中間層で終了することで、ドラフトを安価に生成するが、後続のレイヤが提供するより深い表現を放棄して、ドラフトの品質を損なう。 我々は,検証中にすでに計算された深部文脈表現を再利用して,高品質なドラフトを安価に取得する自己投機的エンコーダデコーダ(SEED)を提案する。
  論文  参考訳（メタデータ） (2026-09-29T03:06:13Z)
• PIO-FVLM: Rethinking Training-Free Visual Token Reduction for VLM Acceleration from an Inference-Objective Perspective [59.24570811503256]
  本稿では,視覚モデル(VLM)における冗長な視覚トークンを減らし,推論を高速化するPIO-FVLMを提案する。 提案されているPIO-FVLMは、トレーニングフリーで、FlashAttentionと互換性があり、実用的なアプリケーションやデプロイメントに親しみやすい。 LLaVA-Next-7Bでは、PIO-FVLMは視覚トークンの11.1%しか保持していないが、オリジナルのパフォーマンスの97.2%を維持している。
  論文  参考訳（メタデータ） (2026-02-04T15:33:10Z)
• What matters for Representation Alignment: Global Information or Spatial Structure? [64.67092609921816]
  表現アライメント(REPA)は、強い事前訓練された視覚エンコーダから中間拡散特徴への表現を蒸留することにより、生成訓練を導く。 本稿では,対象表現のどの側面が生成に重要であるか,そのテクスト・グロバル・リビジョン・セマンティック・情報について検討する。 我々はREPAの標準射影層を単純な畳み込み層に置き換え、外部表現のための空間正規化層を導入する。
  論文  参考訳（メタデータ） (2025-12-11T16:39:53Z)
• Direct Multi-Token Decoding [24.347862297812977]
  我々は,大規模言語モデル(LLM)の推論パラダイムとして,DMTD(Direct Multi-Token Decoding)を導入する。 投機的復号法とは異なり,提案手法では追加パラメータや補助ルーチンやポストジェネレーション検証は導入されない。 微調整のDMTD Qwen3-4Bモデルはすでに有望な結果を示しており、2倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2025-10-13T21:42:37Z)
• Diffusion Language Models Know the Answer Before Decoding [56.96815863705218]
  拡散言語モデル (DLM) は自己回帰的アプローチの代替として登場した。 我々の研究は、DLMの早期回答収束の見過ごされた特性を強調し、活用する。 Prophetは、早期コミット復号を可能にするトレーニングフリーの高速復号化パラダイムである。
  論文  参考訳（メタデータ） (2025-08-27T15:40:25Z)
• FIRP: Faster LLM inference via future intermediate representation prediction [54.897493351694195]
  FIRPはデコードステップ毎に1つではなく複数のトークンを生成する。 いくつかのモデルとデータセットで1.9x-3xのスピードアップ比を示す広範な実験を行った。
  論文  参考訳（メタデータ） (2024-10-27T15:53:49Z)
• Regress Before Construct: Regress Autoencoder for Point Cloud Self-supervised Learning [18.10704604275133]
  Masked Autoencoders (MAE) は、2Dおよび3Dコンピュータビジョンのための自己教師型学習において有望な性能を示した。 我々は、ポイントクラウド自己教師型学習のための回帰オートエンコーダの新しいスキーム、Point Regress AutoEncoder (Point-RAE)を提案する。 本手法は, 各種下流タスクの事前学習において効率よく, 一般化可能である。
  論文  参考訳（メタデータ） (2023-09-25T17:23:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。