論文の概要: What Visual Generators Need from Teachers: Rethinking Representation Alignment

• arxiv url: http://arxiv.org/abs/2609.34732v1
• Date: Mon, 28 Sep 2026 09:30:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 03:22:00.76208
• Title: What Visual Generators Need from Teachers: Rethinking Representation Alignment
• Title（参考訳）: 教師が必要とするビジュアルジェネレータ:表現アライメントの再考
• Abstract要約: 本研究は, 生徒が教師の特徴をリニアに回復できない場所において, 生徒がすでに類似している場所にアライメントを組み込むことが, 有効であることを示す。 深層教師層は下層からほぼ予測可能であるため、各層が追加するものと増分を分離し、不整合の生徒がどれだけ回復するかを測定する。
• 参考スコア（独自算出の注目度）: 9.286732771749703
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Representation alignment speeds up diffusion transformer training by pulling an intermediate block of the model (student) toward features of a frozen pretrained encoder (teacher). Which teacher layer to align, and for how long, is still set by convention, and each alternative costs a training run. We find that alignment helps where the student cannot linearly recover the teacher's features, not where it already resembles them. Since a deep teacher layer is largely predictable from the one below, we isolate what each layer adds, its increment, and measure how much of it an unaligned student recovers. The student fills the teacher's hierarchy from the bottom up and stalls near the top, which we call hierarchy filling: even after 400K steps it recovers almost none of the deepest. The recoverability gap is the unrecovered share of an increment, read from one unaligned checkpoint. In short runs that each align one teacher layer at one block, the gap nearly reproduces their ranking by FID improvement, and CKA, a measure of feature similarity, largely reverses it. Representation Alignment and Recoverability Estimation (RARE) picks the teacher layer with the largest gap before training. During training, it tracks each token's remaining distance to that layer, the online counterpart of the gap, weights tokens by it, and phases out the loss once the average distance stops falling. With SiT-B/2 on ImageNet $256\times256$, RARE reaches an FID of 18.02 without guidance and 4.46 with it, ahead of seven alignment baselines including REPA, iREPA and HASTE. It also trains in 14% fewer GPU-hours than iREPA. Its FID stays below iREPA's across model scales, teachers, datasets and backbones.
• Abstract（参考訳）: 表現アライメントは、モデル(学生)の中間ブロックを凍結事前訓練エンコーダ(教師)の特徴に向けることで、拡散トランスフォーマーのトレーニングを高速化する。 どの教師層を整列させるか、どのくらいの期間は慣例によって設定され、それぞれがトレーニング実行に費やされる。 本研究は, 生徒が教師の特徴をリニアに回復できない場所において, 生徒がすでに類似している場所にアライメントを組み込むことが, 有効であることを示す。 深層教師層は下層からほぼ予測可能であるため、各層が追加するものと増分を分離し、不整合の生徒がどれだけ回復するかを測定する。 生徒は教師の階層を一番下から満たし、トップの近くを行き詰まります。 回復可能性ギャップは、不整合チェックポイントから読み取られたインクリメントの未整合シェアである。 簡単に言えば、1つの教師層を1ブロックに並べると、ギャップはFIDの改善によってランキングをほぼ再現し、特徴の類似性の尺度であるCKAは、ほとんど逆になる。 Representation Alignment and Recoverability Estimation (RARE)は、トレーニング前に最大のギャップを持つ教師層を選択する。 トレーニング中、各トークンの残りの距離、そのギャップのオンライン版、トークンの重み付け、平均距離が落ちると損失を段階的に減らす。 SiT-B/2 on ImageNet $256\times256$では、RAREはガイダンスなしで18.02のFIDに達し、4.46はREPA、iREPA、HASTEを含む7つのアライメントベースラインに先行している。 また、iREPAよりも14%少ないGPU時間でトレーニングする。 FIDはiREPAのモデルスケール、教師、データセット、バックボーンより下位にある。

関連論文リスト

• LastOPD: Taming Collapse in Latent On-Policy Distillation [31.27206955259948]
  我々は,LastOPDを提案する。LastOPDは,最後の層状態,LMヘッドの両方の共通インタフェース,トークンレベルPDへの10ステップのクロスフェード中のみに適用する。 これは潜伏信号の有用な部分を保持し、崩壊が起こる前に学生にトークンレベルの監督を任せる。 実験の結果、LastOPDは4Bと8Bの教師と5.55点と4.02点のトークンオンリーのPDよりもMATH-500を改善し、ほとんどの保持されたデータセットを導き、トークンオンリーのPDの最終スコアを約半分に到達した。
  論文  参考訳（メタデータ） (2026-09-23T23:22:21Z)
• OPRD: On-Policy Representation Distillation [30.278946794750976]
  オンライン蒸留(OPD)は、次の確率に合わせて出力空間でのみ学生を監督する。 本研究では,学生と教師の表現を選択層に整列させることで,蒸留を隠れ状態空間に引き上げるOn-Policy Representation Distillation (OPRD)を提案する。 OPRD は AIME 2024/2025 と AIMO の生徒と教師のギャップを埋める。
  論文  参考訳（メタデータ） (2026-06-04T11:13:01Z)
• Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
  オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。 生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。 SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
  論文  参考訳（メタデータ） (2026-05-29T04:39:20Z)
• REPA Works Until It Doesn't: Early-Stopped, Holistic Alignment Supercharges Diffusion Training [58.33728862521732]
  Diffusion Transformer (DiTs)は最先端の画像品質を提供するが、訓練は依然として遅い。 最近の治療 -- DiT の隠された特徴と非生成的教師(例えば DINO)の特徴とを一致させる表現アライメント(REPA) -- は、初期のエポックを劇的に加速させるが、その後パフォーマンスを低下させる。 生成学習者が共同データ分布をモデル化し始めると、教師の低次元埋め込みと注意パターンがガイドではなくストラトジャケットになる。 HASTEを紹介する
  論文  参考訳（メタデータ） (2025-05-22T15:34:33Z)
• Low-complexity deep learning frameworks for acoustic scene classification using teacher-student scheme and multiple spectrograms [59.86658316440461]
  提案システムは,教師のネットワークを訓練する(Phase I)と,教師の知識を蒸留して学生のネットワークを訓練する(Phase II)の2つの段階から構成される。 DCASE 2023 Task 1 Developmentデータセットで実施した実験は,低複雑さの要求を満たすとともに,57.4%の最高の分類精度を達成した。
  論文  参考訳（メタデータ） (2023-05-16T14:21:45Z)
• Distilling a Powerful Student Model via Online Knowledge Distillation [158.68873654990895]
  既存のオンライン知識蒸留アプローチは、最高のパフォーマンスを持つ学生を採用するか、より良い全体的なパフォーマンスのためのアンサンブルモデルを構築する。 本稿では,機能融合と自己蒸留という2つの要素からなるFFSDと呼ばれる新しいオンライン知識蒸留法を提案する。
  論文  参考訳（メタデータ） (2021-03-26T13:54:24Z)
• Inter-Region Affinity Distillation for Road Marking Segmentation [81.3619453527367]
  本研究では,大規模な教員ネットワークからより小さな学生ネットワークへ知識を蒸留する問題について検討する。 我々の手法はInter-Region Affinity KD(IntRA-KD)として知られている。
  論文  参考訳（メタデータ） (2020-04-11T04:26:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。