論文の概要: Just Align $\bm{x}$: Aligning Predictions, Not Representations

• arxiv url: http://arxiv.org/abs/2610.00600v1
• Date: Wed, 30 Sep 2026 19:04:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.724397
• Title: Just Align $\bm{x}$: Aligning Predictions, Not Representations
• Title（参考訳）: Just Align $\bm{x}$: Aligning Predictions, not Representations
• Abstract要約: JAxはノイズレベルにわたってクリーンなイメージ予測を整列する予測・スーパービジョン手法である。 JAxは一貫してFIDを改善し、JT-B/16、L/16、H/16間の収束を加速する。 その結果、予測空間の監督は、画素空間生成モデルの表現アライメントに代わる、シンプルで原則化された代替手段を提供することを示した。
• 参考スコア（独自算出の注目度）: 42.81833355126605
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Representation alignment has become an effective way to accelerate diffusion training, but its benefits do not transfer reliably to pixel-space clean-image prediction. In JiT, we find that auxiliary feature alignment can improve access to semantic features while reducing access to image variation needed for clean-image prediction, creating a mismatch between the auxiliary objective and the denoising task. This suggests a different principle: auxiliary supervision should improve the prediction target itself rather than impose a separate representation target. We introduce JAx (Just Align x), a prediction-supervision method that aligns clean-image predictions across noise levels. JAx couples a noisier student observation with a cleaner observation through a Markov degradation that preserves the original JiT input distribution. Under this coupling, the oracle prediction from the cleaner state has the same conditional mean as the optimal JiT target, while its conditional target covariance is no greater. Thus, oracle prediction alignment preserves the population JiT objective up to a constant while providing a lower-variance training target. To make this construction practical with an imperfect EMA teacher, JAx combines ground-truth supervision with a reliability-gated coupling band that selects nearby teacher states based on prediction risk. On ImageNet 256x256, JAx consistently improves FID and accelerates convergence across JiT-B/16, L/16, and H/16, without an external encoder or changes to the architecture or sampling procedure. Gradient diagnostics further show reduced minibatch gradient variance, while ablations demonstrate that the gains cannot be explained by time reweighting alone. These results show that prediction-space supervision provides a simple and principled alternative to representation alignment for pixel-space generative models.
• Abstract（参考訳）: 表現アライメントは拡散訓練を加速する有効な方法となっているが、その利点はピクセル空間のクリーンイメージ予測に確実に伝達されない。 JiTでは、画像のクリーンな予測に必要な画像変化へのアクセスを減らし、補助的な目的と認知タスクのミスマッチを生成することで、セマンティックな特徴へのアクセスを改善することができる。 補助的な監督は、別の表現対象を課すのではなく、予測対象自体を改善するべきである。 JAx (Just Align x) はノイズレベル全体にわたってクリーンイメージの予測を整列する予測・スーパービジョン法である。 JAxは、元のJIT入力分布を保存するマルコフ分解によるよりクリーンな観察と、よりノイズの多い学生観察を結合する。 この結合の下では、クリーナー状態からのオラクル予測は最適なJITターゲットと同じ条件平均を持ち、条件目標の共分散はそれほど大きくない。 このようにして、オラクル予測アライメントは、低分散トレーニングターゲットを提供しながら、人口JIT目標を一定まで保持する。 この構築を不完全なEMA教師と実用的なものにするため、JAxは、予測リスクに基づいて近隣の教師状態を選択する信頼性の高い結合バンドと、地道監視を併用する。 ImageNet 256x256では、JAxは一貫してFIDを改善し、外部エンコーダやアーキテクチャやサンプリング手順を変更することなく、JIT-B/16、L/16、H/16間の収束を加速する。 グラディエント診断は、さらにミニバッチ勾配のばらつきを減少させる一方、アブレーションは、利得が時間的重み付けだけでは説明できないことを示す。 これらの結果から,予測空間の監督は,画素空間生成モデルの表現アライメントに代わる,シンプルで原則的な代替手段を提供することが示された。

関連論文リスト

• Sample-Adaptive Latent Rewards for Uncertainty-Guided Diffusion Post-Training [51.18425726646089]
  我々は、画像とビデオの拡散モデルのための統合潜在空間フレームワークであるtextscSUREを提案する。 報酬分布を学習し、信頼性を直接利用して、密集したポストトレーニングをガイドする。 textscSURE-REFLは評価手法の中で最も高いVBench品質、セマンティック、総得点を達成する。
  論文  参考訳（メタデータ） (2026-08-06T14:55:42Z)
• Where Does Generative Difficulty Reside? An Empirical Study of Target Representations [62.54876287800644]
  ターゲット表現は、イメージジェネレータが学ぶ必要がある分布を定義するが、しばしば交換可能なインターフェースとして扱われる。 マスク付き自己回帰整流モデルにおいて,生画素,SD-VAE潜伏剤,DINOv2,MAE表現-オートエンコーダの特徴について検討した。 その結果, 圧縮, 再構成忠実度, トークン次元, 可視的セマンティッククラスタリングは生成挙動を個別に予測できないことがわかった。
  論文  参考訳（メタデータ） (2026-08-01T12:32:31Z)
• Simultaneous Coverage and Efficiency Guarantee in Online Conformal Prediction [5.533296779866529]
  GibbsとCandsの適応共形推論(ACI)とその変種は、分散シフトの下でのオンライン共形予測に対する標準的なアプローチである。 既存の保証は予測セットのサイズについて何も言及しないので、不完全な予測セットのコストで、妥当性は自明に達成できる。 絶対的かつ最適でないカバレッジ違反と予測セット効率を同時に制御する統合オンライン学習フレームワークを検討する。
  論文  参考訳（メタデータ） (2026-07-29T07:56:59Z)
• The JEPA Paradox in Language: The Geometry of Linguistic Alternatives [0.0]
  JEPA(Joint-Embedding Predictive Architectures)は、画像、ビデオ、オーディオに有効である。 しかし、決定論的JEPAスタイルの潜伏予測は、テキストエンコーダの標準目標にはなっていない。 このギャップは、二乗誤り潜伏予測と言語条件構造とのミスマッチを反映していると我々は主張する。
  論文  参考訳（メタデータ） (2026-07-26T08:01:58Z)
• Localized Conformal Prediction for Image Classification with Vision-Language Models [5.212510010425201]
  テスト時間とキャリブレーションの視覚的特徴のコサイン類似性は局所的でないベースラインよりも改善するには不十分である。 本稿では,余弦的類似性の単純な非線形変換を提案する。これは限界被覆保証を保存し,統計的に有意な平均セットサイズ削減を実現する。
  論文  参考訳（メタデータ） (2026-06-30T12:34:40Z)
• Improving Adversarial Robustness of Masked Autoencoders via Test-time Frequency-domain Prompting [133.55037976429088]
  BERTプリトレーニング(BEiT, MAE)を備えた視覚変換器の対向ロバスト性について検討する。 意外な観察は、MAEが他のBERT事前訓練法よりも敵の頑健さが著しく悪いことである。 我々は,MAEの対角的堅牢性を高めるための,シンプルで効果的な方法を提案する。
  論文  参考訳（メタデータ） (2023-08-20T16:27:17Z)
• Patch-level Gaze Distribution Prediction for Gaze Following [49.93340533068501]
  トレーニング後の視線に対するパッチ分布予測(PDP)手法を提案する。 本モデルでは,アノテーションの差が大きい画像上でのより優れたヒートマップ分布を予測することにより,MSE損失の正則化を図っている。 実験により,ターゲット予測とイン/アウト予測サブタスクのギャップを埋めるモデルが得られた。
  論文  参考訳（メタデータ） (2022-11-20T19:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。