論文の概要: We Have Been Interpreting Diffusion Transformer Backbone Behaviors Wrong

• arxiv url: http://arxiv.org/abs/2610.14517v1
• Date: Sat, 10 Oct 2026 03:26:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 13:07:06.350349
• Title: We Have Been Interpreting Diffusion Transformer Backbone Behaviors Wrong
• Title（参考訳）: 拡散変圧器のバックボーン挙動の誤りを解釈した
• Abstract要約: 拡散バックボーンは、ネットワークフォワードコール中に多くの中間活性化を生成する。 同一のベンチマークプロトコルに対して各アクティベーションを評価すると、深さプロファイルとして逆U字曲線をプロットできる。 これは拡散モデルコミュニティにおいて一般的な知識であり、広く採用されているREPAを含む多くの応用に刺激を与えている。 トレーニング設定の予測目標に基づいて,REPAのほぼ最適配置を予測する方法について述べる。
• 参考スコア（独自算出の注目度）: 54.63769685905746
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: During a network forward call, diffusion backbones naturally produce many intermediate activations. If we evaluate each activation against an identical downstream benchmarking protocol, we can plot an inverted-U-shaped curve as the depth profile: the activation's performance goes up first and then down as we go into deeper layers. This is common knowledge in the diffusion model community, which inspires many applications including the widely-adopted REPA. However, the common interpretation of this depth profile may be inaccurate and incomplete: (i) The cause of this curve has long been treated as signal granularity changing from coarse to fine, but there has been little evidence in DiT backbones. (ii) The community has been mainly studying this phenomenon in a static way, without investigating how it changes across different training setups. In this work, we show a different mechanism picture for the profile, where the prediction target (e.g., $ε$, $u$, $x_0$) sits at the center. The semantically meaningful signal is only an intermediate by-product for predicting the target, while the prediction target is the real goal for the backbone. Furthermore, the choice of prediction targets as part of the training setup can predictably affect the curve's shape. With this updated interpretation, many applications of this depth profile can be better grounded and predicted. As an example, we show how to predict the near-optimal placement of REPA based on the prediction target of the training setup. The code is at https://github.com/Darkbblue/dit-compare.
• Abstract（参考訳）: ネットワークフォワードコールの間、拡散バックボーンは自然に多くの中間活性化を生成する。 同一の下流ベンチマークプロトコルに対して各アクティベーションを評価すれば、深度プロファイルとして逆U字型曲線をプロットすることができます。 これは拡散モデルコミュニティにおいて一般的な知識であり、広く採用されているREPAを含む多くの応用に刺激を与えている。 しかし、この深度プロファイルの一般的な解釈は不正確で不完全であるかもしれない。 (i)この曲線の原因は、長い間、粗いものから細かいものへと変化する信号の粒度として扱われてきたが、DiTのバックボーンにはほとんど証拠がない。 (II)コミュニティは、異なるトレーニング環境間でどのように変化するかを調査することなく、主に静的な方法でこの現象を研究してきた。 本研究では、予測対象(例えば、$ε$, $u$, $x_0$)が中心にあるプロファイルに対して異なるメカニズム図を示す。 意味的に意味のある信号は、ターゲットを予測する中間の副産物に過ぎず、予測対象はバックボーンの真の目標である。 さらに、トレーニング設定の一部としての予測対象の選択は、曲線の形状に予測可能に影響を与える。 この更新された解釈により、この深度プロファイルの多くの応用がより基礎化され、予測される。 一例として、トレーニング設定の予測目標に基づいて、REPAのほぼ最適配置を予測する方法を示す。 コードはhttps://github.com/Darkbblue/dit-compareにある。

関連論文リスト

• Belief-Trajectory Energy: Measuring the Path to a Prediction [18.027571424233155]
  本稿では,モデル内で誘導される階層的な予測的リビジョンを通じて入力を特徴付けるモデル基底測度であるBelief-Trajectory Energyを紹介する。 局所的なBTEはフィッシャー・ラオ幾何学の下での予測的リビジョンに対応し、リビジョンのシーケンスは初期から最終の信念の変化を超えて情報をキャプチャすることを示す。 さらなる分析により、BTEは事前学習を通して発達し、ターゲットトレーニングによって選択的に再形成され、その結果の計測がスコアリングモデルが学んだことを反映していることが示される。
  論文  参考訳（メタデータ） (2026-10-04T10:44:18Z)
• Sample-Adaptive Latent Rewards for Uncertainty-Guided Diffusion Post-Training [51.18425726646089]
  我々は、画像とビデオの拡散モデルのための統合潜在空間フレームワークであるtextscSUREを提案する。 報酬分布を学習し、信頼性を直接利用して、密集したポストトレーニングをガイドする。 textscSURE-REFLは評価手法の中で最も高いVBench品質、セマンティック、総得点を達成する。
  論文  参考訳（メタデータ） (2026-08-06T14:55:42Z)
• Uncertainty-Guided Edge Learning for Deep Image Regression in Remote Sensing [25.426932126940432]
  リモートセンシング衛星上での深部画像回帰の文脈におけるエッジ学習について検討する。 UGELの基盤となるのは、深いベータ回帰に基づく予測の不確実性の計算である。 その結果,UGELは,能動的あるいは半教師付き学習よりも高速に収束するエッジ学習を実現することがわかった。
  論文  参考訳（メタデータ） (2026-05-07T02:17:17Z)
• Lost in the Middle at Birth: An Exact Theory of Transformer Position Bias [0.0]
  この論文は、ミドル・イン・ザ・ロスト・イン・ザ・ミドル現象について、単一の正確な主張をしている。 それは、学習したSoftmaxアーティファクトや、RoPEのような位置エンコーディングの遠隔デカイに広く帰結している。 トレーニングされていないQwen2アーキテクチャとGPT-2アーキテクチャがStep0でこのU字形を示し、RoPEと同一か否かを示す。
  論文  参考訳（メタデータ） (2026-03-10T18:01:06Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• PredProp: Bidirectional Stochastic Optimization with Precision Weighted Predictive Coding [1.5229257192293197]
  予測符号化ネットワーク(PCN)における重みと状態の最適化手法であるPredPropを提案する。 PredPropは勾配降下による推論と学習に対処し、近似曲率でパラメータを適応的に更新する。 我々は、高密度デコーダネットワークと単純な画像ベンチマークデータセットのコンテキストにおいて、PredPropの有効性を実証する。
  論文  参考訳（メタデータ） (2021-11-16T21:43:15Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。