論文の概要: PixelDense: Dense Prediction as Representation Alignment for Pixel Diffusion

• arxiv url: http://arxiv.org/abs/2610.00483v1
• Date: Wed, 30 Sep 2026 18:00:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.677188
• Title: PixelDense: Dense Prediction as Representation Alignment for Pixel Diffusion
• Title（参考訳）: PixelDense: ピクセル拡散の表現アライメントとしての高密度予測
• Abstract要約: 表現アライメント(REPA)は拡散トランスフォーマートレーニングを加速させる。 最近の分析では、アライメント効果の担体として、大域的な意味論ではなく空間構造が指摘されている。 我々は,DINOv2とSAM2をセマンティックプロジェクションストリームでルーティングするPixelDenseを導入し,Depth Anything v2とMetric3D v2を幾何学的プロジェクションストリームでルーティングする。
• 参考スコア（独自算出の注目度）: 61.73827573364792
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Representation alignment (REPA) accelerates diffusion transformer training, but its alignment targets are almost exclusively semantic encoders such as DINOv2 and CLIP. Recent analysis points to spatial structure, not global semantics, as the carrier of the alignment effect, yet dense-prediction foundation models trained to predict that structure remain overlooked as REPA targets. In pixel-space diffusion, SAM2, Depth Anything v2, and Metric3D v2 each outperform the DINOv2-only GenEval baseline, with the two geometric teachers leading the segmentation teacher. A flat sum of all four teachers, however, lands below the best single geometric teacher, as semantic and geometric gradients compete for one denoiser projection. We introduce PixelDense, which routes DINOv2 and SAM2 through a semantic projection stream, routes Depth Anything v2 and Metric3D v2 through a geometric projection stream, and adds a weight-space orthogonality penalty that keeps the two streams in disjoint subspaces. All four teachers are frozen during training and dropped at inference. Applied to PixelGen and DeCo with a single recipe, PixelDense improves GenEval, DPG-Bench, and HPS v2.1, raises PixelGen-XXL's GenEval Overall from 0.7927 to 0.8093, and beats every single-teacher and unfactored multi-teacher variant. In partial-noise reconstruction, independent panoptic, depth, and surface-normal probes show up to 53.1% PQ gain and 36.0% depth AbsRel reduction at $τ=0.5$ across COCO and Flickr30K. From random initialization, PixelDense also reaches the baseline's peak GenEval 1.23x faster. In SDEdit editing on PIE-Bench, PixelDense keeps more of the source background and layout at every edit strength, raising background PSNR by up to 2.2 dB.
• Abstract（参考訳）: 表現アライメント(REPA)は拡散トランスフォーマートレーニングを加速させるが、アライメントターゲットはDINOv2やCLIPのようなほとんど独占的なセマンティックエンコーダである。 最近の分析では、アライメント効果の担体であるグローバルセマンティクスではなく、空間構造がREPAターゲットとして見落とされ続けていることを予測するために訓練された高密度な予測基盤モデルを示している。 ピクセル空間拡散では、SAM2、Depth Anything v2、Metric3D v2がそれぞれDINOv2のみのGenEvalベースラインを上回り、2人の幾何学教師がセグメンテーション教師を率いている。 しかし、4人の教師の平らな総和は、セマンティックと幾何学的な勾配が1つのデノイザー投影を競うため、最高の1つの幾何学教師より下位に置かれる。 我々は,DINOv2 と SAM2 をセマンティックプロジェクションストリームでルーティングする PixelDense を紹介し,Depth Anything v2 と Metric3D v2 を幾何学的プロジェクションストリームでルーティングする。 4人の教師はトレーニング中に凍結し、推論時にドロップします。 PixelGenとDeCoを1つのレシピで適用すると、PixelDenseはGenEval、DPG-Bench、HPS v2.1を改善し、PixelGen-XXLのGenEvalを0.7927から0.8093に引き上げ、全教師と教師なしのマルチティーチンガーを圧倒する。 部分ノイズ再構成では、独立パノプティクス、深度、表面正規プローブは53.1%のPQゲインと36.0%のAbsRelをCOCOとFlickr30Kでτ=0.5$で還元する。 ランダム初期化から、PixelDenseはベースラインのピークであるGenEval 1.23xに到達した。 PIE-BenchのSDEdit編集において、PixelDenseはソースの背景とレイアウトを編集強度ごとに保持し、バックグラウンドPSNRを最大2.2dBまで上昇させる。

関連論文リスト

• Scaling Parallel Sequence Models to Foundation-Scale Vision Encoders [123.58723804218151]
  ビジョンファウンデーションモデルは、自己注意の二次的なコストによってボトルネックとなる。 2次元空間伝搬伝搬に基づくC-GSPNを提案する。
  論文  参考訳（メタデータ） (2026-05-30T14:29:43Z)
• Depth Anything 3: Recovering the Visual Space from Any Views [64.12492264286522]
  任意の数の視覚入力から空間的に一貫した幾何を予測するモデルとして,Depth Anything 3 (DA3) を提案する。 我々は、カメラのポーズ推定、任意のビュー幾何学、視覚レンダリングを含む新しいビジュアルジオメトリ・ベンチマークを構築した。 このベンチマークでは、DA3は全てのタスクをまたいで新しい最先端を設定し、以前のSOTA VGGTを平均44.3%の精度で上回り、幾何学的精度は25.1%である。
  論文  参考訳（メタデータ） (2025-11-13T18:59:53Z)
• Real-Time 3D Occupancy Prediction via Geometric-Semantic Disentanglement [8.592248643229675]
  運転予測は自律運転(AD)において重要な役割を担っている 既存の手法はしばしば高い計算コストを発生させるが、これはADのリアルタイム要求と矛盾する。 ハイブリッドBEV-Voxel表現を用いた幾何学的意味的デュアルブランチネットワーク(GSDBN)を提案する。
  論文  参考訳（メタデータ） (2024-07-18T04:46:13Z)
• DevNet: Self-supervised Monocular Depth Learning via Density Volume Construction [51.96971077984869]
  単眼画像からの自己教師付き深度学習は、通常、時間的に隣接する画像フレーム間の2Dピクセル単位の光度関係に依存する。 本研究は, 自己教師型単眼深度学習フレームワークであるDevNetを提案する。
  論文  参考訳（メタデータ） (2022-09-14T00:08:44Z)
• P3Depth: Monocular Depth Estimation with a Piecewise Planarity Prior [133.76192155312182]
  本研究では,コプラナー画素からの情報を選択的に活用して予測深度を改善する手法を提案する。 本手法の広範な評価により, 教師付き単分子深度推定法において, 新たな手法の確立が期待できる。
  論文  参考訳（メタデータ） (2022-04-05T10:03:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。