論文の概要: From RGB Generation to Dense Field Readout: Pixel-Space Dense Prediction with Text-to-Image Models

• arxiv url: http://arxiv.org/abs/2607.06553v2
• Date: Thu, 09 Jul 2026 06:33:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-10 14:45:27.266941
• Title: From RGB Generation to Dense Field Readout: Pixel-Space Dense Prediction with Text-to-Image Models
• Title（参考訳）: RGB生成からDense Field Readoutへ:テキストから画像モデルによる画素空間のDense予測
• Abstract要約: 重み付け予測は,出力インターフェースを継承することなく,生成事前学習の恩恵を受けられることを示す。 一致した4B設定では、編集+遅延復号化よりも2.48倍高速で2.48倍の精度で、出力インターフェースを継承することなく、生成前トレーニングの恩恵を受けることができる。
• 参考スコア（独自算出の注目度）: 11.867302372573505
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale text-to-image models are attractive backbones for dense prediction because RGB generation pretraining learns rich semantic, structural, and geometric priors. Existing generative and editing approaches reuse these priors by casting dense prediction as target generation: annotations such as depth, normals, alpha mattes, masks, and heatmaps are encoded into an RGB-trained VAE latent space and decoded back as image-like targets. We argue this inherits more of the generative output interface than dense prediction requires: unlike RGB synthesis, dense prediction asks for pixel-correct, task-native fields on the same image plane, not new RGB content to be rendered. Our key observation is that a pretrained DiT already organizes RGB inputs through a patch-to-token-to-patch lattice on the image plane, so each token indexes a fixed output patch whose channels can carry task-native quantities instead of RGB appearance. We instantiate this as ReChannel: we keep the VAE encoder for the DiT's input distribution but drop the target-side decoder, adapt the frozen DiT with task LoRA, and map each token to its p x p x K_t pixel-space patch through a shared token-local linear head--about 33K parameters, no spatial mixing. Using FLUX-Klein, we evaluate on six dense prediction tasks and over a dozen benchmarks. This minimal interface sets new state-of-the-art on trimap-free matting, KITTI depth, and referring segmentation, and stays competitive on normals, saliency, and pose. In a matched 4B setting it is more accurate and 2.48x faster than an edit-plus-latent-decode counterpart--dense perception can benefit from generative pretraining without inheriting its output interface.
• Abstract（参考訳）: 大規模テキスト・ツー・イメージモデルは、RGB生成事前学習がリッチセマンティクス、構造、幾何学的事前学習を学習するため、密度予測のための魅力的なバックボーンである。 既存の生成的および編集的アプローチは、これらの先行をターゲット生成として高密度な予測をキャストすることで再利用する:深さ、正規度、アルファマット、マスク、ヒートマップなどのアノテーションは、RGBトレーニングされたVAE潜在空間にエンコードされ、イメージライクなターゲットとして復号される。 我々は、RGB合成とは異なり、高密度な予測はRGBコンテンツではなく、同じ画像平面上のピクセル補正されたタスクネイティブフィールドを要求する。 我々のキーとなる観察は、事前訓練されたDiTが既に画像平面上のパッチ・ツー・ト・パッチ・格子を介してRGB入力を整理していることである。 我々は、DiTの入力分布のVAEエンコーダを保持するが、ターゲット側デコーダをドロップし、タスクLoRAで凍結したDiTを適応させ、各トークンをp x p x K_t ピクセル空間パッチに、共有トークンローカルな線形ヘッド-約33Kパラメータを通してマッピングする。 FLUX-Kleinを用いて6つの重み付き予測タスクと1ダース以上のベンチマークを評価する。 この最小限のインターフェースは、トリマップフリーなマッティング、KITTIの深さ、セグメンテーションの参照に新しい最先端を設定し、通常のもの、サラレンシー、ポーズに競争力を保つ。 一致した4B設定では、編集+遅延復号化よりも2.48倍高速で2.48倍の精度で、出力インターフェースを継承することなく、生成前トレーニングの恩恵を受けることができる。

関連論文リスト

• Weaving Light and Time: Unified Harmonic-Geometric Representation Learning for Dense RGB-Event Parsing [55.13802890769086]
  我々は、専用のRGB-Event解析用に特別に設計された最初の統一バックボーンであるEvitaを紹介する。 深いモーダルなシナジーを達成するため、Evitaはすべてのエンコーダ層に直接固有のコラーニングモジュール群を組み込む。 Evitaは、リアルタイムマルチモーダル認識において、より優れた精度とレイテンシのトレードオフを提供しながら、新しい最先端メトリクスを確立する。
  論文  参考訳（メタデータ） (2026-07-10T06:52:09Z)
• PROSE: Training-Free Egocentric Scene Registration with Vision-Language Models [48.66414784633783]
  PROSE(Prompted Scene rEgistration)は、各RGBシーケンスをオブジェクトレベルの3Dシーングラフにリフトする。 PROSEは学習したパラメータを追加せず、深度センサーやトレーニング、注釈付きグラフを必要としない。 エゴセントリックなAria Digital TwinとAria Everyday Activityベンチマークでは、幾何学的および学習されたシーングラフのベースラインを、登録精度で上回っている。
  論文  参考訳（メタデータ） (2026-06-15T11:11:14Z)
• Coarse Semantic Injection for LLM-Conditioned Structured Indoor Prediction [5.147877071071342]
  構造化復号化のためのインタフェース保存型セマンティック拡張を提案する。 キーとなるアイデアは、セマンティックエビデンスとポイントクラウド表現を関連付けることです。 スパースプーリング後のセマンティック・キューを強化するための軽量なルート付きセマンティック・シフト・モジュールを提案する。
  論文  参考訳（メタデータ） (2026-05-16T06:28:23Z)
• Vision-Language Alignment from Compressed Image Representations using 2D Gaussian Splatting [4.2390854432099205]
  現代のビジョン言語パイプラインは、大量の画像テキストコーパスでトレーニングされたRGBビジョンエンコーダによって駆動される。 これらのパイプラインは、ピクセル領域から2つの構造的非効率を継承する: (i) エッジデバイスからクラウドへ高密度のRGB画像を送信することはエネルギー集約的でコストがかかり、 (ii) パッチベースのトークン化はシーケンス長を爆発させる。 2次元ガウス散乱(2DGS)をアライメントのための代替視覚基板として検討する。
  論文  参考訳（メタデータ） (2025-09-26T17:41:57Z)
• DFormerv2: Geometry Self-Attention for RGBD Semantic Segmentation [66.7989548848166]
  既存のアプローチでは、深度マップとRGBイメージをエンコードし、それらの間に特徴融合を行い、より堅牢な予測を可能にする。 我々はDFormerv2という強力なRGBDエンコーダを提案し、ニューラルネットワークで深度情報をエンコードするのではなく、深度マップを幾何先行として明示的に利用する。 我々のゴールは、すべての画像パッチトークンの深さと空間距離から幾何学的手がかりを抽出し、それを用いて、自己注意における注意重みを割り当てることである。
  論文  参考訳（メタデータ） (2025-04-07T03:06:07Z)
• DFormer: Rethinking RGBD Representation Learning for Semantic Segmentation [76.81628995237058]
  DFormerは、RGB-Dセグメンテーションタスクの転送可能な表現を学ぶための新しいフレームワークである。 ImageNet-1Kから画像深度ペアを使用してバックボーンを事前トレーニングする。 DFormerは2つのRGB-Dタスクで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-09-18T11:09:11Z)
• RGB-D Saliency Detection via Cascaded Mutual Information Minimization [122.8879596830581]
  既存のRGB-Dサリエンシ検出モデルは、RGBと深さを効果的にマルチモーダル学習を実現するために明示的に奨励するものではない。 本稿では,RGB画像と深度データ間のマルチモーダル情報を「明示的」にモデル化するために,相互情報最小化による新しい多段階学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-15T12:31:27Z)
• Learning RAW-to-sRGB Mappings with Inaccurately Aligned Supervision [76.41657124981549]
  本稿では,画像アライメントとRAW-to-sRGBマッピングのための共同学習モデルを提案する。 実験の結果,本手法はZRRおよびSR-RAWデータセットの最先端に対して良好に動作することがわかった。
  論文  参考訳（メタデータ） (2021-08-18T12:41:36Z)
• Self-Supervised Representation Learning for RGB-D Salient Object Detection [93.17479956795862]
  我々は、自己教師付き表現学習を用いて、クロスモーダルオートエンコーダと深さ-輪郭推定という2つのプレテキストタスクを設計する。 我々のプレテキストタスクは、ネットワークがリッチなセマンティックコンテキストをキャプチャする事前トレーニングを実行するのに、少数のRGB-Dデータセットしか必要としない。 RGB-D SODにおけるクロスモーダル核融合の固有の問題として,マルチパス核融合モジュールを提案する。
  論文  参考訳（メタデータ） (2021-01-29T09:16:06Z)
• Bi-directional Cross-Modality Feature Propagation with Separation-and-Aggregation Gate for RGB-D Semantic Segmentation [59.94819184452694]
  深度情報はRGBD画像のセマンティックセグメンテーションにおいて有用であることが証明されている。 既存のほとんどの研究は、深度測定がRGBピクセルと正確で整合していると仮定し、問題をモーダルな特徴融合としてモデル化している。 本稿では,RGB特徴量応答を効果的に再検討するだけでなく,複数の段階を通して正確な深度情報を抽出し,代わりに2つの補正表現を集約する,統一的で効率的なクロスモダリティガイドを提案する。
  論文  参考訳（メタデータ） (2020-07-17T18:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。