論文の概要: ReVision: Reprogramming Image Generators for Dense Visual Perception
- arxiv url: http://arxiv.org/abs/2610.23533v1
- Date: Fri, 16 Oct 2026 14:29:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.953015
- Title: ReVision: Reprogramming Image Generators for Dense Visual Perception
- Title（参考訳）: ReVision: 複雑な視覚知覚のためのイメージジェネレータのリプログラミング
- Abstract要約: ReVisionは、フリーズされたマルチモーダル理解モデルとフリーズされたイメージジェネレータ上に構築された命令条件パラメータ生成フレームワークである。
画像と自由形式の命令が与えられた後、理解モデルはそれらをマルチモーダルなイメージ-インストラクション表現に符号化し、トレーニング可能なパラメータ生成器が生成器の過渡的な低ランク更新にマップする。
共有RGB出力インタフェースは、セグメンテーション、深さ推定、および表面正規予測を統一する。
- 参考スコア（独自算出の注目度）: 24.918932505679184
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent image generators exhibit rich visual priors that can support dense visual perception. However, existing approaches typically encode multiple perception tasks into a shared parameterization, making joint training sensitive to the mixture and weighting of heterogeneous data and prone to cross-task interference. To address this issue, we introduce ReVision, an instruction-conditioned parameter generation framework built on a frozen multimodal understanding model and a frozen image generator. Given an image and a free-form instruction, the understanding model jointly encodes them into a multimodal image--instruction representation, which a trainable parameter generator maps to transient low-rank updates for the generator. Each image--instruction pair induces a distinct set of transient prediction parameters, enabling instance-specific adaptation while both pretrained backbones remain unchanged. ReVision requires no task-specific heads, explicit task identifiers, or stored adapters. A shared RGB output interface unifies segmentation, depth estimation, and surface-normal prediction. Across diverse dense prediction benchmarks, ReVision achieves competitive performance with state-of-the-art methods while supporting flexible task specification through natural-language instructions. Our analysis further reveals substantial gradient disagreement across tasks, highlighting the conflict introduced when heterogeneous objectives share a single parameterization. Meanwhile, the generated updates exhibit structured task- and input-dependent organization in weight space, further validating instance-level parameter generation for multi-task perception.
- Abstract（参考訳）: 最近の画像生成装置は、濃密な視覚知覚を支えうる豊富な視覚的先行性を示す。
しかし、既存のアプローチは通常、複数の知覚タスクを共有パラメータ化にエンコードし、異種データの混合や重み付けに敏感な共同トレーニングを行なわせる。
この問題に対処するために,凍結マルチモーダル理解モデルと凍結画像生成器上に構築された命令条件付きパラメータ生成フレームワークReVisionを紹介する。
画像と自由形式の命令が与えられた後、理解モデルはそれらをマルチモーダルなイメージ-インストラクション表現に符号化し、トレーニング可能なパラメータ生成器が生成器の過渡的な低ランク更新にマップする。
それぞれのイメージ-インストラクションペアは、異なる一時的な予測パラメータのセットを誘導し、両方の事前訓練されたバックボーンが変わらず、インスタンス固有の適応を可能にする。
ReVisionは、タスク固有のヘッド、明示的なタスク識別子、ストアドアダプタを必要としない。
共有RGB出力インタフェースは、セグメンテーション、深さ推定、および表面正規予測を統一する。
ReVisionは多種多様な密度予測ベンチマークで最先端の手法と競合する性能を達成し、自然言語命令による柔軟なタスク仕様をサポートする。
分析の結果,多元的目的が一つのパラメータ化を共有する場合にもたらされる相反点が明らかとなった。
一方、生成した更新は、重み空間における構造的タスク依存と入力依存の組織を示し、マルチタスク知覚のためのインスタンスレベルのパラメータ生成をさらに検証する。
関連論文リスト
- Where Does Generative Difficulty Reside? An Empirical Study of Target Representations [62.54876287800644]
ターゲット表現は、イメージジェネレータが学ぶ必要がある分布を定義するが、しばしば交換可能なインターフェースとして扱われる。
マスク付き自己回帰整流モデルにおいて,生画素,SD-VAE潜伏剤,DINOv2,MAE表現-オートエンコーダの特徴について検討した。
その結果, 圧縮, 再構成忠実度, トークン次元, 可視的セマンティッククラスタリングは生成挙動を個別に予測できないことがわかった。
論文 参考訳（メタデータ） (2026-08-01T12:32:31Z) - CtrlFuse: Mask-Prompt Guided Controllable Infrared and Visible Image Fusion [51.060328159429154]
赤外線と可視画像の融合は、相補的なモダリティを組み合わせることで、全天候の知覚可能な画像を生成する。
我々は,マスクプロンプトによって誘導されるインタラクティブな動的融合を可能にする,制御可能な画像融合フレームワークであるCtrlFuseを提案する。
実験では、融合制御性とセグメンテーション精度の両立を実証し、適応されたタスク分岐は元のセグメンテーションモデルよりも優れていた。
論文 参考訳（メタデータ） (2026-01-12T13:36:48Z) - Harmonizing Visual Representations for Unified Multimodal Understanding and Generation [53.01486796503091]
我々は,共有MARエンコーダによる理解と生成タスクを調和させる統合自己回帰フレームワークであるemphHarmonを提案する。
HarmonはGenEval、MJHQ30K、WISEベンチマークで最先端の画像生成結果を達成する。
論文 参考訳（メタデータ） (2025-03-27T20:50:38Z) - Group Diffusion Transformers are Unsupervised Multitask Learners [49.288489286276146]
GDT(Group Diffusion Transformers)は、多様な視覚生成タスクを統合する新しいフレームワークである。
GDTは、画像間で自己注意トークンを連結することにより、最小限のアーキテクチャ変更で拡散トランスフォーマーを構築する。
我々は、30の視覚生成タスクに200以上の命令を割り当てたベンチマークでGDTを評価した。
論文 参考訳（メタデータ） (2024-10-19T07:53:15Z) - Comprehensive Generative Replay for Task-Incremental Segmentation with Concurrent Appearance and Semantic Forgetting [49.87694319431288]
一般的なセグメンテーションモデルは、異なる画像ソースからの様々なオブジェクトを含む様々なタスクに対して、ますます好まれている。
画像とマスクのペアを合成することで外観と意味の知識を復元する包括的生成(CGR)フレームワークを提案する。
漸進的タスク(心身、基礎、前立腺のセグメンテーション)の実験は、同時出現と意味的忘れを緩和する上で、明らかな優位性を示している。
論文 参考訳（メタデータ） (2024-06-28T10:05:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。