論文の概要: PixelUp: Zero-Shot Semantic Feature Upsampling for Fine-Grained Vision Tasks

• arxiv url: http://arxiv.org/abs/2608.02792v1
• Date: Mon, 03 Aug 2026 18:42:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:22.920189
• Title: PixelUp: Zero-Shot Semantic Feature Upsampling for Fine-Grained Vision Tasks
• Title（参考訳）: PixelUp: 細粒度視覚タスクのためのゼロショットセマンティック機能アップサンプリング
• Abstract要約: PixelUpはゼロショットのVFM非依存のアップサンプラーで、ウィンドウ化されたクロスアテンションアーキテクチャの粗いチェーンを通じてセマンティックな認識を実現する。 我々は,PixelUpが高密度予測タスクにおいて,VFM固有のアップサンプラーとVFMに依存しないアップサンプラーの両方より優れていることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised Vision Foundation Models (VFMs) have become essential backbones for downstream tasks due to their strong and transferable visual representations. However, their patch-token-level features are often too coarse for dense prediction tasks such as semantic segmentation and depth estimation when accurate fine-grained predictions are required. Feature upsampling methods have been developed to recover pixel-level detail but still face limitations. Learnable upsamplers are often designed for a specific encoders and must be retrained for different encoders. Image-guided methods that use shallow pixel encoders often introduce textural artifacts and lack the semantic guidance needed for accurate downstream predictions. We introduce PixelUp, a zero-shot VFM-agnostic upsampler achieving semantic awareness through a coarse-to-fine chain of windowed cross-attention architecture guided by multi-scale semantic features. We demonstrate that PixelUp outperforms both VFM-specific and VFM-agnostic upsamplers, achieving state-of-the-art performance on dense prediction tasks with an average improvement of +1.2 mIoU on semantic segmentation and +0.25 $δ_1$, on NYUv2 depth estimation across VFMs. PixelUp further improves training-free open-vocabulary and unsupervised semantic segmentation by an average of +1.3 mIoU and +0.5 mIoU, respectively. Code available at https://pixelup-project.vercel.app/
• Abstract（参考訳）: 自己監督型ビジョンファウンデーションモデル(VFM)は、その強固で伝達可能な視覚表現のため、下流タスクに不可欠なバックボーンとなっている。 しかし、それらのパッチトケンレベルの特徴は、正確なきめ細かい予測が必要な場合、意味的セグメンテーションや深さ推定のような密集した予測タスクには大きすぎることが多い。 画素レベルの細部を再現する機能アップサンプリング法が開発されているが、まだ限界に直面している。 学習可能なアップサンプラーは、しばしば特定のエンコーダ用に設計され、異なるエンコーダのために再訓練されなければならない。 浅いピクセルエンコーダを使用する画像誘導方式は、しばしばテクスト的アーティファクトを導入し、正確な下流予測に必要な意味的なガイダンスを欠いている。 マルチスケールなセマンティクス機能によってガイドされるウィンドウ付き横断アテンションアーキテクチャの粗いチェーンを通じて意味認識を実現する,ゼロショットVFM非依存のアップサンプラーであるPixelUpを紹介する。 我々は,PixelUp が VFM 固有のアップサンプラーと VFM に依存しないアップサンプラーの両方より優れており,VFM を横断するNYUv2 深さ推定において,セマンティックセグメンテーションの平均値が +1.2 mIoU と +0.25 $δ_1$ に向上した。 PixelUpは、トレーニングなしのオープン語彙と教師なしセマンティックセグメンテーションを平均+1.3 mIoUと+0.5 mIoUで改善している。 https://pixelup-project.vercel.app/

関連論文リスト

• When Detectors Forget Forensics: Blocking Semantic Shortcuts for Generalizable AI-Generated Image Detection [48.75021863792367]
  Vision Foundation Models (VFMs, emphe.g., CLIP) は、しばしば目に見えない生成パイプラインを使って生成された画像に一般化するのに苦労する。 textbfGeometric Semantic Decoupling (GSD)を提案する。 GSDはバッチワイズ統計から意味論的方向を推定し、幾何学的制約によってそれらを投影し、アーティファクト検出器は意味論的不変な法医学的証拠に依存するように強制する。
  論文  参考訳（メタデータ） (2026-03-10T06:16:35Z)
• NAF: Zero-Shot Feature Upsampling via Neighborhood Attention Filtering [80.55691420311616]
  隣り合う注意フィルタリング(NAF)は、クロススケールな隣り合う注意と回転位置埋め込み(RoPE)を通して、適応的な空間・コンテンツ重みを学習する NAFはゼロショットを運用しており、再訓練せずにヴィジョン・ファンデーション・モデル(VFM)の機能をアップサンプルしている。 高効率を維持し、2Kのフィーチャーマップにスケーリングし、18 FPSで中間解像度マップを再構築する。
  論文  参考訳（メタデータ） (2025-11-23T13:43:52Z)
• Benchmarking Feature Upsampling Methods for Vision Foundation Models using Interactive Segmentation [24.531539125814877]
  Vision Foundation Models (VFM) は、様々なコンピュータビジョンタスクの汎用バックボーンとして機能する大規模で事前訓練されたモデルである。 この制限に対処する1つの方法は、VFM機能の解像度を洗練させるタスクに依存しない機能アップサンプリングモジュールを使用することである。 ベンチマーク実験により,適切なアップサンプリング戦略を選択することで,VFMの特徴的品質が著しく向上することが示された。
  論文  参考訳（メタデータ） (2025-05-04T11:59:26Z)
• SpecDM: Hyperspectral Dataset Synthesis with Pixel-level Semantic Annotations [27.391859339238906]
  本稿では,画素レベルのアノテーションを用いたハイパースペクトル画像の合成における生成拡散モデルの可能性について検討する。 私たちの知る限りでは、アノテーションで高次元のHSIを生成するのはこれが初めてです。 我々は、セマンティックセグメンテーションと変化検出の2つの最も広く使われている密集予測タスクを選択し、これらのタスクに適したデータセットを生成する。
  論文  参考訳（メタデータ） (2025-02-24T11:13:37Z)
• Self-supervised Monocular Depth Estimation with Large Kernel Attention [30.44895226042849]
  より詳細な情報を得るために,自己教師付き単眼深度推定ネットワークを提案する。 具体的には,長距離依存性をモデル化可能なカーネルアテンションに基づくデコーダを提案する。 提案手法は,KITTIデータセット上での競合結果を実現する。
  論文  参考訳（メタデータ） (2024-09-26T14:44:41Z)
• NeRF-Det++: Incorporating Semantic Cues and Perspective-aware Depth Supervision for Indoor Multi-View 3D Detection [72.0098999512727]
  NeRF-Detは、NeRFを用いた屋内マルチビュー3次元検出において、表現学習の強化による優れた性能を実現している。 セマンティックエンハンスメント(セマンティックエンハンスメント)、パースペクティブ・アウェア・サンプリング(パースペクティブ・アウェア・サンプリング)、および順序深度監視を含む3つのソリューションを提案する。 結果として得られたアルゴリズムであるNeRF-Det++は、ScanNetV2とAR KITScenesデータセットで魅力的なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-02-22T11:48:06Z)
• Single Image Depth Prediction Made Better: A Multivariate Gaussian Take [163.14849753700682]
  本稿では,画素ごとの深度を連続的にモデル化する手法を提案する。 提案手法の精度(MG)は,KITTI深度予測ベンチマークリーダーボードの上位に位置する。
  論文  参考訳（メタデータ） (2023-03-31T16:01:03Z)
• In-N-Out Generative Learning for Dense Unsupervised Video Segmentation [89.21483504654282]
  本稿では,ラベルなしビデオから視覚的対応を学習する,教師なしビデオオブジェクト(VOS)タスクに焦点を当てる。 In-aNd-Out(INO)生成学習を純粋に生成的観点から提案する。 我々のINOは、最先端の手法をかなりのマージンで上回っている。
  論文  参考訳（メタデータ） (2022-03-29T07:56:21Z)
• Adaptive Context-Aware Multi-Modal Network for Depth Completion [107.15344488719322]
  我々は,観測された空間コンテキストを捉えるために,グラフ伝搬を採用することを提案する。 次に、注意機構を伝搬に適用し、ネットワークが文脈情報を適応的にモデル化することを奨励する。 最後に、抽出したマルチモーダル特徴を効果的に活用するための対称ゲート融合戦略を導入する。 本稿では,Adaptive Context-Aware Multi-Modal Network (ACMNet) を2つのベンチマークで評価した。
  論文  参考訳（メタデータ） (2020-08-25T06:00:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。