論文の概要: FeatUp: A Model-Agnostic Framework for Features at Any Resolution

• arxiv url: http://arxiv.org/abs/2403.10516v1
• Date: Fri, 15 Mar 2024 17:57:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-18 16:11:26.542266
• Title: FeatUp: A Model-Agnostic Framework for Features at Any Resolution
• Title（参考訳）: FeatUp: どんな解像度でも機能のためのモデルに依存しないフレームワーク
• Authors: Stephanie Fu, Mark Hamilton, Laura Brandt, Axel Feldman, Zhoutong Zhang, William T. Freeman,
• Abstract要約: FeatUpは、失われた空間情報を深い特徴で復元するためのタスクおよびモデルに依存しないフレームワークである。 FeatUpの2つのバリエーションを紹介します。1つは、1つのフォワードパスで高分解能信号で特徴を導くもので、もう1つは暗黙のモデルを1つのイメージに適合させて、任意の解像度で特徴を再構成するものです。 FeatUpは、クラスアクティベーションマップ生成、セグメンテーションとデプス予測のためのトランスファーラーニング、セグメンテーションのためのエンドツーエンドトレーニングにおいて、他の機能アップサンプリングや画像超解像アプローチよりも大幅に優れていることを示す。
• 参考スコア（独自算出の注目度）: 24.4201195336725
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep features are a cornerstone of computer vision research, capturing image semantics and enabling the community to solve downstream tasks even in the zero- or few-shot regime. However, these features often lack the spatial resolution to directly perform dense prediction tasks like segmentation and depth prediction because models aggressively pool information over large areas. In this work, we introduce FeatUp, a task- and model-agnostic framework to restore lost spatial information in deep features. We introduce two variants of FeatUp: one that guides features with high-resolution signal in a single forward pass, and one that fits an implicit model to a single image to reconstruct features at any resolution. Both approaches use a multi-view consistency loss with deep analogies to NeRFs. Our features retain their original semantics and can be swapped into existing applications to yield resolution and performance gains even without re-training. We show that FeatUp significantly outperforms other feature upsampling and image super-resolution approaches in class activation map generation, transfer learning for segmentation and depth prediction, and end-to-end training for semantic segmentation.
• Abstract（参考訳）: ディープ機能はコンピュータビジョン研究の基盤であり、画像意味論を捉え、ゼロショットや少数ショットの体制でもコミュニティが下流のタスクを解決できるようにする。 しかし、これらの特徴は、大きな領域に積極的に情報をプールするため、セグメント化や深度予測といった密集した予測タスクを直接実行する空間分解能に欠けることが多い。 本研究では,タスクとモデルに依存しないフレームワークであるFeatUpを紹介し,失われた空間情報を深い特徴で復元する。 FeatUpの2つのバリエーションを紹介します。1つは、1つのフォワードパスで高分解能信号で特徴を導くもので、もう1つは暗黙のモデルを1つのイメージに適合させて、任意の解像度で特徴を再構成するものです。 どちらのアプローチも、NeRFと深い類似性を持つマルチビュー一貫性損失を使用する。 私たちの機能は、元のセマンティクスを保持しており、既存のアプリケーションに置き換えて、再トレーニングすることなく、解像度とパフォーマンスの向上を得ることができる。 FeatUpは、クラスアクティベーションマップ生成、セグメンテーションとデプス予測のためのトランスファーラーニング、セグメンテーションのためのエンドツーエンドトレーニングにおいて、他の機能アップサンプリングや画像超解像アプローチよりも大幅に優れていることを示す。

関連論文リスト

• Towards Cross-View-Consistent Self-Supervised Surround Depth Estimation [9.569646683579899]
  連続画像からの自己監督下周深度推定は経済的な代替手段を提供する。 従来のSSSDE法では、画像間で情報を融合する異なるメカニズムが提案されているが、それらのいくつかは、クロスビュー制約を明示的に考慮している。 本稿では,SSSDEのクロスビュー一貫性を高めるために,効率的で一貫したポーズ推定設計と2つの損失関数を提案する。
  論文  参考訳（メタデータ） (2024-07-04T16:29:05Z)
• Multi-task Image Restoration Guided By Robust DINO Features [88.74005987908443]
  DINOv2から抽出したロバストな特徴を利用したマルチタスク画像復元手法であるmboxtextbfDINO-IRを提案する。 まず,DINOV2の浅い特徴を動的に融合するPSF (Pixel-semantic fusion) モジュールを提案する。 これらのモジュールを統一された深層モデルに定式化することにより、モデルトレーニングを制約するために、DINO知覚の対照的な損失を提案する。
  論文  参考訳（メタデータ） (2023-12-04T06:59:55Z)
• Learning Enriched Features for Fast Image Restoration and Enhancement [166.17296369600774]
  本稿では,ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とする。 我々は、高解像度の空間的詳細を同時に保存しながら、複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。 提案手法は,デフォーカス・デブロアリング,画像デノイング,超解像,画像強調など,さまざまな画像処理タスクに対して,最先端の処理結果を実現する。
  論文  参考訳（メタデータ） (2022-04-19T17:59:45Z)
• Progressive Self-Guided Loss for Salient Object Detection [102.35488902433896]
  画像中の深層学習に基づくサラエント物体検出を容易にするプログレッシブ自己誘導損失関数を提案する。 我々のフレームワークは適応的に集約されたマルチスケール機能を利用して、健全な物体の探索と検出を効果的に行う。
  論文  参考訳（メタデータ） (2021-01-07T07:33:38Z)
• Interpretable Detail-Fidelity Attention Network for Single Image Super-Resolution [89.1947690981471]
  本研究では,スムースとディテールを段階的に分割・収束的に処理する,目的・解釈可能なディテール・ファイダリティ・アテンション・ネットワークを提案する。 特に,詳細推論において顕著な解釈可能な特徴表現のためのヘシアンフィルタを提案する。 実験により,提案手法は最先端手法よりも優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2020-09-28T08:31:23Z)
• Adaptive Context-Aware Multi-Modal Network for Depth Completion [107.15344488719322]
  我々は,観測された空間コンテキストを捉えるために,グラフ伝搬を採用することを提案する。 次に、注意機構を伝搬に適用し、ネットワークが文脈情報を適応的にモデル化することを奨励する。 最後に、抽出したマルチモーダル特徴を効果的に活用するための対称ゲート融合戦略を導入する。 本稿では,Adaptive Context-Aware Multi-Modal Network (ACMNet) を2つのベンチマークで評価した。
  論文  参考訳（メタデータ） (2020-08-25T06:00:06Z)
• DFNet: Discriminative feature extraction and integration network for salient object detection [6.959742268104327]
  畳み込みニューラルネットワークを用いた唾液度検出における課題の2つの側面に焦点をあてる。 第一に、様々な大きさに有能な物体が現れるため、単一スケールの畳み込みは適切な大きさを捉えない。 第二に、マルチレベル機能の使用は、モデルがローカルコンテキストとグローバルコンテキストの両方を使用するのに役立つ。
  論文  参考訳（メタデータ） (2020-04-03T13:56:41Z)
• Gated Fusion Network for Degraded Image Super Resolution [78.67168802945069]
  本稿では,基本特徴と回復特徴を別々に抽出する二分岐畳み込みニューラルネットワークを提案する。 特徴抽出ステップを2つのタスク非依存ストリームに分解することで、デュアルブランチモデルがトレーニングプロセスを容易にすることができる。
  論文  参考訳（メタデータ） (2020-03-02T13:28:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。