論文の概要: FeatUp: A Model-Agnostic Framework for Features at Any Resolution
- arxiv url: http://arxiv.org/abs/2403.10516v1
- Date: Fri, 15 Mar 2024 17:57:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-18 16:11:26.542266
- Title: FeatUp: A Model-Agnostic Framework for Features at Any Resolution
- Title(参考訳): FeatUp: どんな解像度でも機能のためのモデルに依存しないフレームワーク
- Authors: Stephanie Fu, Mark Hamilton, Laura Brandt, Axel Feldman, Zhoutong Zhang, William T. Freeman,
- Abstract要約: FeatUpは、失われた空間情報を深い特徴で復元するためのタスクおよびモデルに依存しないフレームワークである。
FeatUpの2つのバリエーションを紹介します。1つは、1つのフォワードパスで高分解能信号で特徴を導くもので、もう1つは暗黙のモデルを1つのイメージに適合させて、任意の解像度で特徴を再構成するものです。
FeatUpは、クラスアクティベーションマップ生成、セグメンテーションとデプス予測のためのトランスファーラーニング、セグメンテーションのためのエンドツーエンドトレーニングにおいて、他の機能アップサンプリングや画像超解像アプローチよりも大幅に優れていることを示す。
- 参考スコア(独自算出の注目度): 24.4201195336725
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep features are a cornerstone of computer vision research, capturing image semantics and enabling the community to solve downstream tasks even in the zero- or few-shot regime. However, these features often lack the spatial resolution to directly perform dense prediction tasks like segmentation and depth prediction because models aggressively pool information over large areas. In this work, we introduce FeatUp, a task- and model-agnostic framework to restore lost spatial information in deep features. We introduce two variants of FeatUp: one that guides features with high-resolution signal in a single forward pass, and one that fits an implicit model to a single image to reconstruct features at any resolution. Both approaches use a multi-view consistency loss with deep analogies to NeRFs. Our features retain their original semantics and can be swapped into existing applications to yield resolution and performance gains even without re-training. We show that FeatUp significantly outperforms other feature upsampling and image super-resolution approaches in class activation map generation, transfer learning for segmentation and depth prediction, and end-to-end training for semantic segmentation.
- Abstract(参考訳): ディープ機能はコンピュータビジョン研究の基盤であり、画像意味論を捉え、ゼロショットや少数ショットの体制でもコミュニティが下流のタスクを解決できるようにする。
しかし、これらの特徴は、大きな領域に積極的に情報をプールするため、セグメント化や深度予測といった密集した予測タスクを直接実行する空間分解能に欠けることが多い。
本研究では,タスクとモデルに依存しないフレームワークであるFeatUpを紹介し,失われた空間情報を深い特徴で復元する。
FeatUpの2つのバリエーションを紹介します。1つは、1つのフォワードパスで高分解能信号で特徴を導くもので、もう1つは暗黙のモデルを1つのイメージに適合させて、任意の解像度で特徴を再構成するものです。
どちらのアプローチも、NeRFと深い類似性を持つマルチビュー一貫性損失を使用する。
私たちの機能は、元のセマンティクスを保持しており、既存のアプリケーションに置き換えて、再トレーニングすることなく、解像度とパフォーマンスの向上を得ることができる。
FeatUpは、クラスアクティベーションマップ生成、セグメンテーションとデプス予測のためのトランスファーラーニング、セグメンテーションのためのエンドツーエンドトレーニングにおいて、他の機能アップサンプリングや画像超解像アプローチよりも大幅に優れていることを示す。
関連論文リスト
- Hi-ResNet: A High-Resolution Remote Sensing Network for Semantic
Segmentation [7.216053041550996]
高分解能リモートセンシング(HRS)セマンティックセマンティクスは、高分解能カバレッジ領域からキーオブジェクトを抽出する。
HRS画像内の同じカテゴリのオブジェクトは、多様な地理的環境におけるスケールと形状の顕著な違いを示す。
効率的なネットワーク構造を持つ高分解能リモートセンシングネットワーク(Hi-ResNet)を提案する。
論文 参考訳(メタデータ) (2023-05-22T03:58:25Z) - Learning Enriched Features for Fast Image Restoration and Enhancement [166.17296369600774]
本稿では,ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とする。
我々は、高解像度の空間的詳細を同時に保存しながら、複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
提案手法は,デフォーカス・デブロアリング,画像デノイング,超解像,画像強調など,さまざまな画像処理タスクに対して,最先端の処理結果を実現する。
論文 参考訳(メタデータ) (2022-04-19T17:59:45Z) - Progressive Self-Guided Loss for Salient Object Detection [102.35488902433896]
画像中の深層学習に基づくサラエント物体検出を容易にするプログレッシブ自己誘導損失関数を提案する。
我々のフレームワークは適応的に集約されたマルチスケール機能を利用して、健全な物体の探索と検出を効果的に行う。
論文 参考訳(メタデータ) (2021-01-07T07:33:38Z) - Interpretable Detail-Fidelity Attention Network for Single Image
Super-Resolution [89.1947690981471]
本研究では,スムースとディテールを段階的に分割・収束的に処理する,目的・解釈可能なディテール・ファイダリティ・アテンション・ネットワークを提案する。
特に,詳細推論において顕著な解釈可能な特徴表現のためのヘシアンフィルタを提案する。
実験により,提案手法は最先端手法よりも優れた性能を示すことが示された。
論文 参考訳(メタデータ) (2020-09-28T08:31:23Z) - Adaptive Context-Aware Multi-Modal Network for Depth Completion [107.15344488719322]
我々は,観測された空間コンテキストを捉えるために,グラフ伝搬を採用することを提案する。
次に、注意機構を伝搬に適用し、ネットワークが文脈情報を適応的にモデル化することを奨励する。
最後に、抽出したマルチモーダル特徴を効果的に活用するための対称ゲート融合戦略を導入する。
本稿では,Adaptive Context-Aware Multi-Modal Network (ACMNet) を2つのベンチマークで評価した。
論文 参考訳(メタデータ) (2020-08-25T06:00:06Z) - DFNet: Discriminative feature extraction and integration network for
salient object detection [6.959742268104327]
畳み込みニューラルネットワークを用いた唾液度検出における課題の2つの側面に焦点をあてる。
第一に、様々な大きさに有能な物体が現れるため、単一スケールの畳み込みは適切な大きさを捉えない。
第二に、マルチレベル機能の使用は、モデルがローカルコンテキストとグローバルコンテキストの両方を使用するのに役立つ。
論文 参考訳(メタデータ) (2020-04-03T13:56:41Z) - Learning Enriched Features for Real Image Restoration and Enhancement [166.17296369600774]
畳み込みニューラルネットワーク(CNN)は、画像復元作業における従来のアプローチよりも劇的に改善されている。
ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とした,新しいアーキテクチャを提案する。
提案手法は,高解像度の空間的詳細を同時に保存しながら,複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
論文 参考訳(メタデータ) (2020-03-15T11:04:30Z) - Gated Fusion Network for Degraded Image Super Resolution [78.67168802945069]
本稿では,基本特徴と回復特徴を別々に抽出する二分岐畳み込みニューラルネットワークを提案する。
特徴抽出ステップを2つのタスク非依存ストリームに分解することで、デュアルブランチモデルがトレーニングプロセスを容易にすることができる。
論文 参考訳(メタデータ) (2020-03-02T13:28:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。