論文の概要: Stronger, Fewer, & Superior: Harnessing Vision Foundation Models for
Domain Generalized Semantic Segmentation
- arxiv url: http://arxiv.org/abs/2312.04265v3
- Date: Tue, 9 Jan 2024 08:29:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-10 19:35:12.737462
- Title: Stronger, Fewer, & Superior: Harnessing Vision Foundation Models for
Domain Generalized Semantic Segmentation
- Title(参考訳): strong, less, and superior: ドメイン一般化意味セグメンテーションのためのビジョン基盤モデルを活用する
- Authors: Zhixiang Wei, Lin Chen, Yi Jin, Xiaoxiao Ma, Tianle Liu, Pengyang
Ling, Ben Wang, Huaian Chen, Jinjin Zheng
- Abstract要約: 私たちはまず、ドメイン一般化セマンティック(DGSS)の文脈における様々なビジョン基礎モデル(VFM)を評価し、活用する。
DGSS にパラメータ効率よく VFM を利用するための頑健な微調整手法,すなわち Rein を導入する。
トレーニング可能なパラメータが少ないため、ReinはDGSSタスクのVFMを効率よく微調整し、完全なパラメータの微調整を驚くほど上回った。
- 参考スコア(独自算出の注目度): 16.734477744892466
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we first assess and harness various Vision Foundation Models
(VFMs) in the context of Domain Generalized Semantic Segmentation (DGSS).
Driven by the motivation that Leveraging Stronger pre-trained models and Fewer
trainable parameters for Superior generalizability, we introduce a robust
fine-tuning approach, namely Rein, to parameter-efficiently harness VFMs for
DGSS. Built upon a set of trainable tokens, each linked to distinct instances,
Rein precisely refines and forwards the feature maps from each layer to the
next layer within the backbone. This process produces diverse refinements for
different categories within a single image. With fewer trainable parameters,
Rein efficiently fine-tunes VFMs for DGSS tasks, surprisingly surpassing full
parameter fine-tuning. Extensive experiments across various settings
demonstrate that Rein significantly outperforms state-of-the-art methods.
Remarkably, with just an extra 1% of trainable parameters within the frozen
backbone, Rein achieves a mIoU of 68.1% on the Cityscapes, without accessing
any real urban-scene datasets.Code is available at
https://github.com/w1oves/Rein.git.
- Abstract(参考訳): 本稿では、まず、ドメイン一般化セマンティックセマンティックセグメンテーション(DGSS)の文脈において、様々なビジョン基礎モデル(VFM)を評価し、活用する。
より強力な事前学習モデルとより少ない訓練可能なパラメータを上向きの一般化性に活用する動機により、DGSSのVFMをパラメータ効率よく活用するための堅牢な微調整手法、すなわちReinを導入する。
トレーニング可能なトークンセットに基づいて構築され、それぞれが異なるインスタンスにリンクされ、機能マップを各レイヤからバックボーン内の次のレイヤに正確に洗練し、転送する。
このプロセスは、単一の画像内のさまざまなカテゴリの多様な改良を生み出す。
トレーニング可能なパラメータが少ないため、ReinはDGSSタスクのVFMを効率的に微調整する。
さまざまな設定にわたる大規模な実験は、Reinが最先端のメソッドを大幅に上回っていることを示している。
注目すべきは、凍結したバックボーン内のトレーニング可能なパラメータのわずか1%で、Reinは実際の都市シーンデータセットにアクセスすることなく、Cityscapesで68.1%のmIoUを達成したことだ。
関連論文リスト
- Dynamic Adapter Meets Prompt Tuning: Parameter-Efficient Transfer Learning for Point Cloud Analysis [51.14136878142034]
ポイントクラウド分析は、事前訓練されたモデルのポイントクラウドの転送によって、優れたパフォーマンスを実現している。
モデル適応のための既存の方法は通常、高い計算コストに依存するため、非効率な全てのモデルパラメータを更新する。
本稿では,タスク性能とパラメータ効率のトレードオフを考慮した,ポイントクラウド解析のためのパラメータ効率変換学習を提案する。
論文 参考訳(メタデータ) (2024-03-03T08:25:04Z) - More than the Sum of Its Parts: Ensembling Backbone Networks for
Few-Shot Segmentation [49.090592800481616]
異なるバックボーンから特徴を融合させることで、よりリッチな視覚的特徴を捉えることができるかどうかを検討する。
Independent Voting と Feature Fusion という2つのアンサンブル手法を提案し,比較する。
当社のアプローチは、ワンショットの学習シナリオに挑戦しても、従来の単一バックボーンPANetを標準ベンチマークで上回ります。
論文 参考訳(メタデータ) (2024-02-09T18:01:15Z) - Single-Model and Any-Modality for Video Object Tracking [85.83753760853142]
任意のモダリティに対して単一のパラメータセットの統一トラッカーUn-Trackを導入する。
任意のモダリティを扱うために,低ランク因子化および再構成手法を用いて,それらの共通潜時空間を学習する。
我々のUn-Trackは、+6.6M(93M以上)のパラメータを持つ+2.14(21.50以上)のGFLOPを導入することで、DepthTrackデータセット上で、+8.1絶対Fスコアゲインを達成する。
論文 参考訳(メタデータ) (2023-11-27T14:17:41Z) - Hierarchical Side-Tuning for Vision Transformers [34.55731467838914]
本稿では,種々の下流タスクへのVT転送を効果的に行う新しいPETL手法である階層側チューニング(HST)を提案する。
HSTを検証するために,分類,オブジェクト検出,インスタンスセグメンテーション,セマンティックセグメンテーションなど,多様な視覚的タスクを含む広範な実験を行った。
VTAB-1kでは,0.78Mパラメータを微調整しながら,最先端の平均Top-1精度76.4%を実現した。
論文 参考訳(メタデータ) (2023-10-09T04:16:35Z) - Never Train from Scratch: Fair Comparison of Long-Sequence Models Requires Data-Driven Priors [44.5740422079]
標準的なデノベーション目的による事前トレーニングは、複数のアーキテクチャで劇的に向上することを示す。
先行研究とは対照的に、適切に事前訓練された場合の長距離アリーナでのS4の性能に適合するバニラトランスフォーマーが見つかる。
論文 参考訳(メタデータ) (2023-10-04T17:17:06Z) - Prompt Tuning for Parameter-efficient Medical Image Segmentation [79.09285179181225]
2つの医用画像データセットのセマンティックセグメンテーションにパラメータ効率が良いが効果的な適応を実現するために,いくつかのコントリビューションを提案し,検討する。
我々はこのアーキテクチャを、オンライン生成プロトタイプへの割り当てに基づく専用密集型セルフスーパービジョンスキームで事前訓練する。
得られたニューラルネットワークモデルにより、完全に微調整されたモデルとパラメータに適応したモデルとのギャップを緩和できることを実証する。
論文 参考訳(メタデータ) (2022-11-16T21:55:05Z) - DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language
Models [152.29364079385635]
事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。
本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。
提案するフレームワークは,Dually Sparsity-Embeded Efficient Tuning (DSEE)と呼ばれ,パラメータ効率のよい微調整とリソース効率の推論という2つの重要な目標を達成することを目的としている。
論文 参考訳(メタデータ) (2021-10-30T03:29:47Z) - Adaptive Recursive Circle Framework for Fine-grained Action Recognition [95.51097674917851]
ビデオにおける微粒な空間時間ダイナミクスのモデル化は、アクション認識にとって難しい問題である。
既存のほとんどのメソッドは、純粋なフィードフォワード方式でレイヤの特徴を生成する。
本稿では,純粋なフィードフォワード層のための微細なデコレータであるAdaptive Recursive Circleフレームワークを提案する。
論文 参考訳(メタデータ) (2021-07-25T14:24:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。