論文の概要: Singular Value Fine-tuning: Few-shot Segmentation requires Few-parameters Fine-tuning

• arxiv url: http://arxiv.org/abs/2206.06122v1
• Date: Mon, 13 Jun 2022 13:00:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-14 15:49:08.674851
• Title: Singular Value Fine-tuning: Few-shot Segmentation requires Few-parameters Fine-tuning
• Title（参考訳）: 特異値の微調整:最小ショットのセグメンテーションは、最小パラメータの微調整を必要とする
• Authors: Yanpeng Sun, Qiang Chen, Xiangyu He, Jian Wang, Haocheng Feng, Junyu Han, Errui Ding, Jian Cheng, Zechao Li, Jingdong Wang
• Abstract要約: 過度に適合する問題を克服する解決策を提案し,新しいクラスを学習する際のモデル一般化に寄与する。 我々の手法は,Singular Value Decomposition (SVD) を用いて,バックボーンパラメータを3つの連続行列に分解する。 私たちはPascal-5$i$とCOCO-20$i$を1ショットと5ショットで比較した。
• 参考スコア（独自算出の注目度）: 88.29332564026434
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Freezing the pre-trained backbone has become a standard paradigm to avoid overfitting in few-shot segmentation. In this paper, we rethink the paradigm and explore a new regime: {\em fine-tuning a small part of parameters in the backbone}. We present a solution to overcome the overfitting problem, leading to better model generalization on learning novel classes. Our method decomposes backbone parameters into three successive matrices via the Singular Value Decomposition (SVD), then {\em only fine-tunes the singular values} and keeps others frozen. The above design allows the model to adjust feature representations on novel classes while maintaining semantic clues within the pre-trained backbone. We evaluate our {\em Singular Value Fine-tuning (SVF)} approach on various few-shot segmentation methods with different backbones. We achieve state-of-the-art results on both Pascal-5$^i$ and COCO-20$^i$ across 1-shot and 5-shot settings. Hopefully, this simple baseline will encourage researchers to rethink the role of backbone fine-tuning in few-shot settings. The source code and models will be available at \url{https://github.com/syp2ysy/SVF}.
• Abstract（参考訳）: 事前トレーニングされたバックボーンの凍結は、少数ショットのセグメンテーションでオーバーフィットを避けるための標準的なパラダイムになっています。 本稿では、このパラダイムを再考し、新しい体制を探求する。 オーバーフィッティング問題を克服する解決策を提案し,新しいクラスを学習する際のモデル一般化を改良する。 本手法では, バックボーンパラメータをSingular Value Decomposition (SVD) を介して3つの連続行列に分解し, 特異値のみを微調整し, 他のパラメータを凍結する。 上記の設計により、トレーニング済みのバックボーン内でセマンティックなヒントを維持しながら、新しいクラスの特徴表現を調整できる。 バックボーンの異なる複数ショットセグメンテーション法におけるSVF(Singular Value Fine-tuning)アプローチの評価を行った。 本研究では,Pascal-5$^i$とCOCO-20$^i$を1ショット5ショット設定で比較した。 このシンプルなベースラインが研究者たちに、バックボーンの微調整の役割を再考させることを期待したい。 ソースコードとモデルは \url{https://github.com/syp2ysy/SVF} で入手できる。

関連論文リスト

• Low-Rank Rescaled Vision Transformer Fine-Tuning: A Residual Design Approach [17.678759882763078]
  事前訓練されたビジョントランスフォーマーの微調整は、下流のタスクにモデルを十分にカスタマイズすることを目的としている。 事前訓練されたモデルの一般化可能な表現能力を維持することと、タスク固有の特徴を取得することのバランスを取ることは重要な課題である。 本稿では,Residual-based Low-Rank Rescaling (RLRR)ファインチューニング戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-28T00:14:53Z)
• Rethinking Few-shot 3D Point Cloud Semantic Segmentation [62.80639841429669]
  本稿では,FS-PCSによる3Dポイント・クラウドセマンティックセマンティックセグメンテーションについて再検討する。 我々は、最先端の2つの重要な問題、前景の漏洩とスパースポイントの分布に焦点をあてる。 これらの問題に対処するために、新しいベンチマークを構築するための標準化されたFS-PCS設定を導入する。
  論文  参考訳（メタデータ） (2024-03-01T15:14:47Z)
• More than the Sum of Its Parts: Ensembling Backbone Networks for Few-Shot Segmentation [49.090592800481616]
  異なるバックボーンから特徴を融合させることで、よりリッチな視覚的特徴を捉えることができるかどうかを検討する。 Independent Voting と Feature Fusion という2つのアンサンブル手法を提案し,比較する。 当社のアプローチは、ワンショットの学習シナリオに挑戦しても、従来の単一バックボーンPANetを標準ベンチマークで上回ります。
  論文  参考訳（メタデータ） (2024-02-09T18:01:15Z)
• Improving Prototypical Visual Explanations with Reward Reweighing, Reselection, and Retraining [4.9572582709699144]
  ProtoPNetは、入力の有意義な部分に基づいて画像の分類を試みる。 このアーキテクチャは視覚的に解釈可能な分類を生成することができるが、意味論的に意味を持たない画像の部分に基づいて分類することを学ぶことが多い。 Reward Reweighing, Reselecting, and Retraining (R3)後処理フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-08T03:42:54Z)
• Rethinking Semantic Segmentation: A Prototype View [126.59244185849838]
  学習不可能なプロトタイプをベースとした非パラメトリックセマンティックセマンティックセマンティクスモデルを提案する。 我々のフレームワークは、いくつかのデータセットに対して魅力的な結果をもたらす。 この作業が、現在のデファクトセマンティックセグメンテーションモデル設計を再考することを期待しています。
  論文  参考訳（メタデータ） (2022-03-28T21:15:32Z)
• Decoupled Multi-task Learning with Cyclical Self-Regulation for Face Parsing [71.19528222206088]
  顔解析のための周期的自己統制型デカップリング型マルチタスク学習を提案する。 具体的には、DML-CSRは、顔解析、バイナリエッジ、カテゴリエッジ検出を含むマルチタスクモデルを設計する。 提案手法は,Helen,CelebA-HQ,LapaMaskのデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-28T02:12:30Z)
• Generalized Few-Shot Semantic Segmentation: All You Need is Fine-Tuning [35.51193811629467]
  一般化された少数ショットセマンティックセマンティックセマンティクスは、新規クラスの少数ショットセマンティクスモデルのみを評価することを超えて導入された。 現在、すべてのアプローチはメタラーニングに基づいていますが、わずか数枚のショットを観察した後、学習が不十分で飽和しています。 提案手法は,2つのデータセットに対して最先端の処理結果を達成しつつ,飽和問題に対処できることを実証するものである。
  論文  参考訳（メタデータ） (2021-12-21T04:44:57Z)
• Few-Shot Lifelong Learning [35.05196800623617]
  Few-Shot Lifelong Learningにより、深層学習モデルが短距離/連続学習を実行できます。 提案手法では,モデルからごく少数のパラメータを選択して,モデル全体をトレーニングする代わりに,新しいクラスのセットをトレーニングする。 提案手法は, miniImageNet, CIFAR-100, CUB-200データセットにおいて, 既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-03-01T13:26:57Z)
• Prior Guided Feature Enrichment Network for Few-Shot Segmentation [64.91560451900125]
  最先端のセマンティックセグメンテーション手法は、良い結果を得るために十分なラベル付きデータを必要とする。 少数のラベル付きサポートサンプルを持つ新しいクラスに迅速に適応するモデルを学習することで,この問題に対処するためのショットセグメンテーションが提案されている。 これらのフレームワークは、高レベルのセマンティック情報の不適切な使用により、目に見えないクラスにおける一般化能力の低下という課題に直面している。
  論文  参考訳（メタデータ） (2020-08-04T10:41:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。