Fugu-MT 論文翻訳(概要): No Re-Train, More Gain: Upgrading Backbones with Diffusion Model for Few-Shot Segmentation

論文の概要: No Re-Train, More Gain: Upgrading Backbones with Diffusion Model for Few-Shot Segmentation

arxiv url: http://arxiv.org/abs/2407.16182v1
Date: Tue, 23 Jul 2024 05:09:07 GMT
ステータス: 処理完了
システム内更新日: 2024-07-24 18:35:54.534841
Title: No Re-Train, More Gain: Upgrading Backbones with Diffusion Model for Few-Shot Segmentation
Title（参考訳）: No Re-Train, More Gain: Upgrading Backbones with Diffusion Model for Few-Shot Segmentation (特集:バイオサイバネティックスとバイオサイバネティックス)
Authors: Shuai Chen, Fanman Meng, Chenhao Wu, Haoran Wei, Runtong Zhang, Qingbo Wu, Linfeng Xu, Hongliang Li,
Abstract要約: Few-Shot (FSS) は、注釈付き画像のみを使用して、新しいクラスを分割することを目的としている。現在のFSSメソッドでは、再トレーニングなしでのバックボーンアップグレードの柔軟性、さまざまなアノテーションを均一に扱うことができない、という3つの問題に直面している。拡散過程を用いた条件生成問題としてFSSタスクを概念化する新しいFSS手法であるDiffUpを提案する。
参考スコア（独自算出の注目度）: 22.263029309151467
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Few-Shot Segmentation (FSS) aims to segment novel classes using only a few annotated images. Despite considerable process under pixel-wise support annotation, current FSS methods still face three issues: the inflexibility of backbone upgrade without re-training, the inability to uniformly handle various types of annotations (e.g., scribble, bounding box, mask and text), and the difficulty in accommodating different annotation quantity. To address these issues simultaneously, we propose DiffUp, a novel FSS method that conceptualizes the FSS task as a conditional generative problem using a diffusion process. For the first issue, we introduce a backbone-agnostic feature transformation module that converts different segmentation cues into unified coarse priors, facilitating seamless backbone upgrade without re-training. For the second issue, due to the varying granularity of transformed priors from diverse annotation types, we conceptualize these multi-granular transformed priors as analogous to noisy intermediates at different steps of a diffusion model. This is implemented via a self-conditioned modulation block coupled with a dual-level quality modulation branch. For the third issue, we incorporates an uncertainty-aware information fusion module that harmonizing the variability across zero-shot, one-shot and many-shot scenarios. Evaluated through rigorous benchmarks, DiffUp significantly outperforms existing FSS models in terms of flexibility and accuracy.
Abstract（参考訳）: Few-Shot Segmentation (FSS)は、注釈付き画像のみを使用して新しいクラスをセグメンテーションすることを目的としている。ピクセル単位のサポートアノテーションの下でのかなりのプロセスにもかかわらず、現在のFSSメソッドは、再トレーニングなしでのバックボーンアップグレードの柔軟性、さまざまなタイプのアノテーション(例えば、スクリブル、バウンディングボックス、マスク、テキスト)を均一に扱えないこと、異なるアノテーション量の調整が難しいこと、の3つの問題に直面している。これらの問題を同時に解決するために,拡散過程を用いた条件生成問題としてFSSタスクを概念化する新しいFSS手法であるDiffUpを提案する。最初の問題として、異なるセグメンテーションキューを統一された粗いプリエントに変換するバックボーン非依存の機能変換モジュールを導入し、再トレーニングなしにシームレスなバックボーンアップグレードを実現する。 2つ目の問題として、様々なアノテーションタイプからの変換前の粒度の変化により、拡散モデルの異なる段階におけるノイズのある中間体と類似した、これらの多重粒変換前の概念化を行う。これは、自己条件付き変調ブロックとデュアルレベル品質変調ブランチを結合して実装される。第3の課題では、ゼロショット、ワンショット、多ショットシナリオ間のばらつきを調和させる不確実性を認識した情報融合モジュールを組み込んでいます。厳格なベンチマークによって評価されたDiffUpは、柔軟性と正確性の観点から、既存のFSSモデルを大幅に上回っている。

関連論文リスト

CoSIGN: Few-Step Guidance of ConSIstency Model to Solve General INverse Problems [3.3969056208620128]
我々は, 高い復元品質を維持しつつ, 推論ステップの境界を1-2 NFEに推し進めることを提案する。本手法は拡散型逆問題解法における新しい最先端技術を実現する。
論文参考訳（メタデータ） (2024-07-17T15:57:50Z)
Memory-guided Network with Uncertainty-based Feature Augmentation for Few-shot Semantic Segmentation [12.653336728447654]
学習可能なメモリベクトルの集合からなるクラス共有メモリ(CSM)モジュールを提案する。これらのメモリベクトルは、トレーニング中にベースクラスから要素オブジェクトパターンを学習し、トレーニングと推論の両方でクエリ機能を再エンコードする。我々は、CSMとUFAを代表的FSS作品に統合し、広く使われているPASCAL-5$i$とCOCO-20$i$データセットの実験結果を得た。
論文参考訳（メタデータ） (2024-06-01T19:53:25Z)
One More Step: A Versatile Plug-and-Play Module for Rectifying Diffusion Schedule Flaws and Enhancing Low-Frequency Controls [77.42510898755037]
One More Step (OMS) は、推論中に単純だが効果的なステップを付加したコンパクトネットワークである。 OMSは画像の忠実度を高め、トレーニングと推論の二分法を調和させ、元のモデルパラメータを保存する。トレーニングが完了すると、同じ潜在ドメインを持つ様々な事前訓練された拡散モデルが同じOMSモジュールを共有することができる。
論文参考訳（メタデータ） (2023-11-27T12:02:42Z)
Phasic Content Fusing Diffusion Model with Directional Distribution Consistency for Few-Shot Model Adaption [73.98706049140098]
本稿では,方向分布の整合性を損なう少数ショット拡散モデルを用いた新しいファシックコンテンツを提案する。具体的には、ファシックコンテンツ融合を用いたファシックトレーニング戦略を設計し、tが大きければ、モデルがコンテンツやスタイル情報を学ぶのに役立てる。最後に、ドメイン適応時の構造整合性を高めるクロスドメイン構造ガイダンス戦略を提案する。
論文参考訳（メタデータ） (2023-09-07T14:14:11Z)
Exploring Multi-Timestep Multi-Stage Diffusion Features for Hyperspectral Image Classification [16.724299091453844]
拡散に基づくHSI分類法は,手動で選択した単一段階の特徴のみを利用する。 MTMSDと呼ばれる,HSI分類のための多段階多段階拡散機能を初めて検討した,拡散に基づく新しい特徴学習フレームワークを提案する。提案手法は,HSI分類の最先端手法,特にヒューストン2018データセットより優れている。
論文参考訳（メタデータ） (2023-06-15T08:56:58Z)
Diffusion Visual Counterfactual Explanations [51.077318228247925]
VCE(Visual Counterfactual Explanations)は、画像の決定を理解するための重要なツールである。 VCEの生成に対する現在のアプローチは、逆向きに堅牢なモデルに制限されており、しばしば非現実的なアーティファクトを含んでいる。本稿では、任意のイメージネット分類器に対して、視覚拡散対実説明(DVCE)を生成することでこれを克服する。
論文参考訳（メタデータ） (2022-10-21T09:35:47Z)
f-DM: A Multi-stage Diffusion Model via Progressive Signal Transformation [56.04628143914542]
拡散モデル(DM)は、最近、様々な領域で生成モデリングを行うためのSoTAツールとして登場した。本稿では、プログレッシブ信号変換が可能なDMの一般化されたファミリであるf-DMを提案する。我々は、ダウンサンプリング、ぼやけ、学習された変換を含む様々な機能を持つ画像生成タスクにf-DMを適用した。
論文参考訳（メタデータ） (2022-10-10T18:49:25Z)
Progressive Multi-scale Consistent Network for Multi-class Fundus Lesion Segmentation [28.58972084293778]
提案するプログレッシブ・フィーチャー・フュージョン(PFF)ブロックと動的アテンション・ブロック(DAB)を統合した,プログレッシブ・マルチスケール・一貫性ネットワーク(PMCNet)を提案する。 PFFブロックは、隣接するエンコーディング層からのマルチスケール機能を段階的に統合し、きめ細かい詳細と高レベルのセマンティクスを集約することで、各層の特徴学習を容易にする。 DABは、異なるスケールで融合した特徴から注意深い手がかりを動的に学習するように設計されているため、マルチスケール機能に存在する本質的な矛盾を円滑にすることを目的としている。
論文参考訳（メタデータ） (2022-05-31T12:10:01Z)
Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
論文参考訳（メタデータ） (2021-03-01T21:14:33Z)
Prior Guided Feature Enrichment Network for Few-Shot Segmentation [64.91560451900125]
最先端のセマンティックセグメンテーション手法は、良い結果を得るために十分なラベル付きデータを必要とする。少数のラベル付きサポートサンプルを持つ新しいクラスに迅速に適応するモデルを学習することで,この問題に対処するためのショットセグメンテーションが提案されている。これらのフレームワークは、高レベルのセマンティック情報の不適切な使用により、目に見えないクラスにおける一般化能力の低下という課題に直面している。
論文参考訳（メタデータ） (2020-08-04T10:41:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。