論文の概要: Self-supervised co-salient object detection via feature correspondence at multiple scales
- arxiv url: http://arxiv.org/abs/2403.11107v3
- Date: Wed, 3 Jul 2024 06:10:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-04 19:44:31.521234
- Title: Self-supervised co-salient object detection via feature correspondence at multiple scales
- Title（参考訳）: 複数スケールにおける特徴対応による自己教師付き協調物体検出
- Authors: Souradeep Chakraborty, Dimitris Samaras,
- Abstract要約: 本稿では,画像群における2段階の自己教師型手法を用いて,セグメンテーションアノテーションを必要とせず,共起性有色物体(CoSOD)を検出する手法を提案する。
我々は、画像間の局所パッチレベルの特徴対応を計算し、コサレント領域を検出する自己教師ネットワークを訓練する。
3つのCoSODベンチマークデータセットの実験では、我々のモデルは、対応する最先端モデルよりも大きなマージンで優れています。
- 参考スコア（独自算出の注目度）: 27.664016341526988
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Our paper introduces a novel two-stage self-supervised approach for detecting co-occurring salient objects (CoSOD) in image groups without requiring segmentation annotations. Unlike existing unsupervised methods that rely solely on patch-level information (e.g. clustering patch descriptors) or on computation heavy off-the-shelf components for CoSOD, our lightweight model leverages feature correspondences at both patch and region levels, significantly improving prediction performance. In the first stage, we train a self-supervised network that detects co-salient regions by computing local patch-level feature correspondences across images. We obtain the segmentation predictions using confidence-based adaptive thresholding. In the next stage, we refine these intermediate segmentations by eliminating the detected regions (within each image) whose averaged feature representations are dissimilar to the foreground feature representation averaged across all the cross-attention maps (from the previous stage). Extensive experiments on three CoSOD benchmark datasets show that our self-supervised model outperforms the corresponding state-of-the-art models by a huge margin (e.g. on the CoCA dataset, our model has a 13.7% F-measure gain over the SOTA unsupervised CoSOD model). Notably, our self-supervised model also outperforms several recent fully supervised CoSOD models on the three test datasets (e.g., on the CoCA dataset, our model has a 4.6% F-measure gain over a recent supervised CoSOD model).
- Abstract（参考訳）: そこで本稿では,画像群における2段階の自己教師型アプローチを用いて,セグメンテーションアノテーションを必要とせず,共起サラリアンオブジェクト(CoSOD)を検出する手法を提案する。
パッチレベルの情報(例えばクラスタリングパッチ記述子)やCoSODの重いオフザシェルフコンポーネントにのみ依存する既存の教師なし手法とは異なり、我々の軽量モデルはパッチレベルとリージョンレベルの特徴対応を活用し、予測性能を大幅に向上させる。
第1段階では、画像間の局所パッチレベルの特徴対応を計算し、コサレント領域を検出する自己教師ネットワークを訓練する。
信頼度に基づくアダプティブしきい値を用いたセグメンテーション予測を行う。
次の段階では、各画像から検出された領域(各画像を含む)を排除し、これらの中間区分けを洗練し、平均された特徴表現は、すべての横断的地図(前段から)で平均化された前景の特徴表現と相違する。
3つのCoSODベンチマークデータセットに対する大規模な実験により、我々の自己教師型モデルは、対応する最先端モデルよりも大きなマージンで優れていることが示されている(例えば、CoCAデータセットでは、私たちのモデルはSOTA非教師型CoSODモデルよりも13.7%のF測定得ている)。
特に、我々の自己監督モデルは、3つのテストデータセット(例えば、CoCAデータセットでは、我々のモデルは、最近の教師付きCoSODモデルよりも4.6%のF測定ゲインを持つ)で、最近完全に教師付きCoSODモデルよりも優れています。
関連論文リスト
- Unsupervised and semi-supervised co-salient object detection via
segmentation frequency statistics [24.397029434125873]
我々は,画像群内の共起する有意な物体を検出するための教師なし手法を開発した。
初めて、ImageNet-1kのような大規模なラベルなしデータセットを効果的に活用して、教師なしのCoSOD性能を改善することができることを示す。
ラベルなしデータの予測から誤信号の伝搬を回避するため,信頼度推定モジュールを提案する。
論文 参考訳（メタデータ） (2023-11-11T19:47:16Z) - GEO-Bench: Toward Foundation Models for Earth Monitoring [139.77907168809085]
6つの分類と6つのセグメンテーションタスクからなるベンチマークを提案する。
このベンチマークは、さまざまな地球観測タスクの進行の原動力となる。
論文 参考訳（メタデータ） (2023-06-06T16:16:05Z) - K-means Clustering Based Feature Consistency Alignment for Label-free
Model Evaluation [12.295565506212844]
本稿では,CVPR 2023における第1回DataCV Challenge of the Visual Understandingデータセットワークショップのソリューションについて述べる。
まず,K-means Clustering Based Feature Consistency Alignment (KCFCA) という手法を提案する。
第2に,分布の変化とモデル精度の関係を捉える動的回帰モデルを開発する。
第三に、外乱モデル因子を発見し、外乱モデルを排除するアルゴリズムを設計し、複数のオートエスバルモデルの強みを組み合わせる。
論文 参考訳（メタデータ） (2023-04-17T06:33:30Z) - Cross-Modal Fine-Tuning: Align then Refine [83.37294254884446]
ORCAはクロスモーダルな微調整フレームワークであり、単一の大規模事前訓練モデルの適用範囲を様々に拡張する。
ORCAは12のモダリティから60以上のデータセットを含む3つのベンチマークで最先端の結果を得る。
論文 参考訳（メタデータ） (2023-02-11T16:32:28Z) - Generalised Co-Salient Object Detection [50.876864826216924]
本稿では,従来のCo-Salient Object Detection(CoSOD)設定における仮定を緩和する新しい設定を提案する。
我々はこの新たな設定を一般共分散オブジェクト検出(GCoSOD)と呼ぶ。
本稿では,コサリエントオブジェクトのイメージ間欠如の認識をCoSODモデルに再現する,新しいランダムサンプリングに基づく一般CoSODトレーニング(Generalized CoSOD Training, GCT)手法を提案する。
論文 参考訳（メタデータ） (2022-08-20T12:23:32Z) - Attentive Prototypes for Source-free Unsupervised Domain Adaptive 3D
Object Detection [85.11649974840758]
3Dオブジェクト検出ネットワークは、トレーニングされたデータに対してバイアスを受ける傾向がある。
そこで本研究では,ライダーを用いた3次元物体検出器のソースレス・教師なし領域適応のための単一フレーム手法を提案する。
論文 参考訳（メタデータ） (2021-11-30T18:42:42Z) - Guided Point Contrastive Learning for Semi-supervised Point Cloud
Semantic Segmentation [90.2445084743881]
そこで本研究では,モデル性能を向上させるために,未ラベルの点群をトレーニングに採用するための半教師付き点群セマンティックセマンティックセマンティックセマンティクスを提案する。
近年の自己監督型タスクのコントラスト損失に触発されて,特徴表現とモデル一般化能力を高めるためのガイド付きポイントコントラスト損失を提案する。
論文 参考訳（メタデータ） (2021-10-15T16:38:54Z) - Parameter Decoupling Strategy for Semi-supervised 3D Left Atrium
Segmentation [0.0]
本稿では,パラメータ分離戦略に基づく半教師付きセグメンテーションモデルを提案する。
提案手法は,Atrial Challengeデータセット上での最先端の半教師付き手法と競合する結果を得た。
論文 参考訳（メタデータ） (2021-09-20T14:51:42Z) - Estimating the Robustness of Classification Models by the Structure of
the Learned Feature-Space [10.418647759223964]
固定テストセットは、可能なデータバリエーションのごく一部しかキャプチャできないため、制限され、新しい過度なソリューションを生成する傾向にある、と私たちは主張する。
これらの欠点を克服するために、学習した特徴空間の構造から直接モデルのロバスト性を推定することを提案する。
論文 参考訳（メタデータ） (2021-06-23T10:52:29Z) - Explanation-Guided Training for Cross-Domain Few-Shot Classification [96.12873073444091]
クロスドメイン・ショット分類タスク(CD-FSC)は、データセットで表されるドメインをまたいで一般化する要件と、少数ショット分類を組み合わせたものである。
既存のFSCモデルに対する新しいトレーニング手法を提案する。
説明誘導学習はモデル一般化を効果的に改善することを示す。
論文 参考訳（メタデータ） (2020-07-17T07:28:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。