論文の概要: SAM as the Guide: Mastering Pseudo-Label Refinement in Semi-Supervised Referring Expression Segmentation

• arxiv url: http://arxiv.org/abs/2406.01451v1
• Date: Mon, 3 Jun 2024 15:42:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 22:20:27.981222
• Title: SAM as the Guide: Mastering Pseudo-Label Refinement in Semi-Supervised Referring Expression Segmentation
• Title（参考訳）: SAM as the Guide: Mastering Pseudo-Label Refinement in Semi-Supervised Referring Expression Segmentation
• Authors: Danni Yang, Jiayi Ji, Yiwei Ma, Tianyu Guo, Haowei Wang, Xiaoshuai Sun, Rongrong Ji,
• Abstract要約: SemiRESは、RESを実行するためにラベル付きデータとラベルなしデータの組み合わせを効果的に活用する半教師付きフレームワークである。 SemiRESはSegment Anything Model (SAM) を組み込んでいる。 利用可能な候補と正確なマスクが一致しない場合、Pixel-Wise Adjustment(PWA)戦略を開発する。
• 参考スコア（独自算出の注目度）: 66.92696817276288
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In this paper, we introduce SemiRES, a semi-supervised framework that effectively leverages a combination of labeled and unlabeled data to perform RES. A significant hurdle in applying semi-supervised techniques to RES is the prevalence of noisy pseudo-labels, particularly at the boundaries of objects. SemiRES incorporates the Segment Anything Model (SAM), renowned for its precise boundary demarcation, to improve the accuracy of these pseudo-labels. Within SemiRES, we offer two alternative matching strategies: IoU-based Optimal Matching (IOM) and Composite Parts Integration (CPI). These strategies are designed to extract the most accurate masks from SAM's output, thus guiding the training of the student model with enhanced precision. In instances where a precise mask cannot be matched from the available candidates, we develop the Pixel-Wise Adjustment (PWA) strategy, guiding the student model's training directly by the pseudo-labels. Extensive experiments on three RES benchmarks--RefCOCO, RefCOCO+, and G-Ref reveal its superior performance compared to fully supervised methods. Remarkably, with only 1% labeled data, our SemiRES outperforms the supervised baseline by a large margin, e.g. +18.64% gains on RefCOCO val set. The project code is available at \url{https://github.com/nini0919/SemiRES}.
• Abstract（参考訳）: 本稿では、ラベル付きデータとラベルなしデータの組み合わせを効果的に活用してRESを実行する半教師付きフレームワークであるSemiRESを紹介する。 RESに半教師付き技法を適用する際の重要なハードルは、特に物体の境界において、ノイズの多い擬似ラベルの出現である。 SemiRESはSegment Anything Model (SAM) を組み込み、これらの擬似ラベルの精度を向上させる。 SemiRES内では、IoUベースの最適マッチング(IOM)と複合部品統合(CPI)の2つの代替マッチング戦略を提供する。 これらの戦略はSAMの出力から最も正確なマスクを抽出し、より精度の高い学生モデルのトレーニングを導くように設計されている。 利用可能な候補と正確なマスクが一致しない場合,Pixel-Wise Adjustment(PWA)戦略を開発し,学生モデルのトレーニングを擬似ラベルで直接指導する。 RefCOCO、RefCOCO+、G-Refの3つのRESベンチマークの大規模な実験は、完全に教師された手法に比べて優れたパフォーマンスを示している。 注目すべきは、1%のラベル付きデータしか持たないSemiRESは、RefCOCO valセットにおいて、教師付きベースラインを大きなマージンで上回り、eg + 18.64%のゲインを達成していることだ。 プロジェクトのコードは \url{https://github.com/nini0919/SemiRES} で公開されている。

関連論文リスト

• SafaRi:Adaptive Sequence Transformer for Weakly Supervised Referring Expression Segmentation [11.243400478302771]
  Referring Expression Consistency (RES) は、テキストによって参照される画像において、対象オブジェクトのセグメンテーションマスクを提供することを目的としている。 アルゴリズムの革新を取り入れたRESのための弱教師付きブートストラップアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-07-02T16:02:25Z)
• Prompt-based Pseudo-labeling Strategy for Sample-Efficient Semi-Supervised Extractive Summarization [12.582774521907227]
  半教師付き学習(SSL)は、ラベル付きデータが不足し、ラベルなしデータが豊富であるシナリオで広く使われているテクニックである。 標準SSLメソッドは、まず分類モデルをトレーニングし、次に分類器の信頼性値を使用して擬似ラベルを選択するために教師-学生パラダイムに従う。 より正確な擬似ラベルでラベルなしのサンプルを抽出するLLMを用いたプロンプトベースの擬似ラベル方式を提案する。
  論文  参考訳（メタデータ） (2023-11-16T04:29:41Z)
• SemiReward: A General Reward Model for Semi-supervised Learning [58.47299780978101]
  半教師付き学習(SSL)は、擬似ラベリングによる自己学習フレームワークの様々な改善により、大きな進歩をみせた。 主な課題は、高品質な擬似ラベルを確認バイアスと区別する方法である。 本稿では、報酬スコアを予測して高品質な擬似ラベルを評価・フィルタリングするセミ教師付きリワードフレームワーク(SemiReward)を提案する。
  論文  参考訳（メタデータ） (2023-10-04T17:56:41Z)
• Pseudo-label Alignment for Semi-supervised Instance Segmentation [67.9616087910363]
  擬似ラベルは半教師付きインスタンスセグメンテーションにおいて重要である。 既存のパイプラインでは、クラスやマスクの品質のミスマッチにより、貴重な情報を含む擬似ラベルをフィルタリングすることができる。 本稿では,疑似ラベル整合インスタンスセグメンテーション(PAIS)と呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-10T05:56:53Z)
• Boosting Semi-Supervised Learning by Exploiting All Unlabeled Data [21.6350640726058]
  半教師付き学習(SSL)は、大きなラベル付きデータセットへの依存を緩和する大きな可能性を秘めているため、大きな注目を集めている。 エントロピー平均損失(EML)と適応負学習(ANL)の2つの新しい手法を提案する。 これらのテクニックをFixMatchと統合し、シンプルながら強力なフレームワークであるFullMatchを開発します。
  論文  参考訳（メタデータ） (2023-03-20T12:44:11Z)
• USER: Unified Semantic Enhancement with Momentum Contrast for Image-Text Retrieval [115.28586222748478]
  Image-Text Retrieval (ITR) は、与えられたクエリに意味のあるターゲットインスタンスを、他のモダリティから検索することを目的としている。 既存のアプローチは通常、2つの大きな制限に悩まされる。
  論文  参考訳（メタデータ） (2023-01-17T12:42:58Z)
• Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for Open-Set Semi-Supervised Learning [101.28281124670647]
  オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。 我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。 我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
  論文  参考訳（メタデータ） (2021-08-12T09:14:44Z)
• Adaptive Consistency Regularization for Semi-Supervised Transfer Learning [31.66745229673066]
  我々は,半教師付き学習と移動学習を共同で検討し,より実践的で競争的なパラダイムへと導いた。 事前学習した重みとラベルなしの目標サンプルの両方の価値をよりよく活用するために、適応整合正則化を導入する。 提案手法は,Pseudo Label,Mean Teacher,MixMatchといった,最先端の半教師付き学習技術より優れた適応整合性正規化を実現する。
  論文  参考訳（メタデータ） (2021-03-03T05:46:39Z)
• MatchGAN: A Self-Supervised Semi-Supervised Conditional Generative Adversarial Network [51.84251358009803]
  本稿では,条件付き生成逆数ネットワーク(GAN)に対する,半教師付き環境下での自己教師型学習手法を提案する。 利用可能な数少ないラベル付きサンプルのラベル空間から無作為なラベルをサンプリングして拡張を行う。 本手法は,ベースラインのトレーニングに使用したラベル付きサンプルの20%に過ぎません。
  論文  参考訳（メタデータ） (2020-06-11T17:14:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。