論文の概要: Revisiting and Maximizing Temporal Knowledge in Semi-supervised Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2405.20610v1
• Date: Fri, 31 May 2024 03:54:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-03 15:36:24.112986
• Title: Revisiting and Maximizing Temporal Knowledge in Semi-supervised Semantic Segmentation
• Title（参考訳）: 半教師付きセマンティックセグメンテーションにおける時間的知識の再検討と最大化
• Authors: Wooseok Shin, Hyun Joon Park, Jin Sob Kim, Sung Won Han,
• Abstract要約: 平均教師と共同学習に基づくアプローチは、確認バイアスと結合問題を緩和するために用いられる。 これらのアプローチは、複雑なトレーニングパイプラインとかなりの計算負担を伴うことが多い。 本稿では,トレーニングプロセス中に得られた時間的知識を最大限活用することにより,制約を効果的に緩和するPrevMatchフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 7.005068872406135
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In semi-supervised semantic segmentation, the Mean Teacher- and co-training-based approaches are employed to mitigate confirmation bias and coupling problems. However, despite their high performance, these approaches frequently involve complex training pipelines and a substantial computational burden, limiting the scalability and compatibility of these methods. In this paper, we propose a PrevMatch framework that effectively mitigates the aforementioned limitations by maximizing the utilization of the temporal knowledge obtained during the training process. The PrevMatch framework relies on two core strategies: (1) we reconsider the use of temporal knowledge and thus directly utilize previous models obtained during training to generate additional pseudo-label guidance, referred to as previous guidance. (2) we design a highly randomized ensemble strategy to maximize the effectiveness of the previous guidance. Experimental results on four benchmark semantic segmentation datasets confirm that the proposed method consistently outperforms existing methods across various evaluation protocols. In particular, with DeepLabV3+ and ResNet-101 network settings, PrevMatch outperforms the existing state-of-the-art method, Diverse Co-training, by +1.6 mIoU on Pascal VOC with only 92 annotated images, while achieving 2.4 times faster training. Furthermore, the results indicate that PrevMatch induces stable optimization, particularly in benefiting classes that exhibit poor performance. Code is available at https://github.com/wooseok-shin/PrevMatch
• Abstract（参考訳）: 半教師付きセマンティックセグメンテーションにおいて、平均教師と共同学習に基づくアプローチは、確認バイアスとカップリング問題を緩和するために用いられる。 しかし、高い性能にもかかわらず、これらのアプローチは複雑なトレーニングパイプラインとかなりの計算負担を伴い、これらの手法のスケーラビリティと互換性を制限している。 本稿では,トレーニング過程において得られた時間的知識を最大限活用することにより,上記の制限を効果的に緩和するPrevMatchフレームワークを提案する。 PrevMatchフレームワークは,(1)時間的知識の利用を再考し,トレーニング中に得られたモデルを直接利用して,事前ガイダンスと呼ばれる追加の擬似ラベルガイダンスを生成する。 2) 事前指導の有効性を最大化するために, 高度にランダム化されたアンサンブル戦略を設計する。 4つのベンチマークセマンティックセグメンテーションデータセットの実験結果から,提案手法は様々な評価プロトコルにおいて既存手法よりも一貫して優れていたことが確認された。 特にDeepLabV3+とResNet-101ネットワーク設定では、PrevMatchは既存の最先端メソッドであるDiverse Co-trainingを92の注釈付きイメージでパスカルVOCで+1.6 mIoUで上回り、トレーニングは2.4倍高速である。 さらに、PrevMatchは、特にパフォーマンスの悪いクラスに、安定した最適化をもたらすことを示唆している。 コードはhttps://github.com/wooseok-shin/PrevMatchで入手できる。

関連論文リスト

• Denoising Pre-Training and Customized Prompt Learning for Efficient Multi-Behavior Sequential Recommendation [69.60321475454843]
  マルチビヘイビアシークエンシャルレコメンデーションに適した,最初の事前学習および迅速な学習パラダイムであるDPCPLを提案する。 事前学習段階において,複数の時間スケールでノイズを除去する新しい行動マイナ (EBM) を提案する。 次に,提案するCustomized Prompt Learning (CPL)モジュールを用いて,事前学習したモデルを高効率にチューニングすることを提案する。
  論文  参考訳（メタデータ） (2024-08-21T06:48:38Z)
• Stability and Generalization in Free Adversarial Training [9.831489366502302]
  本稿では,アルゴリズム的安定性フレームワークを用いた対向学習手法の一般化性能について検討する。 証明された一般化境界は, 自由対数学習法が, トレーニングとテストサンプル間の一般化ギャップを低くすることができることを示している。
  論文  参考訳（メタデータ） (2024-04-13T12:07:20Z)
• A Hard-to-Beat Baseline for Training-free CLIP-based Adaptation [121.0693322732454]
  対照的に、CLIP(Contrastive Language- Image Pretraining)はその目覚ましいゼロショット能力で人気を集めている。 近年の研究では、下流タスクにおけるCLIPの性能を高めるための効率的な微調整手法の開発に焦点が当てられている。 従来のアルゴリズムであるガウス判別分析(GDA)を再検討し,CLIPの下流分類に適用する。
  論文  参考訳（メタデータ） (2024-02-06T15:45:27Z)
• United We Stand: Using Epoch-wise Agreement of Ensembles to Combat Overfit [7.627299398469962]
  オーバーフィッティングを効果的に克服するディープネットワークのための新しいアンサンブル分類器を提案する。 本手法は, 汎用性能の劣化を伴わずに, オーバーフィッティング段階で得られた有用な知識を組み込むことが可能である。 私たちの方法は実装が容易で、どんなトレーニングスキームやアーキテクチャにも統合できます。
  論文  参考訳（メタデータ） (2023-10-17T08:51:44Z)
• Hierarchical Decomposition of Prompt-Based Continual Learning: Rethinking Obscured Sub-optimality [55.88910947643436]
  大量のラベルのないデータを実際に扱うためには、自己教師付き事前トレーニングが不可欠である。 HiDe-Promptは、タスク固有のプロンプトと統計のアンサンブルで階層的なコンポーネントを明示的に最適化する革新的なアプローチである。 実験では,HiDe-Promptの優れた性能と,継続学習における事前学習パラダイムへの頑健さを実証した。
  論文  参考訳（メタデータ） (2023-10-11T06:51:46Z)
• HR-Pro: Point-supervised Temporal Action Localization via Hierarchical Reliability Propagation [40.52832708232682]
  PTAL(Point-supervised Temporal Action Localization)はラベル効率学習のための新たな研究方向である。 本稿では,Snippetレベルの識別学習とインスタンスレベルの完全性学習という,信頼性に配慮した2つの段階からなる階層的信頼性向上フレームワークを提案する。 私たちのHR-Proは、THUMOS14で平均60.3%の印象的なmAPを含む、複数の挑戦的なベンチマークで最先端のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2023-08-24T07:19:11Z)
• Deep Active Ensemble Sampling For Image Classification [8.31483061185317]
  アクティブラーニングフレームワークは、最も有益なデータポイントのラベル付けを積極的に要求することで、データアノテーションのコストを削減することを目的としている。 提案手法には、不確実性に基づく手法、幾何学的手法、不確実性に基づく手法と幾何学的手法の暗黙の組み合わせなどがある。 本稿では, サンプル選択戦略における効率的な探索・探索トレードオフを実現するために, 不確実性に基づくフレームワークと幾何学的フレームワークの両方の最近の進歩を革新的に統合する。 本フレームワークは,(1)正確な後続推定,(2)計算オーバーヘッドと高い精度のトレードオフの2つの利点を提供する。
  論文  参考訳（メタデータ） (2022-10-11T20:20:20Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Interpolation-based Contrastive Learning for Few-Label Semi-Supervised Learning [43.51182049644767]
  半教師付き学習(SSL)は,ラベルが限定された強力なモデルを構築する上で,有効な手法であることが長年証明されてきた。 摂動サンプルを元のものと類似した予測を強制する正規化に基づく手法が注目されている。 本稿では,学習ネットワークの埋め込みを誘導し,サンプル間の線形変化を誘導する新たな対照的な損失を提案する。
  論文  参考訳（メタデータ） (2022-02-24T06:00:05Z)
• SIMPLE: SIngle-network with Mimicking and Point Learning for Bottom-up Human Pose Estimation [81.03485688525133]
  Single-network with Mimicking and Point Learning for Bottom-up Human Pose Estimation (SIMPLE) を提案する。 具体的には、トレーニングプロセスにおいて、SIMPLEが高性能なトップダウンパイプラインからのポーズ知識を模倣できるようにする。 さらに、SIMPLEは人間検出とポーズ推定を統一的なポイントラーニングフレームワークとして定式化し、単一ネットワークで相互に補完する。
  論文  参考訳（メタデータ） (2021-04-06T13:12:51Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。