論文の概要: Diverse Cotraining Makes Strong Semi-Supervised Segmentor

• arxiv url: http://arxiv.org/abs/2308.09281v1
• Date: Fri, 18 Aug 2023 03:46:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-21 14:46:26.157117
• Title: Diverse Cotraining Makes Strong Semi-Supervised Segmentor
• Title（参考訳）: 半スーパービジョンの強いセグメンタを作るディバースコトレーニング
• Authors: Yijiang Li, Xinjiang Wang, Lihe Yang, Litong Feng, Wayne Zhang and Ying Gao
• Abstract要約: 我々は、複数の互換性と条件付き独立なビューという、協調学習をサポートするコア仮定を再考する。 現在のコトレーニングモデルのほとんどは密結合であり、この仮定に違反している。 我々のDiverse Co-trainingは、異なる評価プロトコル間で大きなマージンで最先端のSOTA(State-of-the-art)手法より優れています。
• 参考スコア（独自算出の注目度）: 23.000537236910905
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep co-training has been introduced to semi-supervised segmentation and achieves impressive results, yet few studies have explored the working mechanism behind it. In this work, we revisit the core assumption that supports co-training: multiple compatible and conditionally independent views. By theoretically deriving the generalization upper bound, we prove the prediction similarity between two models negatively impacts the model's generalization ability. However, most current co-training models are tightly coupled together and violate this assumption. Such coupling leads to the homogenization of networks and confirmation bias which consequently limits the performance. To this end, we explore different dimensions of co-training and systematically increase the diversity from the aspects of input domains, different augmentations and model architectures to counteract homogenization. Our Diverse Co-training outperforms the state-of-the-art (SOTA) methods by a large margin across different evaluation protocols on the Pascal and Cityscapes. For example. we achieve the best mIoU of 76.2%, 77.7% and 80.2% on Pascal with only 92, 183 and 366 labeled images, surpassing the previous best results by more than 5%.
• Abstract（参考訳）: 半教師付きセグメンテーションにディープコトレーニングが導入され、印象的な結果が得られたが、その背後にある作業メカニズムを探求した研究はほとんどない。 この作業では、コトレーニングをサポートするコア仮定を再検討する: 複数の互換性と条件付き独立したビュー。 理論上界を導出することにより、2つのモデルの予測類似性がモデルの一般化能力に悪影響を及ぼすことを示す。 しかし、現在のコトレーニングモデルのほとんどは密結合であり、この仮定に違反している。 このような結合はネットワークの均質化と確認バイアスをもたらし、結果として性能が制限される。 この目的のために,共学習の異なる次元を探索し,入力領域の側面から多様性を体系的に増やし,相同化を相殺するモデルアーキテクチャを提案する。 我々のDiverse Co-trainingは、PascalとCityscapesの異なる評価プロトコルにまたがって、最先端のSOTA(State-of-the-art)手法よりも優れています。 例えば。 我々はpascalにおいて76.2%,77.7%,80.2%のベストmiouを達成し,92,183,366のラベル付き画像しか得られなかった。

関連論文リスト

• A Simple and Generalist Approach for Panoptic Segmentation [57.94892855772925]
  汎用的なビジョンモデルは、様々なビジョンタスクのための1つの同じアーキテクチャを目指している。 このような共有アーキテクチャは魅力的に思えるかもしれないが、ジェネラリストモデルは、その好奇心に満ちたモデルよりも優れている傾向にある。 一般モデルの望ましい性質を損なうことなく、2つの重要なコントリビューションを導入することでこの問題に対処する。
  論文  参考訳（メタデータ） (2024-08-29T13:02:12Z)
• Unchosen Experts Can Contribute Too: Unleashing MoE Models' Power by Self-Contrast [58.98411447739218]
  Mixture-of-Experts (MoE) は、計算効率を保ちながら、モデルサイズをスケールするための顕著なアーキテクチャとして登場した。 本研究では,無声専門家を推論中に自己コントラスト的に活用する学習自由戦略である自己コントラスト混合(SCMoE)を提案する。 我々の手法は概念的には単純で計算量も軽量であり、グリージー復号法に比べて最小限の遅延を発生させる。
  論文  参考訳（メタデータ） (2024-05-23T12:45:29Z)
• Lory: Fully Differentiable Mixture-of-Experts for Autoregressive Language Model Pre-training [73.90260246781435]
  私たちは、このようなアーキテクチャを自動回帰言語モデルに拡張する最初のアプローチであるLoryを紹介します。 パラメータマッチングされた高密度モデルよりも、多種多様な下流タスクにおいて顕著な性能向上を示す。 セグメントレベルのルーティングにもかかわらず、Loryモデルはトークンレベルのルーティングを備えた最先端のMoEモデルと比較して、競合的なパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-05-06T03:06:33Z)
• Joint Training of Deep Ensembles Fails Due to Learner Collusion [61.557412796012535]
  機械学習モデルのアンサンブルは、単一のモデルよりもパフォーマンスを改善する強力な方法として確立されている。 伝統的に、アンサンブルアルゴリズムは、ジョイントパフォーマンスの最適化を目標として、ベースラーナーを独立または逐次訓練する。 アンサンブルの損失を最小化することは、実際にはほとんど適用されないことを示す。
  論文  参考訳（メタデータ） (2023-01-26T18:58:07Z)
• Deep Negative Correlation Classification [82.45045814842595]
  既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。 深部負相関分類(DNCC)を提案する。 DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
  論文  参考訳（メタデータ） (2022-12-14T07:35:20Z)
• Assaying Out-Of-Distribution Generalization in Transfer Learning [103.57862972967273]
  私たちは、経験的に対処するメッセージの相違を強調して、以前の作業の統一的なビューを取ります。 私たちは9つの異なるアーキテクチャから、多数の、あるいは少数の設定で31K以上のネットワークを微調整しました。
  論文  参考訳（メタデータ） (2022-07-19T12:52:33Z)
• No One Representation to Rule Them All: Overlapping Features of Training Methods [12.58238785151714]
  ハイパフォーマンスモデルは、トレーニング方法論に関係なく、同様の予測をする傾向があります。 近年の研究では、大規模なコントラスト学習など、非常に異なるトレーニングテクニックが、競争的に高い精度で実現されている。 これらのモデルはデータの一般化に特化しており、より高いアンサンブル性能をもたらす。
  論文  参考訳（メタデータ） (2021-10-20T21:29:49Z)
• Parameter Decoupling Strategy for Semi-supervised 3D Left Atrium Segmentation [0.0]
  本稿では,パラメータ分離戦略に基づく半教師付きセグメンテーションモデルを提案する。 提案手法は,Atrial Challengeデータセット上での最先端の半教師付き手法と競合する結果を得た。
  論文  参考訳（メタデータ） (2021-09-20T14:51:42Z)
• Deep Stable Learning for Out-Of-Distribution Generalization [27.437046504902938]
  深層ニューラルネットワークに基づくアプローチは、同様の分布を持つデータとトレーニングデータをテストする際に顕著なパフォーマンスを達成した。 トレーニングとテストデータ間の分散シフトの影響を排除することは、パフォーマンス向上の深層モデルの構築に不可欠です。 トレーニングサンプルの学習重みによる特徴間の依存関係を除去し,この問題に対処することを提案する。
  論文  参考訳（メタデータ） (2021-04-16T03:54:21Z)
• Objectness-Aware Few-Shot Semantic Segmentation [31.13009111054977]
  モデル全体のキャパシティを向上し、パフォーマンスを向上させる方法を示す。 我々は、クラス非依存であり、過度に適合しがちな客観性を導入する。 注釈のないカテゴリの例が1つだけあると、実験により、mIoUに関して、我々の手法が最先端の手法より優れていることが示されている。
  論文  参考訳（メタデータ） (2020-04-06T19:12:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。