論文の概要: Transferring and Regularizing Prediction for Semantic Segmentation
- arxiv url: http://arxiv.org/abs/2006.06570v1
- Date: Thu, 11 Jun 2020 16:19:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 14:08:11.432199
- Title: Transferring and Regularizing Prediction for Semantic Segmentation
- Title（参考訳）: セマンティックセグメンテーションの転送と正規化予測
- Authors: Yiheng Zhang and Zhaofan Qiu and Ting Yao and Chong-Wah Ngo and Dong
Liu and Tao Mei
- Abstract要約: 本稿では,セマンティックセグメンテーションの本質的特性を利用して,モデル伝達におけるそのような問題を緩和する。
本稿では,モデル転送を教師なし方式で正規化するための制約として固有特性を課す予測伝達の正規化器(RPT)を提案する。
GTA5とSynTHIA(synthetic data)で訓練されたモデルの都市景観データセット(アーバンストリートシーン)への転送に関するRTPの提案を検証するため、大規模な実験を行った。
- 参考スコア（独自算出の注目度）: 115.88957139226966
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Semantic segmentation often requires a large set of images with pixel-level
annotations. In the view of extremely expensive expert labeling, recent
research has shown that the models trained on photo-realistic synthetic data
(e.g., computer games) with computer-generated annotations can be adapted to
real images. Despite this progress, without constraining the prediction on real
images, the models will easily overfit on synthetic data due to severe domain
mismatch. In this paper, we novelly exploit the intrinsic properties of
semantic segmentation to alleviate such problem for model transfer.
Specifically, we present a Regularizer of Prediction Transfer (RPT) that
imposes the intrinsic properties as constraints to regularize model transfer in
an unsupervised fashion. These constraints include patch-level, cluster-level
and context-level semantic prediction consistencies at different levels of
image formation. As the transfer is label-free and data-driven, the robustness
of prediction is addressed by selectively involving a subset of image regions
for model regularization. Extensive experiments are conducted to verify the
proposal of RPT on the transfer of models trained on GTA5 and SYNTHIA
(synthetic data) to Cityscapes dataset (urban street scenes). RPT shows
consistent improvements when injecting the constraints on several neural
networks for semantic segmentation. More remarkably, when integrating RPT into
the adversarial-based segmentation framework, we report to-date the best
results: mIoU of 53.2%/51.7% when transferring from GTA5/SYNTHIA to Cityscapes,
respectively.
- Abstract（参考訳）: セマンティックセグメンテーションは、しばしばピクセルレベルのアノテーションを持つ大きなイメージセットを必要とする。
極めて高価な専門家のラベル付けの観点から、最近の研究では、コンピュータが生成した注釈付きフォトリアリスティックな合成データ(コンピュータゲームなど)で訓練されたモデルが実画像に適応できることが示されている。
この進歩にもかかわらず、実際の画像の予測を制約することなく、モデルは厳しいドメインミスマッチのために合成データに容易に適合する。
本稿では,意味的セグメンテーションの本質的特性を新たに活用し,モデル伝達の問題を軽減する。
具体的には,教師なしの方法でモデル転送を規則化する制約として内在的特性を課す予測伝達規則化器(rpt)を提案する。
これらの制約には、パッチレベル、クラスタレベル、コンテキストレベルのセマンティック予測が含まれる。
転送はラベルフリーでデータ駆動であるため、モデル正規化のための画像領域のサブセットを選択的に含み、予測の堅牢性に対処する。
GTA5とSynTHIA(synthetic data)で訓練されたモデルの都市景観データセット(アーバンストリートシーン)への転送に関するRTPの提案を検証するため、大規模な実験を行った。
rptは、セマンティックセグメンテーションのために複数のニューラルネットワークに制約を注入するときに一貫した改善を示す。
さらに, RPT を敵ベースセグメンテーションフレームワークに統合する場合, それぞれ GTA5/SYNTHIA から Cityscapes へ移行した場合の 53.2%/51.7% の mIoU を報告した。
関連論文リスト
- Physically Feasible Semantic Segmentation [58.17907376475596]
最先端セマンティックセグメンテーションモデルは通常、データ駆動方式で最適化される。
本手法は,空間的クラス関係を規定する明示的な物理的制約を抽出する。
PhyFeaは、使用する最先端ネットワーク毎にmIoUが大幅に向上する。
論文 参考訳（メタデータ） (2024-08-26T22:39:08Z) - Is Synthetic Image Useful for Transfer Learning? An Investigation into Data Generation, Volume, and Utilization [62.157627519792946]
ブリッジドトランスファー(ブリッジドトランスファー)と呼ばれる新しいフレームワークを導入する。このフレームワークは、当初、トレーニング済みモデルの微調整に合成画像を使用し、転送性を向上させる。
合成画像と実画像のスタイルアライメントを改善するために,データセットスタイルの逆変換方式を提案する。
提案手法は10の異なるデータセットと5つの異なるモデルで評価され、一貫した改善が示されている。
論文 参考訳（メタデータ） (2024-03-28T22:25:05Z) - Counterfactual contrastive learning: robust representations via causal image synthesis [17.273155534515393]
CF-SimCLRは、正のペア生成に近似した反現実的推論を利用する対実的コントラスト学習手法である。
CF-SimCLRは, 配当データと配当データの両方において, 下流性能を向上し, 買収シフトを大幅に改善することを示す。
論文 参考訳（メタデータ） (2024-03-14T17:47:01Z) - Scaling Laws of Synthetic Images for Model Training ... for Now [54.43596959598466]
本研究では, 合成画像のスケーリング法則について, テクスト・ツー・イメージ・モデルの現状から検討した。
合成画像は、CLIPトレーニングの実際の画像と似ているが、やや効果の低いスケーリング傾向を示す。
論文 参考訳（メタデータ） (2023-12-07T18:59:59Z) - Self-Supervised and Semi-Supervised Polyp Segmentation using Synthetic
Data [16.356954231068077]
大腸ポリープの早期検出は、その治療および大腸癌予防において最も重要である。
コンピュータビジョン技術は、患者の大腸全体を調べるために手動で大腸手術を行う、診断段階の専門家を助ける可能性がある。
医用画像の最大の課題はデータの欠如であり、ポリプセグメンテーションアプローチに特有な課題は、手動でデータをラベル付けすることの難しさである。
本稿では, 実データと合成データを統合し, データセットのサイズを人工的に増加させ, ラベルなしサンプルが利用可能になった場合のトレーニングを支援する, ポリプセグメンテーションのエンドツーエンドモデルを提案する。
論文 参考訳（メタデータ） (2023-07-22T09:57:58Z) - Towards Automated Polyp Segmentation Using Weakly- and Semi-Supervised
Learning and Deformable Transformers [8.01814397869811]
ポリープセグメンテーションは大腸癌のコンピュータ診断への重要なステップである。
ポリプセグメンテーションの手法の多くは、ピクセル単位のアノテートデータセットを必要とする。
本稿では,弱い注釈付き画像のみを用いて,ラベルなし画像の活用によりトレーニング可能な新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2022-11-21T20:44:12Z) - High-resolution semantically-consistent image-to-image translation [0.0]
本稿では,スタイル変換フェーズにおける画像のセマンティック一貫性と画素単位の品質を保った教師なし領域適応モデルを提案する。
提案モデルでは,SemI2Iモデルと比較してかなりの性能向上を示し,最先端のCyCADAモデルと同様の結果を得た。
論文 参考訳（メタデータ） (2022-09-13T19:08:30Z) - Semi-weakly Supervised Contrastive Representation Learning for Retinal
Fundus Images [0.2538209532048867]
本稿では,半弱化アノテーションを用いた表現学習のための,半弱化教師付きコントラスト学習フレームワークを提案する。
SWCLの移動学習性能を7つの公立網膜眼底データセットで実証的に検証した。
論文 参考訳（メタデータ） (2021-08-04T15:50:09Z) - Group-Wise Semantic Mining for Weakly Supervised Semantic Segmentation [49.90178055521207]
この研究は、画像レベルのアノテーションとピクセルレベルのセグメンテーションのギャップを埋めることを目標に、弱い監督されたセマンティックセグメンテーション(WSSS)に対処する。
画像群における意味的依存関係を明示的にモデル化し,より信頼性の高い擬似的基盤構造を推定する,新たなグループ学習タスクとしてWSSSを定式化する。
特に、入力画像がグラフノードとして表現されるグループ単位のセマンティックマイニングのためのグラフニューラルネットワーク(GNN)を考案する。
論文 参考訳（メタデータ） (2020-12-09T12:40:13Z) - Adversarial Semantic Data Augmentation for Human Pose Estimation [96.75411357541438]
本研究では,セマンティックデータ拡張法 (SDA) を提案する。
また,適応的セマンティックデータ拡張 (ASDA) を提案する。
最先端の結果は、挑戦的なベンチマークで得られます。
論文 参考訳（メタデータ） (2020-08-03T07:56:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。