論文の概要: Learning Part Segmentation from Synthetic Animals

• arxiv url: http://arxiv.org/abs/2311.18661v1
• Date: Thu, 30 Nov 2023 16:10:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-01 15:56:43.034635
• Title: Learning Part Segmentation from Synthetic Animals
• Title（参考訳）: 合成動物からの学習部セグメンテーション
• Authors: Jiawei Peng, Ju He, Prakhar Kaushik, Zihao Xiao, Jiteng Mu, Alan Yuille
• Abstract要約: 本稿では,Skinned Multi-Animal Linear(SMAL)モデルを用いて,合成動物からの学習部分のセグメンテーションに焦点を当てた。 我々は,SAPからPartImageNetへのSyn-to-Real動物部分分割,すなわちSynRealPartを,既存のセマンティックセマンティクス領域適応法でベンチマークした。 第3の貢献は、合成トラと馬の学習部品がPartImageNetの四足歩行で移動可能であることを明らかにすることです。
• 参考スコア（独自算出の注目度）: 11.350951919924455
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semantic part segmentation provides an intricate and interpretable understanding of an object, thereby benefiting numerous downstream tasks. However, the need for exhaustive annotations impedes its usage across diverse object types. This paper focuses on learning part segmentation from synthetic animals, leveraging the Skinned Multi-Animal Linear (SMAL) models to scale up existing synthetic data generated by computer-aided design (CAD) animal models. Compared to CAD models, SMAL models generate data with a wider range of poses observed in real-world scenarios. As a result, our first contribution is to construct a synthetic animal dataset of tigers and horses with more pose diversity, termed Synthetic Animal Parts (SAP). We then benchmark Syn-to-Real animal part segmentation from SAP to PartImageNet, namely SynRealPart, with existing semantic segmentation domain adaptation methods and further improve them as our second contribution. Concretely, we examine three Syn-to-Real adaptation methods but observe relative performance drop due to the innate difference between the two tasks. To address this, we propose a simple yet effective method called Class-Balanced Fourier Data Mixing (CB-FDM). Fourier Data Mixing aligns the spectral amplitudes of synthetic images with real images, thereby making the mixed images have more similar frequency content to real images. We further use Class-Balanced Pseudo-Label Re-Weighting to alleviate the imbalanced class distribution. We demonstrate the efficacy of CB-FDM on SynRealPart over previous methods with significant performance improvements. Remarkably, our third contribution is to reveal that the learned parts from synthetic tiger and horse are transferable across all quadrupeds in PartImageNet, further underscoring the utility and potential applications of animal part segmentation.
• Abstract（参考訳）: 意味的部分分割(Semantic part segmentation)は、オブジェクトの複雑で解釈可能な理解を提供する。 しかし、徹底的なアノテーションの必要性は、さまざまなオブジェクトタイプでの使用を妨げる。 本稿では,Skinned Multi-Animal Linear(SMAL)モデルを用いて,コンピュータ支援デザイン(CAD)動物モデルによって生成された既存の合成データをスケールアップする。 CADモデルと比較して、SMALモデルは現実世界のシナリオで観察される幅広いポーズを持つデータを生成する。 その結果,本研究の最初の貢献は,SAP(Synthetic Animal Parts)と呼ばれる,より多様性のあるトラと馬の合成動物データセットの構築である。 次に、SAPからPartImageNetへのSyn-to-Real動物部分分割、すなわちSynRealPartを既存のセマンティックセマンティクスドメイン適応手法でベンチマークし、さらにそれらを2番目のコントリビューションとして改善する。 具体的には,3つのSyn-to-Real適応法について検討するが,2つのタスクの自然差による相対的な性能低下を観察する。 そこで本研究では,CB-FDM (Class-Balanced Fourier Data Mixing) と呼ばれる単純な手法を提案する。 フーリエデータミキシングは、合成画像のスペクトル振幅を実画像と一致させるため、混合画像は実画像とより類似した周波数内容を有する。 さらに,不均衡クラス分布を緩和するために,クラスバランス疑似ラベル再重み付けを用いる。 そこで本研究では,cb-fdmのsynrealpartに対する有効性を示す。 驚くべきことに、第3の貢献は、合成トラと馬の学習した部分が、partimagenetのすべての四足歩行で移動可能であることを明らかにすることである。

関連論文リスト

• Learning Vision from Models Rivals Learning Vision from Data [54.43596959598465]
  合成画像と合成キャプションのみから視覚表現を学習するための新しいアプローチであるSynCLRを紹介する。 LLMを用いて画像キャプションの大規模なデータセットを合成し,既製のテキスト・ツー・イメージモデルを用いて合成キャプションに対応する複数の画像を生成する。 比較学習によって合成画像の視覚的表現学習を行い、同じ字幕を共有するイメージを正のペアとして扱う。
  論文  参考訳（メタデータ） (2023-12-28T18:59:55Z)
• Microscopy Image Segmentation via Point and Shape Regularized Data Synthesis [9.47802391546853]
  合成学習データを用いた顕微鏡画像セグメンテーションのための統一パイプラインを構築した。 本フレームワークは,濃密なラベルを持つ高精度な顕微鏡画像で訓練されたモデルと同等の結果が得られる。
  論文  参考訳（メタデータ） (2023-08-18T22:00:53Z)
• Prior-Aware Synthetic Data to the Rescue: Animal Pose Estimation with Very Limited Real Data [18.06492246414256]
  そこで本研究では,対象動物からの実際の画像のみを必要とする四足歩行におけるポーズ推定のためのデータ効率のよい戦略を提案する。 ImageNetのような一般的な画像データセットに事前トレーニングされた重み付きバックボーンネットワークを微調整することで、ターゲット動物のポーズデータに対する高い需要を軽減できることが確認された。 そこで我々はPASynと呼ばれる先行認識型合成動物データ生成パイプラインを導入し,ロバストポーズ推定に不可欠な動物のポーズデータを増やした。
  論文  参考訳（メタデータ） (2022-08-30T01:17:50Z)
• Coarse-to-fine Animal Pose and Shape Estimation [67.39635503744395]
  単一画像から3次元動物メッシュを再構成する粗大なアプローチを提案する。 粗い推定段階はまずSMALモデルのポーズ、形状、翻訳パラメータを推定する。 次に、推定メッシュをグラフ畳み込みネットワーク(GCN)によって開始点として使用し、精製段階における頂点毎の変形を予測する。
  論文  参考訳（メタデータ） (2021-11-16T01:27:20Z)
• MetaPix: Domain Transfer for Semantic Segmentation by Meta Pixel Weighting [1.9671123873378715]
  我々はメタラーニングによって合成データのピクセルレベルの重み付けを学習する。 実験により, 1つのメタモジュールのみを用いた手法は, 対角的特徴アライメント, 再構成損失, および画素, 領域, 画像レベルの階層重み付けの複雑な組み合わせよりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-10-05T01:31:00Z)
• Half-Real Half-Fake Distillation for Class-Incremental Semantic Segmentation [84.1985497426083]
  畳み込みニューラルネットワークは漸進的な学習に不適である。 新しいクラスは利用できるが、初期トレーニングデータは保持されない。 訓練されたセグメンテーションネットワークを「反転」して、ランダムノイズから始まる入力画像の合成を試みる。
  論文  参考訳（メタデータ） (2021-04-02T03:47:16Z)
• Synthetic Convolutional Features for Improved Semantic Segmentation [139.5772851285601]
  本稿では、中間畳み込み特徴を生成することを提案し、そのような中間畳み込み特徴に対応する最初の合成手法を提案する。 これにより、ラベルマスクから新機能を生成し、トレーニング手順にうまく組み込むことができます。 Cityscapes と ADE20K の2つの挑戦的なデータセットに関する実験結果と分析により,生成した特徴がセグメンテーションタスクのパフォーマンスを向上させることが示された。
  論文  参考訳（メタデータ） (2020-09-18T14:12:50Z)
• Multi-Spectral Image Synthesis for Crop/Weed Segmentation in Precision Farming [3.4788711710826083]
  本稿では, 精密農業における作物・雑草の分枝化問題に適用し, 共通データ増分法に関する代替手法を提案する。 我々は、最も関連性の高いオブジェクトクラス(作物や雑草)を合成されたクラスに置き換えることで、半人工的なサンプルを作成する。 RGBデータに加えて、近赤外(NIR)情報も考慮し、4つのチャネルマルチスペクトル合成画像を生成する。
  論文  参考訳（メタデータ） (2020-09-12T08:49:36Z)
• Pairwise Relation Learning for Semi-supervised Gland Segmentation [90.45303394358493]
  病理組織像における腺分節に対するPRS2モデルを提案する。 このモデルはセグメンテーションネットワーク(S-Net)とペア関係ネットワーク(PR-Net)から構成される。 我々は,GlaSデータセットの最近の5つの手法とCRAGデータセットの最近の3つの手法を比較した。
  論文  参考訳（メタデータ） (2020-08-06T15:02:38Z)
• Monocular Human Pose and Shape Reconstruction using Part Differentiable Rendering [53.16864661460889]
  近年の研究では、3次元基底真理によって教師されるディープニューラルネットワークを介してパラメトリックモデルを直接推定する回帰に基づく手法が成功している。 本稿では,ボディセグメンテーションを重要な監視対象として紹介する。 部分分割による再構成を改善するために,部分分割により部分ベースモデルを制御可能な部分レベル微分可能部を提案する。
  論文  参考訳（メタデータ） (2020-03-24T14:25:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。