論文の概要: Amodal Segmentation through Out-of-Task and Out-of-Distribution
Generalization with a Bayesian Model
- arxiv url: http://arxiv.org/abs/2010.13175v4
- Date: Sat, 9 Jul 2022 04:42:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-03 04:48:33.184223
- Title: Amodal Segmentation through Out-of-Task and Out-of-Distribution
Generalization with a Bayesian Model
- Title(参考訳): ベイズモデルによるアウト・オブ・タスクとアウト・オブ・ディストリビューション一般化によるアモーダルセグメンテーション
- Authors: Yihong Sun, Adam Kortylewski, Alan Yuille
- Abstract要約: アモーダル補完は人間が容易に実行できる視覚的タスクであるが、コンピュータビジョンアルゴリズムでは難しい。
我々は、アモーダルセグメンテーションをout-of-taskおよびout-of-distribution generalization問題として定式化する。
我々のアルゴリズムは、同じ監督方法を使用する代替手法よりも大きなマージンで優れている。
- 参考スコア(独自算出の注目度): 19.235173141731885
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Amodal completion is a visual task that humans perform easily but which is
difficult for computer vision algorithms. The aim is to segment those object
boundaries which are occluded and hence invisible. This task is particularly
challenging for deep neural networks because data is difficult to obtain and
annotate. Therefore, we formulate amodal segmentation as an out-of-task and
out-of-distribution generalization problem. Specifically, we replace the fully
connected classifier in neural networks with a Bayesian generative model of the
neural network features. The model is trained from non-occluded images using
bounding box annotations and class labels only, but is applied to generalize
out-of-task to object segmentation and to generalize out-of-distribution to
segment occluded objects. We demonstrate how such Bayesian models can naturally
generalize beyond the training task labels when they learn a prior that models
the object's background context and shape. Moreover, by leveraging an outlier
process, Bayesian models can further generalize out-of-distribution to segment
partially occluded objects and to predict their amodal object boundaries. Our
algorithm outperforms alternative methods that use the same supervision by a
large margin, and even outperforms methods where annotated amodal segmentations
are used during training, when the amount of occlusion is large. Code is
publicly available at https://github.com/YihongSun/Bayesian-Amodal.
- Abstract(参考訳): amodal completionは、人間が簡単に実行できるが、コンピュータビジョンアルゴリズムでは難しいビジュアルタスクである。
目的は、隠蔽されているため見えないオブジェクト境界を分割することである。
このタスクは、データが取得や注釈が難しいため、ディープニューラルネットワークでは特に難しい。
そこで我々は,タスク外および分散外一般化問題としてアモーダルセグメンテーションを定式化する。
具体的には、ニューラルネットワークにおける完全連結型分類器を、ニューラルネットワーク特徴のベイズ生成モデルに置き換える。
このモデルは、境界ボックスアノテーションとクラスラベルのみを用いて非閉塞画像から訓練されるが、オブジェクトセグメント化へのアウト・オブ・タスクの一般化と、セグメント閉塞オブジェクトへのアウト・オブ・ディストリビューションの一般化に応用される。
このようなベイズ的モデルは、対象の背景コンテキストと形状をモデル化する事前学習において、トレーニングタスクラベルを超えて自然に一般化できることを示す。
さらに、退化過程を活用することで、ベイズ模型は部分閉塞対象への分布外分布をさらに一般化し、アモーダル対象の境界を予測できる。
我々のアルゴリズムは、同じ監督方法を使用する方法よりも大きなマージンで優れており、また、オクルージョンの量が大きい場合、トレーニング中に注釈付アモーダルセグメンテーションを使用する方法よりも優れています。
コードはhttps://github.com/YihongSun/Bayesian-Amodal.comで公開されている。
関連論文リスト
- BLADE: Box-Level Supervised Amodal Segmentation through Directed
Expansion [10.57956193654977]
Boxレベルの教師付きアモーダルセグメンテーションは、この課題に対処する。
可視マスクから対応するアモーダルマスクへの指向性拡張アプローチを導入することで,新しい解を提案する。
このアプローチでは、オーバーラップする領域 – 異なるインスタンスが交わる領域 – に基づいた、ハイブリッドなエンドツーエンドネットワークが関係しています。
論文 参考訳(メタデータ) (2024-01-03T09:37:03Z) - Amodal Ground Truth and Completion in the Wild [92.36449676571237]
我々は3Dデータを用いて、実画像中の部分的に隠蔽された物体に対して、真偽のアモーダルマスクを決定するための自動パイプラインを確立する。
このパイプラインは、アモーダル完了評価ベンチマーク、MP3D-Amodalを構築するために使用される。
提案手法は,Amodalセグメンテーションデータセット上での最先端性能を実現する。
論文 参考訳(メタデータ) (2023-12-28T18:59:41Z) - Coarse-to-Fine Amodal Segmentation with Shape Prior [52.38348188589834]
アモーダルオブジェクトセグメンテーション(Amodal object segmentation)は、オブジェクトの可視部分と隠蔽部分の両方をセグメンテーションする、難しいタスクである。
本稿では、アモーダルセグメンテーションを段階的にモデル化することで、この問題に対処する、Coarse-to-Fine: C2F-Segという新しいアプローチを提案する。
論文 参考訳(メタデータ) (2023-08-31T15:56:29Z) - Foreground-Background Separation through Concept Distillation from
Generative Image Foundation Models [6.408114351192012]
本稿では, 簡単なテキスト記述から, 一般的な前景-背景セグメンテーションモデルの生成を可能にする新しい手法を提案する。
本研究では,4つの異なる物体(人間,犬,車,鳥)を分割する作業と,医療画像解析におけるユースケースシナリオについて述べる。
論文 参考訳(メタデータ) (2022-12-29T13:51:54Z) - ALSO: Automotive Lidar Self-supervision by Occupancy estimation [70.70557577874155]
本稿では,ポイントクラウド上で動作している深層知覚モデルのバックボーンを事前学習するための自己教師型手法を提案する。
中心となる考え方は、3Dポイントがサンプリングされる表面の再構成であるプリテキストタスクでモデルをトレーニングすることである。
直感的には、もしネットワークがわずかな入力ポイントのみを考慮し、シーン表面を再構築できるなら、おそらく意味情報の断片をキャプチャする。
論文 参考訳(メタデータ) (2022-12-12T13:10:19Z) - Self-supervised Amodal Video Object Segmentation [57.929357732733926]
アモーダル知覚は、部分的に隠されている物体の完全な形状を推測する必要がある。
本稿では、アモーダルビデオオブジェクトセグメンテーション(SaVos)の新しいフレームワークを開発する。
論文 参考訳(メタデータ) (2022-10-23T14:09:35Z) - Global and Local Features through Gaussian Mixture Models on Image
Semantic Segmentation [0.38073142980732994]
本稿では,前者をサポートするグローバル表現を抽出しながら特徴表現の内部構造を提案する。
トレーニング中、データからガウス混合モデルを予測し、スキップ接続と復号ステージにマージすることで、誤った帰納バイアスを回避する。
この結果から,クラスタリングの動作を学習表現(言語とローカル)と組み合わせることで,セマンティックセマンティックセマンティクスを向上できることが示唆された。
論文 参考訳(メタデータ) (2022-07-19T10:10:49Z) - A Weakly Supervised Amodal Segmenter with Boundary Uncertainty
Estimation [35.103437828235826]
本稿では,弱教師付きアモーダルインスタンスセグメンテーションについて述べる。
目標は、可視部分と隠蔽部分の両方をセグメント化することであり、トレーニングは、地平線可視部分(モダル部分)のみを提供する。
論文 参考訳(メタデータ) (2021-08-23T02:27:29Z) - Group-Wise Semantic Mining for Weakly Supervised Semantic Segmentation [49.90178055521207]
この研究は、画像レベルのアノテーションとピクセルレベルのセグメンテーションのギャップを埋めることを目標に、弱い監督されたセマンティックセグメンテーション(WSSS)に対処する。
画像群における意味的依存関係を明示的にモデル化し,より信頼性の高い擬似的基盤構造を推定する,新たなグループ学習タスクとしてWSSSを定式化する。
特に、入力画像がグラフノードとして表現されるグループ単位のセマンティックマイニングのためのグラフニューラルネットワーク(GNN)を考案する。
論文 参考訳(メタデータ) (2020-12-09T12:40:13Z) - Scribble-Supervised Semantic Segmentation by Random Walk on Neural
Representation and Self-Supervision on Neural Eigenspace [10.603823180750446]
本研究の目的は, 補助情報や中間操作を使わずに, ラベルを直接スクリブルすることで, セマンティックセグメンテーションを実現することである。
我々は、ランダムウォークによる神経表現への拡散と、自己スーパービジョンによる神経固有空間への一貫性を課す。
その結果,提案手法の優位性が示され,フルラベルの教師付き手法に匹敵する結果が得られた。
論文 参考訳(メタデータ) (2020-11-11T08:22:25Z) - Towards Efficient Scene Understanding via Squeeze Reasoning [71.1139549949694]
我々はSqueeze Reasoningと呼ばれる新しいフレームワークを提案する。
空間地図上の情報を伝播するのではなく、まず入力特徴をチャネルワイドなグローバルベクトルに絞ることを学ぶ。
提案手法はエンドツーエンドのトレーニングブロックとしてモジュール化可能であり,既存のネットワークに簡単に接続可能であることを示す。
論文 参考訳(メタデータ) (2020-11-06T12:17:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。