論文の概要: Privileged Prior Information Distillation for Image Matting
- arxiv url: http://arxiv.org/abs/2211.14036v1
- Date: Fri, 25 Nov 2022 11:24:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-28 18:16:38.726223
- Title: Privileged Prior Information Distillation for Image Matting
- Title（参考訳）: 画像マッティングのための特権付き事前情報蒸留
- Authors: Cheng Lyu, Jiake Xie, Bo Xu, Cheng Lu, Han Huang, Xin Huang, Ming Wu,
Chuang Zhang, and Yong Tang
- Abstract要約: 画像マッチングのためのPrivileged Prior Information Distillation(PPID-IM)という新しいフレームワークを提案する。
PPID-IMは、学生のハードフォアグラウンドにおける性能を向上させるために、特権付き事前認識情報を効果的に転送することができる。
我々のフレームワークは、特に無色、弱いテクスチャ、不規則なオブジェクトのシナリオにおいて、他の競合する最先端の手法を大きなマージンで上回ります。
- 参考スコア（独自算出の注目度）: 28.28402364528858
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Performance of trimap-free image matting methods is limited when trying to
decouple the deterministic and undetermined regions, especially in the scenes
where foregrounds are semantically ambiguous, chromaless, or high
transmittance. In this paper, we propose a novel framework named Privileged
Prior Information Distillation for Image Matting (PPID-IM) that can effectively
transfer privileged prior environment-aware information to improve the
performance of students in solving hard foregrounds. The prior information of
trimap regulates only the teacher model during the training stage, while not
being fed into the student network during actual inference. In order to achieve
effective privileged cross-modality (i.e. trimap and RGB) information
distillation, we introduce a Cross-Level Semantic Distillation (CLSD) module
that reinforces the trimap-free students with more knowledgeable semantic
representations and environment-aware information. We also propose an
Attention-Guided Local Distillation module that efficiently transfers
privileged local attributes from the trimap-based teacher to trimap-free
students for the guidance of local-region optimization. Extensive experiments
demonstrate the effectiveness and superiority of our PPID framework on the task
of image matting. In addition, our trimap-free IndexNet-PPID surpasses the
other competing state-of-the-art methods by a large margin, especially in
scenarios with chromaless, weak texture, or irregular objects.
- Abstract（参考訳）: 特に前景が意味的に曖昧、無彩色、または高い透過率である場面において、決定論的かつ未決定領域を分離しようとすると、トリマップフリーなイメージマットング法の性能は制限される。
本稿では,事前環境認識情報を効果的に転送し,学生のハードフォアグラウンドでのパフォーマンスを向上させることを目的とした,ppid-im(primized prior information distillation for image matting)という新しい枠組みを提案する。
トリマップの事前情報は、実際の推論中に学生ネットワークに入力されることなく、トレーニング期間中の教師モデルのみを規定する。
効果的な特権的クロスモダリティ(すなわちtrimapとrgb)情報蒸留を実現するために、より知識に富んだ意味表現と環境認識情報を持つtrimapフリーの学生を補強するクロスレベルセマンティック蒸留(clsd)モジュールを導入する。
また,トリマップベースの教師からトリマップのない生徒に特権的ローカル属性を効率的に転送し,局所領域最適化の指導を行うアテンションガイド型ローカル蒸留モジュールを提案する。
画像マッチングにおけるPPIDフレームワークの有効性と優位性を示す実験を行った。
さらに、我々のトリマップフリーのIndexNet-PPIDは、特に無色、弱いテクスチャ、不規則なオブジェクトのシナリオにおいて、競合する最先端の手法をはるかに上回る。
関連論文リスト
- Fine-grained Image-to-LiDAR Contrastive Distillation with Visual Foundation Models [55.99654128127689]
Visual Foundation Models (VFM) は、3D表現学習を強化するために使用される。
VFMは、弱制御された画素間コントラスト蒸留のためのセマンティックラベルを生成する。
我々は,空間分布とカテゴリー周波数の不均衡に対応するために,点のサンプリング確率を適応させる。
論文 参考訳（メタデータ） (2024-05-23T07:48:19Z) - Attention-guided Feature Distillation for Semantic Segmentation [8.344263189293578]
本稿では,改良された特徴写像を用いて注目を伝達するための簡易かつ強力な手法の有効性を示す。
提案手法は, セマンティックセグメンテーションにおける既存手法を高密度な予測課題として優れ, リッチな情報の蒸留に有効であることが証明された。
論文 参考訳（メタデータ） (2024-03-08T16:57:47Z) - 2D Feature Distillation for Weakly- and Semi-Supervised 3D Semantic
Segmentation [92.17700318483745]
合成訓練された2Dセマンティックセマンティックセグメンテーションネットワークから高レベル特徴情報を蒸留するアイデアに基づく画像誘導ネットワーク(IGNet)を提案する。
IGNetは、ScribbleKITTI上の弱い教師付きLiDARセマンティックセマンティックセグメンテーションの最先端の結果を達成し、8%のラベル付きポイントしか持たない完全な教師付きトレーニングに対して最大98%のパフォーマンスを誇っている。
論文 参考訳（メタデータ） (2023-11-27T07:57:29Z) - Disruptive Autoencoders: Leveraging Low-level features for 3D Medical
Image Pre-training [51.16994853817024]
本研究は、3Dラジオグラフィ画像のための効果的な事前学習フレームワークの設計に焦点をあてる。
ローカルマスキングと低レベルの摂動の組み合わせによって生成された破壊から、オリジナルのイメージを再構築しようとする事前トレーニングフレームワークであるDisruptive Autoencodersを紹介する。
提案する事前トレーニングフレームワークは、複数のダウンストリームタスクでテストされ、最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2023-07-31T17:59:42Z) - Impact of a DCT-driven Loss in Attention-based Knowledge-Distillation
for Scene Recognition [64.29650787243443]
本稿では, アクティベーションマップの2次元周波数変換を転送前に提案し, 解析する。
この戦略は、シーン認識などのタスクにおける知識伝達可能性を高める。
我々は、この論文で使われているトレーニングおよび評価フレームワークを、http://www.vpu.eps.uam.es/publications/DCTBasedKDForSceneRecognitionで公開しています。
論文 参考訳（メタデータ） (2022-05-04T11:05:18Z) - PP-Matting: High-Accuracy Natural Image Matting [11.68134059283327]
PP-Mattingは、高精度な自然な画像マッチングを実現するトリマップのないアーキテクチャである。
本手法は,前景のきめ細かい詳細を抽出する高精細ディテールブランチ (HRDB) を適用する。
また,意味的セグメンテーションのサブタスクを採用した意味的文脈分岐(SCB)を提案する。
論文 参考訳（メタデータ） (2022-04-20T12:54:06Z) - Deep Image Matting with Flexible Guidance Input [16.651948566049846]
本稿では,ユーザヒントとしてFlexible Guidance Input を用いるマッチング手法を提案する。
提案手法は,既存のトリマップベースおよびトリマップフリー手法と比較して,最先端の結果が得られる。
論文 参考訳（メタデータ） (2021-10-21T04:59:27Z) - Semantic Image Matting [75.21022252141474]
交配領域のフレームワークセマンティクス分類に組み込むことで、より良いアルファマットを得る方法を紹介します。
具体的には,20種類のマットングパターンを検討し,学習し,従来の三角マップを意味的三角マップに拡張する提案を行う。
複数のベンチマーク実験により,本手法は他の手法よりも優れており,最も競争力のある最先端性能を実現していることが明らかとなった。
論文 参考訳（メタデータ） (2021-04-16T16:21:02Z) - Human Perception Modeling for Automatic Natural Image Matting [2.179313476241343]
natural image mattingは、alpha matteを使って、フォアグラウンドオブジェクトを背景から正確に分離することを目的としている。
アノテーションを付加せずに直感的に設計したトリマップフリー2段階マッチング手法を提案する。
このマッティングアルゴリズムは,現在最先端の手法と,trimap-freeとtrimap-needの両方の面で競合する性能を持つ。
論文 参考訳（メタデータ） (2021-03-31T12:08:28Z) - Salient Image Matting [0.0]
本研究では,画像中の最も鮮やかな前景の画素あたりの不透明度値を推定するために,Salient Image Mattingという画像マッチングフレームワークを提案する。
我々のフレームワークは、広範囲のセマンティクスと健全なオブジェクトタイプを学ぶという課題を同時に扱う。
私たちのフレームワークは、他の自動メソッドと比較して、わずかな高価なマットデータのみを必要とします。
論文 参考訳（メタデータ） (2021-03-23T06:22:33Z) - Improved Image Matting via Real-time User Clicks and Uncertainty
Estimation [87.84632514927098]
本論文では,トリムアップフリーで,ユーザによるクリック操作だけであいまいさを解消できる深層画像マッチングフレームワークを提案する。
研磨が必要な部品を予測できる新しい不確実性推定モジュールと、以下の局所精製モジュールを紹介します。
その結果,既存の trimap-free メソッドよりも優れた性能を示し,ユーザの労力を最小限に抑え,最先端の trimap-based メソッドと比較できることがわかった。
論文 参考訳（メタデータ） (2020-12-15T14:32:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。