論文の概要: Privileged Prior Information Distillation for Image Matting
- arxiv url: http://arxiv.org/abs/2211.14036v1
- Date: Fri, 25 Nov 2022 11:24:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-28 18:16:38.726223
- Title: Privileged Prior Information Distillation for Image Matting
- Title(参考訳): 画像マッティングのための特権付き事前情報蒸留
- Authors: Cheng Lyu, Jiake Xie, Bo Xu, Cheng Lu, Han Huang, Xin Huang, Ming Wu,
Chuang Zhang, and Yong Tang
- Abstract要約: 画像マッチングのためのPrivileged Prior Information Distillation(PPID-IM)という新しいフレームワークを提案する。
PPID-IMは、学生のハードフォアグラウンドにおける性能を向上させるために、特権付き事前認識情報を効果的に転送することができる。
我々のフレームワークは、特に無色、弱いテクスチャ、不規則なオブジェクトのシナリオにおいて、他の競合する最先端の手法を大きなマージンで上回ります。
- 参考スコア(独自算出の注目度): 28.28402364528858
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Performance of trimap-free image matting methods is limited when trying to
decouple the deterministic and undetermined regions, especially in the scenes
where foregrounds are semantically ambiguous, chromaless, or high
transmittance. In this paper, we propose a novel framework named Privileged
Prior Information Distillation for Image Matting (PPID-IM) that can effectively
transfer privileged prior environment-aware information to improve the
performance of students in solving hard foregrounds. The prior information of
trimap regulates only the teacher model during the training stage, while not
being fed into the student network during actual inference. In order to achieve
effective privileged cross-modality (i.e. trimap and RGB) information
distillation, we introduce a Cross-Level Semantic Distillation (CLSD) module
that reinforces the trimap-free students with more knowledgeable semantic
representations and environment-aware information. We also propose an
Attention-Guided Local Distillation module that efficiently transfers
privileged local attributes from the trimap-based teacher to trimap-free
students for the guidance of local-region optimization. Extensive experiments
demonstrate the effectiveness and superiority of our PPID framework on the task
of image matting. In addition, our trimap-free IndexNet-PPID surpasses the
other competing state-of-the-art methods by a large margin, especially in
scenarios with chromaless, weak texture, or irregular objects.
- Abstract(参考訳): 特に前景が意味的に曖昧、無彩色、または高い透過率である場面において、決定論的かつ未決定領域を分離しようとすると、トリマップフリーなイメージマットング法の性能は制限される。
本稿では,事前環境認識情報を効果的に転送し,学生のハードフォアグラウンドでのパフォーマンスを向上させることを目的とした,ppid-im(primized prior information distillation for image matting)という新しい枠組みを提案する。
トリマップの事前情報は、実際の推論中に学生ネットワークに入力されることなく、トレーニング期間中の教師モデルのみを規定する。
効果的な特権的クロスモダリティ(すなわちtrimapとrgb)情報蒸留を実現するために、より知識に富んだ意味表現と環境認識情報を持つtrimapフリーの学生を補強するクロスレベルセマンティック蒸留(clsd)モジュールを導入する。
また,トリマップベースの教師からトリマップのない生徒に特権的ローカル属性を効率的に転送し,局所領域最適化の指導を行うアテンションガイド型ローカル蒸留モジュールを提案する。
画像マッチングにおけるPPIDフレームワークの有効性と優位性を示す実験を行った。
さらに、我々のトリマップフリーのIndexNet-PPIDは、特に無色、弱いテクスチャ、不規則なオブジェクトのシナリオにおいて、競合する最先端の手法をはるかに上回る。
関連論文リスト
- Attention-guided Feature Distillation for Semantic Segmentation [9.115508086522887]
CBAM(Convolutional Block Attention Module)を応用したAttnFD(AttnFD)法の提案
AttnFDはセマンティックセグメンテーションにおいて優れたパフォーマンスを示し、PascalVoc 2012とCityscapesのデータセット上で、Union(mIoU)平均のインターセクションで最先端の結果を達成する。
論文 参考訳(メタデータ) (2024-03-08T16:57:47Z) - 2D Feature Distillation for Weakly- and Semi-Supervised 3D Semantic
Segmentation [92.17700318483745]
合成訓練された2Dセマンティックセマンティックセグメンテーションネットワークから高レベル特徴情報を蒸留するアイデアに基づく画像誘導ネットワーク(IGNet)を提案する。
IGNetは、ScribbleKITTI上の弱い教師付きLiDARセマンティックセマンティックセグメンテーションの最先端の結果を達成し、8%のラベル付きポイントしか持たない完全な教師付きトレーニングに対して最大98%のパフォーマンスを誇っている。
論文 参考訳(メタデータ) (2023-11-27T07:57:29Z) - Segment Anything Model is a Good Teacher for Local Feature Learning [13.537256386350629]
局所的な特徴の検出と記述は多くのコンピュータビジョンタスクにおいて重要な役割を果たす。
データ駆動型局所特徴学習法は、訓練にピクセルレベルの対応に頼る必要がある。
1100万の画像に基づいて訓練されたモデルSAMeatを,局所的な特徴学習を指導する教師として提案する。
論文 参考訳(メタデータ) (2023-09-29T05:29:20Z) - Disruptive Autoencoders: Leveraging Low-level features for 3D Medical
Image Pre-training [51.16994853817024]
本研究は、3Dラジオグラフィ画像のための効果的な事前学習フレームワークの設計に焦点をあてる。
ローカルマスキングと低レベルの摂動の組み合わせによって生成された破壊から、オリジナルのイメージを再構築しようとする事前トレーニングフレームワークであるDisruptive Autoencodersを紹介する。
提案する事前トレーニングフレームワークは、複数のダウンストリームタスクでテストされ、最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2023-07-31T17:59:42Z) - Impact of a DCT-driven Loss in Attention-based Knowledge-Distillation
for Scene Recognition [64.29650787243443]
本稿では, アクティベーションマップの2次元周波数変換を転送前に提案し, 解析する。
この戦略は、シーン認識などのタスクにおける知識伝達可能性を高める。
我々は、この論文で使われているトレーニングおよび評価フレームワークを、http://www.vpu.eps.uam.es/publications/DCTBasedKDForSceneRecognitionで公開しています。
論文 参考訳(メタデータ) (2022-05-04T11:05:18Z) - PP-Matting: High-Accuracy Natural Image Matting [11.68134059283327]
PP-Mattingは、高精度な自然な画像マッチングを実現するトリマップのないアーキテクチャである。
本手法は,前景のきめ細かい詳細を抽出する高精細ディテールブランチ (HRDB) を適用する。
また,意味的セグメンテーションのサブタスクを採用した意味的文脈分岐(SCB)を提案する。
論文 参考訳(メタデータ) (2022-04-20T12:54:06Z) - Deep Image Matting with Flexible Guidance Input [16.651948566049846]
本稿では,ユーザヒントとしてFlexible Guidance Input を用いるマッチング手法を提案する。
提案手法は,既存のトリマップベースおよびトリマップフリー手法と比較して,最先端の結果が得られる。
論文 参考訳(メタデータ) (2021-10-21T04:59:27Z) - Deep Automatic Natural Image Matting [82.56853587380168]
自動画像マッチング(AIM)とは、任意の自然画像からソフトフォアグラウンドをトリマップのような補助的な入力なしで推定することである。
本稿では,これらの画像の一般化されたトリマップを統一的な意味表現として予測できる,新しいエンドツーエンドマッチングネットワークを提案する。
我々のネットワークは、利用可能な合成マッチングデータセットをトレーニングし、既存の手法を客観的にも主観的にも優れています。
論文 参考訳(メタデータ) (2021-07-15T10:29:01Z) - Semantic Image Matting [75.21022252141474]
交配領域のフレームワークセマンティクス分類に組み込むことで、より良いアルファマットを得る方法を紹介します。
具体的には,20種類のマットングパターンを検討し,学習し,従来の三角マップを意味的三角マップに拡張する提案を行う。
複数のベンチマーク実験により,本手法は他の手法よりも優れており,最も競争力のある最先端性能を実現していることが明らかとなった。
論文 参考訳(メタデータ) (2021-04-16T16:21:02Z) - Salient Image Matting [0.0]
本研究では,画像中の最も鮮やかな前景の画素あたりの不透明度値を推定するために,Salient Image Mattingという画像マッチングフレームワークを提案する。
我々のフレームワークは、広範囲のセマンティクスと健全なオブジェクトタイプを学ぶという課題を同時に扱う。
私たちのフレームワークは、他の自動メソッドと比較して、わずかな高価なマットデータのみを必要とします。
論文 参考訳(メタデータ) (2021-03-23T06:22:33Z) - Improved Image Matting via Real-time User Clicks and Uncertainty
Estimation [87.84632514927098]
本論文では,トリムアップフリーで,ユーザによるクリック操作だけであいまいさを解消できる深層画像マッチングフレームワークを提案する。
研磨が必要な部品を予測できる新しい不確実性推定モジュールと、以下の局所精製モジュールを紹介します。
その結果,既存の trimap-free メソッドよりも優れた性能を示し,ユーザの労力を最小限に抑え,最先端の trimap-based メソッドと比較できることがわかった。
論文 参考訳(メタデータ) (2020-12-15T14:32:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。