論文の概要: MISF: Multi-level Interactive Siamese Filtering for High-Fidelity Image
Inpainting
- arxiv url: http://arxiv.org/abs/2203.06304v1
- Date: Sat, 12 Mar 2022 01:32:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-15 16:46:54.615492
- Title: MISF: Multi-level Interactive Siamese Filtering for High-Fidelity Image
Inpainting
- Title（参考訳）: MISF:高精細画像インパインティングのための多レベル対話型シームスフィルタ
- Authors: Xiaoguang Li and Qing Guo and Di Lin and Ping Li and Wei Feng and Song
Wang
- Abstract要約: 画像インペイントにおける画像レベルの予測フィルタリングの利点と課題について検討する。
カーネル予測分岐(KPB)とセマンティック・アンド・イメージ・フィルタリング分岐(SIFB)の2つの分岐を含む,MISF(Multilevel Interactive Siamese Filtering)と呼ばれる新しいフィルタリング手法を提案する。
提案手法は,4つの指標,すなわちL1,PSNR,SSIM,LPIPSにおいて,最先端のベースラインよりも優れる。
- 参考スコア（独自算出の注目度）: 35.79101039727397
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although achieving significant progress, existing deep generative inpainting
methods are far from real-world applications due to the low generalization
across different scenes. As a result, the generated images usually contain
artifacts or the filled pixels differ greatly from the ground truth.
Image-level predictive filtering is a widely used image restoration technique,
predicting suitable kernels adaptively according to different input scenes.
Inspired by this inherent advantage, we explore the possibility of addressing
image inpainting as a filtering task. To this end, we first study the
advantages and challenges of image-level predictive filtering for image
inpainting: the method can preserve local structures and avoid artifacts but
fails to fill large missing areas. Then, we propose semantic filtering by
conducting filtering on the deep feature level, which fills the missing
semantic information but fails to recover the details. To address the issues
while adopting the respective advantages, we propose a novel filtering
technique, i.e., Multilevel Interactive Siamese Filtering (MISF), which
contains two branches: kernel prediction branch (KPB) and semantic & image
filtering branch (SIFB). These two branches are interactively linked: SIFB
provides multi-level features for KPB while KPB predicts dynamic kernels for
SIFB. As a result, the final method takes the advantage of effective semantic &
image-level filling for high-fidelity inpainting. We validate our method on
three challenging datasets, i.e., Dunhuang, Places2, and CelebA. Our method
outperforms state-of-the-art baselines on four metrics, i.e., L1, PSNR, SSIM,
and LPIPS. Please try the released code and model at
https://github.com/tsingqguo/misf.
- Abstract（参考訳）: 重要な進歩はあったが、既存の深層塗装法は、異なる場面での一般化が低かったため、実世界のアプリケーションとは程遠い。
その結果、通常生成された画像にはアーティファクトが含まれ、満たしたピクセルは基底の真理と大きく異なる。
画像レベルの予測フィルタリングは画像復元技術として広く用いられ、異なる入力シーンに応じて適切なカーネルを適応的に予測する。
この本質的な優位性に触発されて,フィルタリングタスクとしてのイメージインペイントの可能性を探る。
そこで本研究ではまず,局所的な構造を保ち,人工物を避けることができるが,大きな欠損領域を埋めることができない画像レベルの予測フィルタの利点と課題について検討する。
次に,不足している意味情報を満たしながら詳細を回復できない,深い特徴レベルでフィルタリングを行うことによる意味フィルタリングを提案する。
本稿では,それぞれの利点を生かしながらこの問題に対処するために,kernel prediction branch (kpb) と semantic & image filtering branch (sifb) の2つのブランチを含む多レベル対話型シアームフィルタリング (misf) という新しいフィルタリング手法を提案する。
SIFBはKPBのマルチレベル機能を提供し、KPBはSIFBの動的カーネルを予測する。
その結果, 有効セマンティクスと画像レベルのフィリングを有効活用し, 高忠実度インペイントを実現する。
本手法は,Dunhuang,Places2,CelebAの3つの挑戦的データセットで検証する。
提案手法は,4つの指標,すなわちL1,PSNR,SSIM,LPIPSにおいて,最先端のベースラインよりも優れる。
リリースコードとモデルをhttps://github.com/tsingqguo/misfで試してみてください。
関連論文リスト
- Continuous-Multiple Image Outpainting in One-Step via Positional Query
and A Diffusion-based Approach [104.2588068730834]
本稿では, 文献で未解決の2つの方向において, 画像出力の技術的フロンティアを推し進める。
トレーニング済みのバックボーンネットワークに依存しない手法を開発した。
提案手法(PQDiff)を公開ベンチマークで評価し,最先端手法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2024-01-28T13:00:38Z) - Dual Structure-Aware Image Filterings for Semi-supervised Medical Image Segmentation [11.663088388838073]
半教師付き医用画像分割のための画像レベルのバリエーションとして,新しい二重構造対応画像フィルタリング(DSAIF)を提案する。
構造を意識したツリーベース画像表現において, 画像のフィルタリングを簡略化するコネクテッドフィルタリングにより, 二重コントラスト不変の Max-tree と Min-tree の表現を利用する。
提案したDSAIFを相互に教師付きネットワークに適用することにより、ラベルなし画像上の誤った予測のコンセンサスを減少させる。
論文 参考訳（メタデータ） (2023-12-12T13:44:53Z) - Improving Human-Object Interaction Detection via Virtual Image Learning [68.56682347374422]
人間-物体相互作用(Human-Object Interaction、HOI)は、人間と物体の相互作用を理解することを目的としている。
本稿では,仮想画像学習(Virtual Image Leaning, VIL)による不均衡分布の影響を軽減することを提案する。
ラベルからイメージへの新たなアプローチであるMultiple Steps Image Creation (MUSIC)が提案され、実際の画像と一貫した分布を持つ高品質なデータセットを作成する。
論文 参考訳（メタデータ） (2023-08-04T10:28:48Z) - Deep Neural Networks Fused with Textures for Image Classification [20.58839604333332]
きめ細かい画像分類はコンピュータビジョンにおいて難しい課題である。
グローバルテクスチャと局所パッチ情報を組み合わせたFGICの融合手法を提案する。
提案手法は,有意なマージンを有する既存手法よりも高い分類精度を達成できた。
論文 参考訳（メタデータ） (2023-08-03T15:21:08Z) - Image Completion via Dual-path Cooperative Filtering [17.62197747945094]
入力シーンに基づいた画像復元のための予測フィルタリング手法を提案する。
欠落した情報を埋めるために、機能レベルのセマンティックフィルタリングが導入されている。
3つの挑戦的な画像補完データセットの実験により、提案したDCFは最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2023-04-30T03:54:53Z) - High-fidelity Pseudo-labels for Boosting Weakly-Supervised Segmentation [17.804090651425955]
画像レベルの弱い教師付きセグメンテーション(WSSS)は、トレーニング中にセグメンテーションマスクを代理することで、通常膨大なデータアノテーションコストを削減する。
本研究は,GAPの代替となる重要サンプリングと特徴類似性損失という,CAMを改善するための2つの手法に基づく。
複数の独立二項問題の後部二項問題に基づいて両手法を再構成する。
パフォーマンスが向上し、より一般的なものになり、事実上あらゆるWSSSメソッドを増強できるアドオンメソッドが出来上がります。
論文 参考訳（メタデータ） (2023-04-05T17:43:57Z) - Adaptive Local Implicit Image Function for Arbitrary-scale
Super-resolution [61.95533972380704]
局所暗黙画像関数(LIIF)は、対応する座標を入力として、画素値が拡張される連続関数として画像を表す。
LIIFは任意のスケールの超解像タスクに適用でき、その結果、様々なアップスケーリング要因に対して単一の効率的かつ効率的なモデルが得られる。
この問題を軽減するために,新しい適応型局所像関数(A-LIIF)を提案する。
論文 参考訳（メタデータ） (2022-08-07T11:23:23Z) - Fully Context-Aware Image Inpainting with a Learned Semantic Pyramid [102.24539566851809]
画像中の任意の欠落する領域に対して、合理的で現実的なコンテンツを復元することは、重要な課題である。
最近の画像インパインティングモデルは鮮明な視覚的詳細を生成するために大きな進歩を遂げているが、それでもテクスチャのぼやけや構造的歪みにつながる可能性がある。
本研究では,画像中の局所的欠落コンテンツの回復に大きく貢献する,多スケールなセマンティック・セマンティック・ピラミッド・ネットワーク(SPN)を提案する。
論文 参考訳（メタデータ） (2021-12-08T04:33:33Z) - JPGNet: Joint Predictive Filtering and Generative Network for Image
Inpainting [21.936689731138213]
画像インパインティングは、欠落した領域を復元し、元の完全な画像と同じ回復結果を作成することを目的としている。
現存する作品は、これを純粋な生成問題とみなし、それに対応するために最先端の生成技術を採用している。
本稿では,2つの問題,すなわち予測フィルタリングと深部生成の混合として,画像のインペイントを定式化する。
論文 参考訳（メタデータ） (2021-07-09T07:49:52Z) - The Power of Triply Complementary Priors for Image Compressive Sensing [89.14144796591685]
本稿では,一対の相補的な旅先を含むLRD画像モデルを提案する。
次に、画像CSのためのRDモデルに基づく新しいハイブリッド・プラグイン・アンド・プレイ・フレームワークを提案する。
そこで,提案したH-based image CS問題の解法として,単純で効果的なアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-05-16T08:17:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。