論文の概要: Context-Aware Mutual Learning for Blind Image Inpainting and Beyond
- arxiv url: http://arxiv.org/abs/2609.14439v1
- Date: Sun, 13 Sep 2026 11:33:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.814653
- Title: Context-Aware Mutual Learning for Blind Image Inpainting and Beyond
- Title(参考訳): Blind Image Inpainting におけるコンテキスト認識型相互学習
- Abstract要約: マスク推定と画像インペインティングは、マスク推定と推定マスクに基づく画像インペインティングの2つの段階に分けられる。
そこで本稿では,視覚障害者を対象に,視覚障害者を対象に,視覚障害者の視覚障害者が視覚障害者の視覚障害者の視覚障害者の視覚障害を意識した相互学習フレームワークを提案する。
- 参考スコア(独自算出の注目度): 19.93290122789307
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Blind image inpainting, aiming to recover contaminated images in the case of unknown masks, is a challenging task. Motivated by the perspective of human vision and knowledge, blind image inpainting can be decomposed into two stages: mask estimation and image inpainting based on the estimated mask. The two-stage idea exhibits evident advantages in enhancing inpainting quality and augmenting the generalization capability of unknown real-world contamination by explicitly employing the estimated mask for image inpainting compared to one-stage scheme. This two-stage idea has also been intuitively implemented. However, existing two-stage methods excessively emphasize the unilateral relationship of mask estimation to image inpainting, and may overlook the mutual relations between them. Specifically, mask estimation can provide more contextual semantics for image inpainting to strengthen the understanding of semantics, and image inpainting can offer more contextual details (e.g., textures and edges) for mask estimation to improve the learning of details. In this work, we propose a novel Context-Aware Mutual Learning (CAML) framework for blind image inpainting that joints mask estimation and image inpainting to mutually exploit contextual information. In the CAML framework, we design the Inpainting-Guided Context-Mutual (IGCM) learner to acquire the complementary contextual details from image inpainting for assisting mask estimation, and the Estimation-Guided Context-Mutual (EGCM) learner to strengthen the understanding of contextual semantics from mask estimation for assisting image inpainting. Ablation studies validate the efficacy of our CAML. Extensive experiments show that our CAML achieves state-of-the-art performance on both blind image inpainting and additional vision tasks, i.e., snow removal, shadow removal, and watermark removal, indicating its superiority.
- Abstract(参考訳): 未知のマスクの場合の汚染画像の回収を目的としたブラインド画像の塗布は難しい課題である。
人間の視覚と知識の観点で考えると、ブラインド画像の塗り絵は、マスク推定と推定マスクに基づく画像の塗り絵の2つの段階に分解することができる。
この2段階のアイデアは、未知の現実世界の汚染の一般化能力を高める上で、画像の塗布に推定マスクを1段階のスキームに比して明示的に使用することにより、明らかな利点を示す。
この2段階のアイデアも直感的に実装されている。
しかし、既存の2段階の手法では、マスク推定と画像インペイントの一方的な関係を過度に強調し、両者の相互関係を見落としてしまう可能性がある。
具体的には、マスク推定は、意味の理解を強化するために、より文脈的セマンティックスを提供し、画像インペイントは、詳細な学習を改善するために、マスク推定のためのよりコンテキスト的詳細(例えば、テクスチャやエッジ)を提供する。
本研究では,マスク推定と画像の着色を併用し,文脈情報を相互に活用するブラインド画像インパインティングのための新しいコンテキスト認識型相互学習(CAML)フレームワークを提案する。
CAMLフレームワークでは、マスク推定を支援するために画像インペインティングから補完的なコンテキスト詳細を取得するためのIGCM学習者と、画像インペインティングを支援するためにマスク推定からコンテキスト意味を理解するためのEGCM学習者を設計する。
アブレーション研究は、我々のCAMLの有効性を検証する。
積雪除去, シャドウ除去, 透かし除去といった視覚効果を両立させ, その優位性を示した。
関連論文リスト
- MaskAnyNet: Rethinking Masked Image Regions as Valuable Information in Supervised Learning [7.222969785370652]
MaskAnyNetは、マスキングと再学習メカニズムを組み合わせることで、可視情報とマスキング情報の両方を活用する。
CNNとTransformerのバックボーンの実験は、複数のベンチマークで一貫した利得を示している。
論文 参考訳(メタデータ) (2025-11-16T07:11:33Z) - Token Painter: Training-Free Text-Guided Image Inpainting via Mask Autoregressive Models [49.15136755850853]
我々は,Mask AutoRegressive(MAR)モデルに基づく,トレーニング不要なテキストガイド画像の描画手法を開発した。
提案手法では,(1)2つの鍵となる要素を紹介する:(1)Dual-Stream Information Fusion (DEIF) は,新しい誘導トークンを生成するために,周波数領域のテキストや背景からのセマンティック情報とコンテキスト情報を融合し,(2)適応デコーダのアタプティブ・スコア・エンハンシング (ADAE) は,誘導トークンのアテンションスコアを適応的に向上する。
論文 参考訳(メタデータ) (2025-09-28T14:48:52Z) - BrushNet: A Plug-and-Play Image Inpainting Model with Decomposed
Dual-Branch Diffusion [61.90969199199739]
BrushNetは、ピクセルレベルのマスク付きイメージ機能を事前訓練されたDMに埋め込むために設計された、新しいプラグアンドプレイデュアルブランチモデルである。
BrushNetは、画像品質、マスク領域保存、テキストコヒーレンスを含む7つの主要な指標で、既存のモデルよりも優れたパフォーマンスを実現している。
論文 参考訳(メタデータ) (2024-03-11T17:59:31Z) - PaintSeg: Training-free Segmentation via Painting [50.17936803209125]
PaintSegは、トレーニングなしでオブジェクトをセグメンテーションするための新しい教師なしのメソッドである。
前者は前景をマスキングして背景を埋め、後者は前景の欠落部分を回復しながら背景をマスキングする。
実験の結果、PaintSegは、粗いマスクプロンプト、ボックスプロンプト、ポイントプロンプトセグメンテーションタスクにおいて、既存のアプローチよりも優れていることが示された。
論文 参考訳(メタデータ) (2023-05-30T20:43:42Z) - Improving Masked Autoencoders by Learning Where to Mask [65.89510231743692]
マスケ画像モデリングは視覚データに対する有望な自己教師型学習手法である。
本稿では,Gumbel-Softmax を用いて,対向学習マスク生成装置とマスク誘導画像モデリングプロセスとを相互接続するフレームワーク AutoMAE を提案する。
実験の結果,AutoMAEは,標準の自己監督型ベンチマークや下流タスクに対して,効果的な事前学習モデルを提供することがわかった。
論文 参考訳(メタデータ) (2023-03-12T05:28:55Z) - CroCo: Self-Supervised Pre-training for 3D Vision Tasks by Cross-View
Completion [20.121597331207276]
Masked Image Modeling (MIM)は、最近、強力な事前学習パラダイムとして確立されている。
本稿では,多種多様な3次元視覚と下層の幾何学的下流課題によく伝達される表現を学習することを目的とする。
実験の結果,本研究のプリテキストタスクは,モノラルな3次元視覚の下流タスクの性能を著しく向上させることがわかった。
論文 参考訳(メタデータ) (2022-10-19T16:50:36Z) - MaskCLIP: Masked Self-Distillation Advances Contrastive Language-Image
Pretraining [138.86293836634323]
MaskCLIPは、新たに提案されたマスク付き自己蒸留をコントラスト言語イメージ事前学習に組み込む。
MaskCLIPは、言語エンコーダの誘導により、線形探索、微調整、ゼロショット性能において優れた結果が得られる。
論文 参考訳(メタデータ) (2022-08-25T17:59:58Z) - Adversarial Masking for Self-Supervised Learning [81.25999058340997]
自己教師付き学習のためのマスク付き画像モデル(MIM)フレームワークであるADIOSを提案する。
対向目的物を用いてマスキング機能と画像エンコーダを同時に学習する。
さまざまなタスクやデータセットに対する最先端の自己教師付き学習(SSL)メソッドを一貫して改善する。
論文 参考訳(メタデータ) (2022-01-31T10:23:23Z) - A Benchmark for Inpainting of Clothing Images with Irregular Holes [3.867363075280544]
本稿では、ファッションデータセットに基づく衣料品画像の塗り絵の広範なベンチマークを示す。
マスク更新手順を効率的に導出する部分的畳み込みの拡張版を導入する。
実験により,拡張部分畳み込み(DPConv)は,他の塗布方法と比較して定量的塗布性能を向上させることが示された。
論文 参考訳(メタデータ) (2020-07-09T21:44:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。