論文の概要: Multi-feature Co-learning for Image Inpainting

• arxiv url: http://arxiv.org/abs/2205.10578v1
• Date: Sat, 21 May 2022 12:15:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-24 18:19:19.211140
• Title: Multi-feature Co-learning for Image Inpainting
• Title（参考訳）: イメージインペインティングのための多機能コラーニング
• Authors: Jiayu Lin, Yuan-Gen Wang, Wenzhi Tang, Aifeng Li
• Abstract要約: 本稿では,画像インペイントのための深層多機能コラーニングネットワークを設計する。 具体的には、まず2つの枝を使って、構造的特徴とテクスチャ的特徴を別々に学習する。 SDFFモジュールはテクスチャ特徴に構造特徴を統合するとともに,テクスチャ特徴を構造特徴の生成補助として利用する。
• 参考スコア（独自算出の注目度）: 2.4571440831539824
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image inpainting has achieved great advances by simultaneously leveraging image structure and texture features. However, due to lack of effective multi-feature fusion techniques, existing image inpainting methods still show limited improvement. In this paper, we design a deep multi-feature co-learning network for image inpainting, which includes Soft-gating Dual Feature Fusion (SDFF) and Bilateral Propagation Feature Aggregation (BPFA) modules. To be specific, we first use two branches to learn structure features and texture features separately. Then the proposed SDFF module integrates structure features into texture features, and meanwhile uses texture features as an auxiliary in generating structure features. Such a co-learning strategy makes the structure and texture features more consistent. Next, the proposed BPFA module enhances the connection from local feature to overall consistency by co-learning contextual attention, channel-wise information and feature space, which can further refine the generated structures and textures. Finally, extensive experiments are performed on benchmark datasets, including CelebA, Places2, and Paris StreetView. Experimental results demonstrate the superiority of the proposed method over the state-of-the-art. The source codes are available at https://github.com/GZHU-DVL/MFCL-Inpainting.
• Abstract（参考訳）: 画像の塗装は、画像構造とテクスチャの特徴を同時に活用することで大きな進歩を遂げた。 しかし, 実効的な多機能融合技術が欠如しているため, 既存の画像塗装法は依然として改善が限られている。 本稿では,ソフトゲーティング・デュアル・フィーチャー・フュージョン(sdff)とバイラテラル・プロパゲーション・フィーチャー・アグリゲーション(bpfa)モジュールを含む,画像インペインティングのための深層多機能共学習ネットワークを設計する。 具体的には、まず2つの枝を使って構造的特徴とテクスチャ的特徴を別々に学習する。 SDFFモジュールは構造特徴をテクスチャ特徴に統合し,その一方でテクスチャ特徴を構造特徴の生成補助として利用する。 このようなコラーニング戦略は、構造とテクスチャの特徴をより一貫性を持たせる。 次に,提案するbpfaモジュールは,文脈的注意,チャネル毎の情報,特徴空間を共学習することで,局所的特徴から全体的一貫性への接続を強化し,生成した構造やテクスチャをさらに洗練する。 最後に、celeba、places2、paris streetviewなどのベンチマークデータセットで広範な実験が行われている。 実験により,提案手法が最先端技術よりも優れていることを示す。 ソースコードはhttps://github.com/GZHU-DVL/MFCL-Inpaintingで入手できる。

関連論文リスト

• Selective Vision-Language Subspace Projection for Few-shot CLIP [55.361337202198925]
  SSP (Selective Vision-Language Subspace Projection) という手法を導入する。 SSPはローカルな画像特徴を取り入れ、それらをブリッジとして利用し、画像とテキストのペア間のアライメントを強化する。 提案手法では,学習不要な行列計算しか必要とせず,高度なCLIPベースの数ショット学習フレームワークにシームレスに統合できる。
  論文  参考訳（メタデータ） (2024-07-24T03:45:35Z)
• Beyond First-Order: A Multi-Scale Approach to Finger Knuckle Print Biometrics [12.218178491042176]
  フィンガーナックルプリント(FKP)は、リッチなテクスチャパターンによって注目され、アイデンティティ認識のための有望なバイオメトリックとして位置づけられている。 以前のFKP認識手法は、複雑なテクスチャの詳細をキャプチャするが構造情報を考慮できない一階特徴記述子を主に利用していた。 本稿では,FKP画像のテクスチャ情報を包括的にキャプチャするための新しいFKP認識手法であるDual-Order Texture Competition Network (DOTCNet)を提案する。
  論文  参考訳（メタデータ） (2024-06-28T06:06:01Z)
• SSPFusion: A Semantic Structure-Preserving Approach for Infrared and Visible Image Fusion [30.55433673796615]
  既存の学習ベースの赤外線および可視画像融合(IVIF)法は、融合画像に大量の冗長情報を示す。 本稿では,IVIF における意味的構造保存手法,すなわち SSPFusion を提案する。 提案手法は,2組の赤外線画像と可視画像から高品質な融合画像を生成することができ,下流コンピュータビジョンタスクの性能を向上させることができる。
  論文  参考訳（メタデータ） (2023-09-26T08:13:32Z)
• LE2Fusion: A novel local edge enhancement module for infrared and visible image fusion [7.11574718614606]
  複雑な照明条件下では、局所領域のエッジ情報に注意を払うアルゴリズムはほとんどない。 本稿では, LE2Fusion と呼ばれる局所的なエッジ拡張に基づく融合ネットワークを提案する。 実験により,提案手法は,公開データセット上での最先端の融合手法よりも優れた核融合性能を示すことが示された。
  論文  参考訳（メタデータ） (2023-05-27T05:37:02Z)
• Towards Reliable Image Outpainting: Learning Structure-Aware Multimodal Fusion with Depth Guidance [49.94504248096527]
  異なるモードの特徴表現をモデル化するためのDGONet(Depth-Guided Outpainting Network)を提案する。 1)マルチモーダル学習モジュールは、異なるモーダル特性の観点から独自の深さとRGBの特徴表現を生成する。 我々は、不明瞭な輪郭を増進し、信頼性の高いコンテンツ生成を迅速化するために、クロスモーダルロスとエッジロスからなる追加の制約戦略を特別に設計する。
  論文  参考訳（メタデータ） (2022-04-12T06:06:50Z)
• Multi-level Second-order Few-shot Learning [111.0648869396828]
  教師付きまたは教師なしの少数ショット画像分類と少数ショット動作認識のためのマルチレベル2次数列学習ネットワーク(MlSo)を提案する。 我々は、パワーノーマライズされた二階学習者ストリームと、複数のレベルの視覚的抽象化を表現する機能を組み合わせた、いわゆる2階学習者ストリームを活用している。 我々は,Omniglot, mini-ImageNet, tiered-ImageNet, Open MIC, CUB Birds, Stanford Dogs, Cars, HMDB51, UCF101, mini-MITなどのアクション認識データセットなどの標準データセットに対して,優れた結果を示す。
  論文  参考訳（メタデータ） (2022-01-15T19:49:00Z)
• Image Inpainting via Conditional Texture and Structure Dual Generation [26.97159780261334]
  本稿では, 構造制約によるテクスチャ合成とテクスチャ誘導による構造再構築をモデル化した, 画像インペイントのための新しい2ストリームネットワークを提案する。 グローバルな一貫性を高めるため、双方向Gated Feature Fusion (Bi-GFF)モジュールは構造情報とテクスチャ情報を交換・結合するように設計されている。 CelebA、Paris StreetView、Places2データセットの実験は、提案手法の優位性を実証している。
  論文  参考訳（メタデータ） (2021-08-22T15:44:37Z)
• Generating Diverse Structure for Image Inpainting With Hierarchical VQ-VAE [74.29384873537587]
  本稿では,異なる構造を持つ複数の粗い結果を第1段階で生成し,第2段階ではテクスチャを増補して各粗い結果を別々に洗練する,多彩な塗布用2段階モデルを提案する。 CelebA-HQ, Places2, ImageNetデータセットによる実験結果から,本手法は塗布ソリューションの多様性を向上するだけでなく,生成した複数の画像の視覚的品質も向上することが示された。
  論文  参考訳（メタデータ） (2021-03-18T05:10:49Z)
• Towards Analysis-friendly Face Representation with Scalable Feature and Texture Compression [113.30411004622508]
  普遍的で協調的な視覚情報表現は階層的な方法で実現できることを示す。 ディープニューラルネットワークの強力な生成能力に基づいて、基本特徴層と強化層の間のギャップは、特徴レベルのテクスチャ再構築によってさらに埋められる。 提案するフレームワークの効率を改善するために,ベース層ニューラルネットワークをマルチタスクでトレーニングする。
  論文  参考訳（メタデータ） (2020-04-21T14:32:49Z)
• AlignSeg: Feature-Aligned Segmentation Networks [109.94809725745499]
  本稿では,機能集約プロセスにおける誤アライメント問題に対処するために,特徴適応型ネットワーク(AlignSeg)を提案する。 我々のネットワークは、それぞれ82.6%と45.95%という新しい最先端のmIoUスコアを達成している。
  論文  参考訳（メタデータ） (2020-02-24T10:00:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。