論文の概要: Collaboration among Image and Object Level Features for Image Colourisation

• arxiv url: http://arxiv.org/abs/2101.07576v1
• Date: Tue, 19 Jan 2021 11:48:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-22 11:29:17.675972
• Title: Collaboration among Image and Object Level Features for Image Colourisation
• Title（参考訳）: 画像カラー化のための画像・オブジェクトレベルの特徴間の協調
• Authors: Rita Pucci, Christian Micheloni, Niki Martinel
• Abstract要約: 画像のカラー化は不適切な問題であり、入力データムに存在するコンテキストとオブジェクトインスタンスに依存する複数の正しいソリューションがある。 従来のアプローチは、強力なユーザーインタラクションを必要とするか、画像レベル(コンテキスト)機能を学ぶために畳み込みニューラルネットワーク(CNN)の能力を利用して、この問題を攻撃しました。 コンボリューションによって得られる画像レベルの特徴とカプセルによってキャプチャされるオブジェクトレベルの特徴を分離する,UCapsNetという単一のネットワークを提案する。 そして,異なる層間の接続をスキップすることで,これらの分離要因間の協調を強制し,高品質で再現可能な画像彩色を実現する。
• 参考スコア（独自算出の注目度）: 25.60139324272782
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image colourisation is an ill-posed problem, with multiple correct solutions which depend on the context and object instances present in the input datum. Previous approaches attacked the problem either by requiring intense user interactions or by exploiting the ability of convolutional neural networks (CNNs) in learning image level (context) features. However, obtaining human hints is not always feasible and CNNs alone are not able to learn object-level semantics unless multiple models pretrained with supervision are considered. In this work, we propose a single network, named UCapsNet, that separate image-level features obtained through convolutions and object-level features captured by means of capsules. Then, by skip connections over different layers, we enforce collaboration between such disentangling factors to produce high quality and plausible image colourisation. We pose the problem as a classification task that can be addressed by a fully self-supervised approach, thus requires no human effort. Experimental results on three benchmark datasets show that our approach outperforms existing methods on standard quality metrics and achieves a state of the art performances on image colourisation. A large scale user study shows that our method is preferred over existing solutions.
• Abstract（参考訳）: 画像のカラー化は不適切な問題であり、入力データムに存在するコンテキストとオブジェクトインスタンスに依存する複数の正しいソリューションがある。 以前のアプローチでは、強力なユーザインタラクションを必要とするか、あるいは画像レベル(コンテキスト)の学習において畳み込みニューラルネットワーク(CNN)の能力を活用することによって、この問題に対処していた。 しかし、人間のヒントを得ることは必ずしも実現可能ではなく、CNNだけでは、監督によって事前訓練された複数のモデルが考慮されない限り、オブジェクトレベルのセマンティクスを学べない。 本研究では,コンボリューションによる画像レベルの特徴とカプセルによってキャプチャされたオブジェクトレベルの特徴を分離する,UCapsNetという単一のネットワークを提案する。 そして,異なる層間の接続をスキップすることで,これらの分離要因間の協調を強制し,高品質で再現可能な画像彩色を実現する。 我々は、問題を完全な自己監督アプローチによって対処できる分類タスクとして位置づけ、そのため人間の努力は不要である。 3つのベンチマークデータセットによる実験結果から,本手法は標準品質指標の既存手法よりも優れており,画像のカラー化における技術性能の状態を達成していることがわかった。 大規模ユーザ調査の結果,提案手法は既存ソリューションよりも好まれることがわかった。

関連論文リスト

• Improving Human-Object Interaction Detection via Virtual Image Learning [68.56682347374422]
  人間-物体相互作用(Human-Object Interaction、HOI)は、人間と物体の相互作用を理解することを目的としている。 本稿では,仮想画像学習(Virtual Image Leaning, VIL)による不均衡分布の影響を軽減することを提案する。 ラベルからイメージへの新たなアプローチであるMultiple Steps Image Creation (MUSIC)が提案され、実際の画像と一貫した分布を持つ高品質なデータセットを作成する。
  論文  参考訳（メタデータ） (2023-08-04T10:28:48Z)
• ParaColorizer: Realistic Image Colorization using Parallel Generative Networks [1.7778609937758327]
  グレースケール画像のカラー化は、情報復元のためのAIの魅力的な応用である。 並列なGANベースのカラー化フレームワークを提案する。 マルチモーダル問題を評価するために一般的に使用される非知覚的評価指標の欠点を示す。
  論文  参考訳（メタデータ） (2022-08-17T13:49:44Z)
• Image Quality Assessment using Contrastive Learning [50.265638572116984]
  我々は、補助的な問題を解決するために、対照的な対の目的を用いて深層畳み込みニューラルネットワーク(CNN)を訓練する。 本研究では,最新のNR画像品質モデルと比較して,ContriQUEが競争性能を向上することを示す。 以上の結果から,大きなラベル付き主観的画像品質データセットを必要とせずに,知覚的関連性を持つ強力な品質表現が得られることが示唆された。
  論文  参考訳（メタデータ） (2021-10-25T21:01:00Z)
• Learning Contrastive Representation for Semantic Correspondence [150.29135856909477]
  セマンティックマッチングのためのマルチレベルコントラスト学習手法を提案する。 画像レベルのコントラスト学習は、畳み込み特徴が類似したオブジェクト間の対応を見出すための鍵となる要素であることを示す。
  論文  参考訳（メタデータ） (2021-09-22T18:34:14Z)
• TUCaN: Progressively Teaching Colourisation to Capsules [13.50327471049997]
  TUCaN(Tiny UCapsNet)という新しいダウンサンプリングアップサンプリングアーキテクチャを提案する。 我々は,色を量化空間内のビンとして識別するピクセルごとの色分類タスクとして,この問題に対処する。 ネットワークをトレーニングするために、標準的なエンドツーエンド学習法とは対照的に、オブジェクトのコンテキストを抽出するプログレッシブラーニング方式を提案する。
  論文  参考訳（メタデータ） (2021-06-29T08:44:15Z)
• Learning to Focus: Cascaded Feature Matching Network for Few-shot Image Recognition [38.49419948988415]
  ディープネットワークは、多数の画像でトレーニングすることで、カテゴリのオブジェクトを正確に認識することを学ぶことができる。 低ショット画像認識タスク(low-shot image recognition task)として知られるメタラーニングの課題は、1つのカテゴリの認識モデルを学ぶためにアノテーション付き画像しか利用できない場合に発生する。 この問題を解決するため,Cascaded Feature Matching Network (CFMN) と呼ばれる手法を提案する。 EmphminiImageNet と Omniglot の2つの標準データセットを用いた数ショット学習実験により,本手法の有効性が確認された。
  論文  参考訳（メタデータ） (2021-01-13T11:37:28Z)
• Learning to Compose Hypercolumns for Visual Correspondence [57.93635236871264]
  本稿では,画像に条件付けされた関連レイヤを活用することで,動的に効率的な特徴を構成する視覚対応手法を提案する。 提案手法はダイナミックハイパーピクセルフロー(Dynamic Hyperpixel Flow)と呼ばれ,深層畳み込みニューラルネットワークから少数の関連層を選択することにより,高速にハイパーカラム機能を構成することを学習する。
  論文  参考訳（メタデータ） (2020-07-21T04:03:22Z)
• Multiscale Deep Equilibrium Models [162.15362280927476]
  マルチスケールディープ均衡モデル(MDEQ)を新たに提案する。 MDEQは、複数の特徴分解の平衡点を直接解き、同時に伝播する。 本稿では,Cityscapesデータセットの高解像度画像に対するイメージネット分類とセマンティックセグメンテーションの2つの大規模ビジョンタスクにおけるこのアプローチの有効性について述べる。
  論文  参考訳（メタデータ） (2020-06-15T18:07:44Z)
• Instance-aware Image Colorization [51.12040118366072]
  本稿では,インスタンス認識のカラー化を実現する手法を提案する。 我々のネットワークアーキテクチャは、市販のオブジェクト検出器を利用して、収穫されたオブジェクト画像を取得する。 類似したネットワークを用いて、フルイメージの特徴を抽出し、融合モジュールを適用して最終色を予測する。
  論文  参考訳（メタデータ） (2020-05-21T17:59:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。