論文の概要: Learning Colour Representations of Search Queries
- arxiv url: http://arxiv.org/abs/2006.09904v1
- Date: Wed, 17 Jun 2020 14:38:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-19 20:35:24.090733
- Title: Learning Colour Representations of Search Queries
- Title(参考訳): 検索クエリのカラー表現の学習
- Authors: Paridhi Maheshwari, Manoj Ghuhan, Vishwa Vinay
- Abstract要約: ユーザクエリのかなりの部分は、それらに関連する固有の色を持っています。
未知のクエリをカラー空間にエンコードする再帰型ニューラルネットワークアーキテクチャを提案する。
インプレッションログから,この埋め込みをモーダル関係ランクラーとともに学習する方法を示す。
- 参考スコア(独自算出の注目度): 8.52661478026139
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Image search engines rely on appropriately designed ranking features that
capture various aspects of the content semantics as well as the historic
popularity. In this work, we consider the role of colour in this relevance
matching process. Our work is motivated by the observation that a significant
fraction of user queries have an inherent colour associated with them. While
some queries contain explicit colour mentions (such as 'black car' and 'yellow
daisies'), other queries have implicit notions of colour (such as 'sky' and
'grass'). Furthermore, grounding queries in colour is not a mapping to a single
colour, but a distribution in colour space. For instance, a search for 'trees'
tends to have a bimodal distribution around the colours green and brown. We
leverage historical clickthrough data to produce a colour representation for
search queries and propose a recurrent neural network architecture to encode
unseen queries into colour space. We also show how this embedding can be learnt
alongside a cross-modal relevance ranker from impression logs where a subset of
the result images were clicked. We demonstrate that the use of a query-image
colour distance feature leads to an improvement in the ranker performance as
measured by users' preferences of clicked versus skipped images.
- Abstract(参考訳): 画像検索エンジンは、コンテンツセマンティクスの様々な側面と歴史的人気をキャプチャする適切に設計されたランキング機能に依存している。
本稿では,この相関マッチングプロセスにおける色彩の役割について考察する。
私たちの研究は、ユーザクエリのかなりの一部がそれらに固有の色を持っているという観察によって動機付けられたものです。
明示的な色言及を含むクエリ("black car"や"yellow daisies"など)もあるが、他のクエリには暗黙的な色概念("sky"や"grass"など)がある。
さらに、色における接地クエリは単一の色へのマッピングではなく、色空間の分布である。
例えば、"trees"の検索は、緑と茶色の周りにバイモーダルな分布を持つ傾向がある。
過去のクリックスルーデータを利用して検索クエリの色表現を生成し,未知のクエリをカラー空間にエンコードする再帰型ニューラルネットワークアーキテクチャを提案する。
また,結果画像のサブセットがクリックされたインプレッションログからのクロスモーダル関連ランク付けとともに,この埋め込みをどのように学習するかを示す。
検索画像の色彩距離特徴を用いることで,ユーザがクリックした画像とスキップした画像の好みによって,ランク付け性能が向上することを示す。
関連論文リスト
- MultiColor: Image Colorization by Learning from Multiple Color Spaces [4.738828630428634]
MultiColorは、グレースケールイメージを自動的にカラー化する学習ベースの新しいアプローチである。
我々は、個々の色空間に専用の着色モジュール群を用いる。
これらの予測色チャネルは様々な色空間を表すため、相補的なネットワークは相補性を生かし、優雅で合理的な色付き画像を生成するように設計されている。
論文 参考訳(メタデータ) (2024-08-08T02:34:41Z) - Name Your Colour For the Task: Artificially Discover Colour Naming via
Colour Quantisation Transformer [62.75343115345667]
そこで本研究では,色空間を定量化しつつ,画像上での認識を維持しつつ,色空間を定量化する新しい色量子化変換器CQFormerを提案する。
人工色システムと人間の言語における基本色用語との一貫性のある進化パターンを観察する。
我々のカラー量子化法は、画像記憶を効果的に圧縮する効率的な量子化法も提供する。
論文 参考訳(メタデータ) (2022-12-07T03:39:18Z) - Influence of Color Spaces for Deep Learning Image Colorization [2.3705923859070217]
既存のカラー化手法は、RGB、YUV、Labなど、さまざまな色空間に依存している。
本章では,深層ニューラルネットワークのトレーニングによって得られる結果に対する影響について検討する。
RGB,YUV,Labの色空間と同一の深層ニューラルネットワークアーキテクチャを用いて得られた結果を比較した。
論文 参考訳(メタデータ) (2022-04-06T14:14:07Z) - Generating Compositional Color Representations from Text [3.141061579698638]
画像検索エンジン上のユーザクエリのかなりの部分が(属性、オブジェクト)構造に従っているという事実に触発され、このような大局的な色プロファイルを生成する生成逆ネットワークを提案する。
コンポジションを学ぶためにパイプラインを設計します - 見た属性とオブジェクトを、目に見えないペアに組み合わせる機能です。
論文 参考訳(メタデータ) (2021-09-22T01:37:13Z) - Assessing The Importance Of Colours For CNNs In Object Recognition [70.70151719764021]
畳み込みニューラルネットワーク(CNN)は相反する性質を示すことが示されている。
CNNが予測をしながら色情報に大きく依存していることを実証します。
congruent, greyscale, incongruent画像の合同画像で学習したモデルを評価する。
論文 参考訳(メタデータ) (2020-12-12T22:55:06Z) - Semantic-driven Colorization [78.88814849391352]
最近の着色は、白黒画像の着色を学習しながら意味情報を暗黙的に予測する。
そこで本研究では,まず,人間の動作をシミュレートして,画像の理解を学習し,色づけする。
論文 参考訳(メタデータ) (2020-06-13T08:13:30Z) - Instance-aware Image Colorization [51.12040118366072]
本稿では,インスタンス認識のカラー化を実現する手法を提案する。
我々のネットワークアーキテクチャは、市販のオブジェクト検出器を利用して、収穫されたオブジェクト画像を取得する。
類似したネットワークを用いて、フルイメージの特徴を抽出し、融合モジュールを適用して最終色を予測する。
論文 参考訳(メタデータ) (2020-05-21T17:59:23Z) - Learning to Structure an Image with Few Colors [59.34619548026885]
そこで,カラー量子化ネットワークであるColorCNNを提案する。
1ビットのカラースペース(すなわち2色)だけで、提案されたネットワークはCIFAR10データセット上で82.1%のトップ-1の精度を達成した。
アプリケーションの場合、PNGでエンコードされた場合、提案したカラー量子化は、極低ビットレート方式の他の画像圧縮方法よりも優れていることを示す。
論文 参考訳(メタデータ) (2020-03-17T17:56:15Z) - Adaptive Semantic-Visual Tree for Hierarchical Embeddings [67.01307058209709]
本稿では,商品カテゴリのアーキテクチャを記述するために,階層型適応型セマンティックビジュアルツリーを提案する。
この木は、異なる意味レベルと同じ意味クラス内の視覚的類似度を同時に評価する。
各レベルにおいて、セマンティック階層に基づいて異なるマージンを設定し、それらを事前情報として組み込んで、きめ細かい機能埋め込みを学習する。
論文 参考訳(メタデータ) (2020-03-08T03:36:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。