論文の概要: Image-to-Image Retrieval by Learning Similarity between Scene Graphs

• arxiv url: http://arxiv.org/abs/2012.14700v1
• Date: Tue, 29 Dec 2020 10:45:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-18 20:42:10.953219
• Title: Image-to-Image Retrieval by Learning Similarity between Scene Graphs
• Title（参考訳）: シーングラフ間の類似性学習による画像間検索
• Authors: Sangwoong Yoon, Woo Young Kang, Sungwook Jeon, SeongEun Lee, Changjin Han, Jonghun Park, Eun-Sol Kim
• Abstract要約: 本論文では,グラフニューラルネットワークによるシーングラフ類似度を用いた画像・画像検索手法を提案する。 提案手法では,人間の注釈付きキャプションから算出したプロキシ画像関連度を予測するために,グラフニューラルネットワークを訓練する。
• 参考スコア（独自算出の注目度）: 5.284353899197193
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: As a scene graph compactly summarizes the high-level content of an image in a structured and symbolic manner, the similarity between scene graphs of two images reflects the relevance of their contents. Based on this idea, we propose a novel approach for image-to-image retrieval using scene graph similarity measured by graph neural networks. In our approach, graph neural networks are trained to predict the proxy image relevance measure, computed from human-annotated captions using a pre-trained sentence similarity model. We collect and publish the dataset for image relevance measured by human annotators to evaluate retrieval algorithms. The collected dataset shows that our method agrees well with the human perception of image similarity than other competitive baselines.
• Abstract（参考訳）: シーングラフは、構造的かつ象徴的な方法で画像の高レベルコンテンツをコンパクトに要約するので、2つの画像のシーングラフ間の類似性はその内容の関連性を反映している。 そこで本研究では,グラフニューラルネットワークによるシーングラフ類似度を用いた画像画像検索手法を提案する。 本手法では,学習済み文類似度モデルを用いて,人間の注釈付キャプションから計算したプロキシ画像関連尺度を予測するために,グラフニューラルネットワークを訓練する。 人間のアノテータによって測定された画像関連性のためのデータセットを収集し,公開し,検索アルゴリズムを評価する。 収集したデータセットから,本手法は他の競争ベースラインに比べて画像類似性に対する人間の認識とよく一致していることが示された。

関連論文リスト

• Interpretable Measures of Conceptual Similarity by Complexity-Constrained Descriptive Auto-Encoding [112.0878081944858]
  画像間の類似度を定量化することは、画像ベースの機械学習にとって重要な著作権問題である。 我々は,高次関係を捉えた画像間での「概念的類似性」の概念を定義し,計算することを目指している。 2つの非常に異種な画像は、その記述の早い段階で識別できるが、概念的に異種な画像は、より詳細を区別する必要がある。
  論文  参考訳（メタデータ） (2024-02-14T03:31:17Z)
• Patch-wise Graph Contrastive Learning for Image Translation [69.85040887753729]
  グラフニューラルネットワークを利用して、トポロジを意識した特徴をキャプチャする。 予め訓練されたエンコーダからパッチワイドな類似性に基づいてグラフを構築する。 階層的な意味構造を捉えるために,グラフプーリングを提案する。
  論文  参考訳（メタデータ） (2023-12-13T15:45:19Z)
• Learning an Adaptation Function to Assess Image Visual Similarities [0.0]
  ここでは、類推が重要となるとき、視覚的イメージ類似性を学ぶための特定のタスクに焦点を当てる。 本稿では,異なるスケールとコンテンツデータセットで事前学習した,教師付き,半教師付き,自己教師型ネットワークの比較を提案する。 The Totally Looks Like Image dataset conducted on the Totally Looks Like image highlight the interest of our method, by increase the search scores of the best model @1 by 2.25x。
  論文  参考訳（メタデータ） (2022-06-03T07:15:00Z)
• Image Keypoint Matching using Graph Neural Networks [22.33342295278866]
  画像マッチング問題に対するグラフニューラルネットワークを提案する。 提案手法はまず,局所化ノード埋め込みを用いてキーポイント間の初期ソフト対応を生成する。 提案手法は,キーポイントアノテーションを用いた自然な画像データセット上で評価し,最先端のモデルと比較して,予測精度を犠牲にすることなく推論時間を高速化することを示す。
  論文  参考訳（メタデータ） (2022-05-27T23:38:44Z)
• Learning to Generate Scene Graph from Natural Language Supervision [52.18175340725455]
  シーングラフと呼ばれる画像内の局所化オブジェクトとその関係をグラフィカルに表現するために,画像と文のペアから学習する最初の方法の1つを提案する。 既製のオブジェクト検出器を利用してオブジェクトのインスタンスを識別し、ローカライズし、検出された領域のラベルとキャプションから解析された概念をマッチングし、シーングラフを学習するための"擬似ラベル"を作成する。
  論文  参考訳（メタデータ） (2021-09-06T03:38:52Z)
• Enhancing Social Relation Inference with Concise Interaction Graph and Discriminative Scene Representation [56.25878966006678]
  我々はtextbfSocial rtextbfElation (PRISE) における textbfPractical textbfInference のアプローチを提案する。 人の対話的特徴と全体主義的な場面の識別的特徴を簡潔に学習する。 PRISEはPIPAデータセットにおけるドメイン分類の改善を6.8$%で達成している。
  論文  参考訳（メタデータ） (2021-07-30T04:20:13Z)
• A Deep Local and Global Scene-Graph Matching for Image-Text Retrieval [4.159666152160874]
  シーングラフの提示は画像テキストマッチングの課題に適した方法である。 本稿では,最先端の手法を強化するローカル・グローバル・シーングラフマッチング(LGSGM)モデルを提案する。 Flickr30kデータセットのリコールを10%以上増やすことで,レベルの組み合わせによる改善により,ベースライン手法の性能を向上させることができる。
  論文  参考訳（メタデータ） (2021-06-04T10:33:14Z)
• A Novel Graph-Theoretic Deep Representation Learning Method for Multi-Label Remote Sensing Image Retrieval [0.0]
  本稿では,マルチラベルリモートセンシング(RS)画像検索の枠組みにおけるグラフ理論の深層表現学習手法を提案する。 提案手法は,アーカイブ内の各RS画像に関連付けられた複数ラベルの共起関係を抽出し,活用することを目的としている。 提案手法のコードはhttps://git.tu-berlin.de/rsim/GT-DRL-CBIRで公開されている。
  論文  参考訳（メタデータ） (2021-06-01T14:11:08Z)
• Scene Graph Embeddings Using Relative Similarity Supervision [4.137464623395376]
  グラフ畳み込みネットワークを用いて,シーングラフの構造を活用し,意味的画像検索に有用な画像埋め込みを生成する。 本稿では,類似画像と類似画像の対で動作し,それらの間の相対順序を埋め込み空間に課す新しい損失関数を提案する。 このランキング損失と直感的なトリプルサンプリング戦略が、検索タスクでよく知られたコントラスト損失を上回った堅牢な表現につながることを実証します。
  論文  参考訳（メタデータ） (2021-04-06T09:13:05Z)
• Using Text to Teach Image Retrieval [47.72498265721957]
  ニューラルネットワークを用いて学習した画像の特徴空間をグラフとして表現するために,画像多様体の概念に基づいて構築する。 我々は、幾何学的に整列したテキストで多様体のサンプルを増補し、大量の文を使って画像について教える。 実験結果から, 結合埋め込み多様体は頑健な表現であり, 画像検索を行うためのより良い基礎となることが示唆された。
  論文  参考訳（メタデータ） (2020-11-19T16:09:14Z)
• Sketching Image Gist: Human-Mimetic Hierarchical Scene Graph Generation [98.34909905511061]
  望ましいシーングラフは階層的に構築されるべきであり,シーングラフをモデル化するための新しいスキームを導入する。 HETに基づいてシーングラフを生成するために,階層と兄弟関係を具体的にエンコードするHETをHybrid-LSTM(Hybrid-LSTM)で解析する。 シーングラフにおける重要な関係性をさらに優先順位付けするために、関係ランク付けモジュール(RRM)を考案し、それらのランク付けを動的に調整する。
  論文  参考訳（メタデータ） (2020-07-17T05:12:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。