論文の概要: Scene Graph Embeddings Using Relative Similarity Supervision

• arxiv url: http://arxiv.org/abs/2104.02381v1
• Date: Tue, 6 Apr 2021 09:13:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-07 14:15:10.052522
• Title: Scene Graph Embeddings Using Relative Similarity Supervision
• Title（参考訳）: 相対的類似性を考慮したシーングラフ埋め込み
• Authors: Paridhi Maheshwari, Ritwick Chaudhry, Vishwa Vinay
• Abstract要約: グラフ畳み込みネットワークを用いて,シーングラフの構造を活用し,意味的画像検索に有用な画像埋め込みを生成する。 本稿では,類似画像と類似画像の対で動作し,それらの間の相対順序を埋め込み空間に課す新しい損失関数を提案する。 このランキング損失と直感的なトリプルサンプリング戦略が、検索タスクでよく知られたコントラスト損失を上回った堅牢な表現につながることを実証します。
• 参考スコア（独自算出の注目度）: 4.137464623395376
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scene graphs are a powerful structured representation of the underlying content of images, and embeddings derived from them have been shown to be useful in multiple downstream tasks. In this work, we employ a graph convolutional network to exploit structure in scene graphs and produce image embeddings useful for semantic image retrieval. Different from classification-centric supervision traditionally available for learning image representations, we address the task of learning from relative similarity labels in a ranking context. Rooted within the contrastive learning paradigm, we propose a novel loss function that operates on pairs of similar and dissimilar images and imposes relative ordering between them in embedding space. We demonstrate that this Ranking loss, coupled with an intuitive triple sampling strategy, leads to robust representations that outperform well-known contrastive losses on the retrieval task. In addition, we provide qualitative evidence of how retrieved results that utilize structured scene information capture the global context of the scene, different from visual similarity search.
• Abstract（参考訳）: シーングラフは画像の基盤となる内容の強力な構造化表現であり、それらから派生した埋め込みは複数の下流タスクで有用であることが示されている。 本研究では,シーングラフの構造を利用するグラフ畳み込みネットワークを用い,セマンティックな画像検索に有用な画像埋め込みを生成する。 画像表現を学習するために伝統的に使用可能な分類中心の監督とは違って、ランキングコンテキストにおける相対的類似性ラベルから学習するタスクに対処する。 コントラスト学習パラダイムに根ざし,類似画像と類似画像のペアを操作し,それらの間の相対順序を埋め込み空間に強制する新しい損失関数を提案する。 このランク付け損失と直感的なトリプルサンプリング戦略が組み合わさって、検索タスクにおいてよく知られたコントラスト的損失よりも優れたロバスト表現をもたらすことを示す。 また,構造化されたシーン情報を利用した検索結果が,視覚的類似性検索と異なり,シーンのグローバルコンテキストを捉えた質的証拠を提供する。

関連論文リスト

• FACTUAL: A Benchmark for Faithful and Consistent Textual Scene Graph Parsing [66.70054075041487]
  画像キャプションをシーングラフに変換する既存のシーングラフは、しばしば2種類のエラーに悩まされる。 まず、生成されたシーングラフはキャプションや対応する画像の真の意味を捉えず、忠実さの欠如をもたらす。 第二に、生成されたシーングラフは一貫性が高く、同じセマンティクスは異なるアノテーションで表される。
  論文  参考訳（メタデータ） (2023-05-27T15:38:31Z)
• Coarse-to-Fine Contrastive Learning in Image-Text-Graph Space for Improved Vision-Language Compositionality [50.48859793121308]
  対照的に訓練された視覚言語モデルは、視覚と言語表現学習において顕著な進歩を遂げた。 近年の研究では、対象、属性、関係性に対して構成的推論を行う能力に厳しい制限が強調されている。
  論文  参考訳（メタデータ） (2023-05-23T08:28:38Z)
• Contextual Similarity Aggregation with Self-attention for Visual Re-ranking [96.55393026011811]
  本稿では,自己注意を伴う文脈的類似性集約による視覚的再ランク付け手法を提案する。 提案手法の汎用性と有効性を示すため,4つのベンチマークデータセットの総合的な実験を行った。
  論文  参考訳（メタデータ） (2021-10-26T06:20:31Z)
• RTIC: Residual Learning for Text and Image Composition using Graph Convolutional Network [19.017377597937617]
  画像検索のための画像とテキストの構成学習について検討する。 本稿では,グラフ畳み込みネットワーク(gcn)と既存の合成手法を組み合わせた新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-04-07T09:41:52Z)
• Image-to-Image Retrieval by Learning Similarity between Scene Graphs [5.284353899197193]
  本論文では,グラフニューラルネットワークによるシーングラフ類似度を用いた画像・画像検索手法を提案する。 提案手法では,人間の注釈付きキャプションから算出したプロキシ画像関連度を予測するために,グラフニューラルネットワークを訓練する。
  論文  参考訳（メタデータ） (2020-12-29T10:45:20Z)
• Learning to Compose Hypercolumns for Visual Correspondence [57.93635236871264]
  本稿では,画像に条件付けされた関連レイヤを活用することで,動的に効率的な特徴を構成する視覚対応手法を提案する。 提案手法はダイナミックハイパーピクセルフロー(Dynamic Hyperpixel Flow)と呼ばれ,深層畳み込みニューラルネットワークから少数の関連層を選択することにより,高速にハイパーカラム機能を構成することを学習する。
  論文  参考訳（メタデータ） (2020-07-21T04:03:22Z)
• Improving Image Captioning with Better Use of Captions [65.39641077768488]
  本稿では,画像表現とキャプション生成の両方を強化するために,キャプションで利用可能なセマンティクスをよりよく探求するための新しい画像キャプションアーキテクチャを提案する。 我々のモデルはまず,弱教師付きマルチインスタンス学習を用いて,有益な帰納バイアスをもたらすキャプション誘導型視覚関係グラフを構築した。 生成期間中、このモデルは、単語とオブジェクト/述語タグのシーケンスを共同で予測するために、マルチタスク学習を用いた視覚関係をさらに取り入れる。
  論文  参考訳（メタデータ） (2020-06-21T14:10:47Z)
• Learning to Compare Relation: Semantic Alignment for Few-Shot Learning [48.463122399494175]
  本稿では,コンテンツアライメントに頑健な関係を比較するための新しいセマンティックアライメントモデルを提案する。 数ショットの学習データセットについて広範な実験を行う。
  論文  参考訳（メタデータ） (2020-02-29T08:37:02Z)
• Deep Multimodal Image-Text Embeddings for Automatic Cross-Media Retrieval [0.0]
  視覚と言語表現を同時に学習するための,エンドツーエンドの深層マルチモーダル畳み込み再帰ネットワークを提案する。 このモデルは、どのペアがマッチ(正)か、どれがミスマッチ(負)かをヒンジベースの三重項ランキングを用いて学習する。
  論文  参考訳（メタデータ） (2020-02-23T23:58:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。