論文の概要: Learning to embed semantic similarity for joint image-text retrieval

• arxiv url: http://arxiv.org/abs/2210.03838v1
• Date: Fri, 7 Oct 2022 22:20:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 17:12:14.075374
• Title: Learning to embed semantic similarity for joint image-text retrieval
• Title（参考訳）: 共同画像テキスト検索のための意味的類似性を組み込む学習
• Authors: Noam Malali and Yosi Keller
• Abstract要約: ユークリッド空間における画像とキャプションの結合意味埋め込みを学習するための深層学習手法を提案する。 マルチタスク学習を利用して同一意味概念の埋め込みを学習する計量学習手法を提案する。 ユークリッド空間に意味論的に類似した概念のセマンティック埋め込みを導出する。
• 参考スコア（独自算出の注目度）: 6.700873164609009
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a deep learning approach for learning the joint semantic embeddings of images and captions in a Euclidean space, such that the semantic similarity is approximated by the L2 distances in the embedding space. For that, we introduce a metric learning scheme that utilizes multitask learning to learn the embedding of identical semantic concepts using a center loss. By introducing a differentiable quantization scheme into the end-to-end trainable network, we derive a semantic embedding of semantically similar concepts in Euclidean space. We also propose a novel metric learning formulation using an adaptive margin hinge loss, that is refined during the training phase. The proposed scheme was applied to the MS-COCO, Flicke30K and Flickr8K datasets, and was shown to compare favorably with contemporary state-of-the-art approaches.
• Abstract（参考訳）: ユークリッド空間における画像とキャプションの結合意味的埋め込みを学習するための深層学習手法を提案し,その意味的類似性は埋め込み空間内のL2距離によって近似されることを示した。 そこで本研究では,マルチタスク学習を活用し,センターロスを用いた同一意味概念の埋め込みを学習するメトリック学習方式を提案する。 エンドツーエンドのトレーニング可能なネットワークに微分可能量子化スキームを導入することにより、ユークリッド空間における意味論的類似概念の意味的埋め込みを導出する。 また,適応マージンヒンジ損失を用いた新しいメトリック学習定式化法を提案する。 提案手法はMS-COCO, Flicke30K, Flickr8Kのデータセットに適用され, 現代の最先端手法と比較した。

関連論文リスト

• Introspective Deep Metric Learning [91.47907685364036]
  本稿では,不確実性を考慮した画像比較のためのイントロスペクティブな深度学習フレームワークを提案する。 提案するIDMLフレームワークは,不確実性モデリングによるディープメトリック学習の性能を向上させる。
  論文  参考訳（メタデータ） (2023-09-11T16:21:13Z)
• Edge Guided GANs with Multi-Scale Contrastive Learning for Semantic Image Synthesis [139.2216271759332]
  本稿では,難解なセマンティック画像合成タスクのための新しいECGANを提案する。 セマンティックラベルは詳細な構造情報を提供しておらず、局所的な詳細や構造を合成することは困難である。 畳み込み、ダウンサンプリング、正規化といった広く採用されているCNN操作は、通常、空間分解能の損失を引き起こす。 本稿では,同じセマンティッククラスに属する画素埋め込みを強制して,より類似した画像コンテンツを生成することを目的とした,新しいコントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2023-07-22T14:17:19Z)
• Multi-Similarity Contrastive Learning [4.297070083645049]
  本稿では,複数の類似度指標の監視を共同で活用することにより,一般化可能な埋め込みを学習する新しいマルチ相似コントラスト損失(MSCon)を提案する。 本手法は, 類似度の不確実性に基づいて, 比較類似度重み付けを自動的に学習する。 我々は、MSConでトレーニングされたネットワークが、ドメイン内およびドメイン外設定で最先端のベースラインより優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2023-07-06T01:26:01Z)
• Federated Representation Learning via Maximal Coding Rate Reduction [109.26332878050374]
  本稿では,複数のクライアントに分散したデータセットから低次元表現を学習する手法を提案する。 提案手法はFLOWと呼ばれ, MCR2を選択の対象とし, その結果, クラス間判別とクラス内圧縮の両方が可能な表現が得られた。
  論文  参考訳（メタデータ） (2022-10-01T15:43:51Z)
• Learning Deep Optimal Embeddings with Sinkhorn Divergences [33.496926214655666]
  Deep Metric Learningアルゴリズムは、入力データ間の類似性関係を維持するために、効率的な埋め込み空間を学習することを目的としている。 これらのアルゴリズムは、幅広いタスクにおいて大きなパフォーマンス向上を達成したが、包括的な類似性制約を考慮せず、増大させた。 ここでは,新しい,しかし効果的なDeep Class-wise Discrepancy Loss関数を設計することで,識別的深層埋め込み空間を学習することの懸念に対処する。
  論文  参考訳（メタデータ） (2022-09-14T07:54:16Z)
• Introspective Deep Metric Learning for Image Retrieval [80.29866561553483]
  良好な類似性モデルは、より堅牢なトレーニングのために曖昧なイメージをよりよく扱うように注意しながら、意味的な相違を考慮すべきである、と我々は主張する。 本稿では,画像の意味的特徴とあいまいさを記述した,意味的埋め込みだけでなく,付随する不確実性埋め込みを用いて画像を表現することを提案する。 提案したIDMLフレームワークは,不確実性モデリングによるディープメトリック学習の性能向上を実現し,広く使用されているCUB-200-2011,Cars196,Stanford Online Productsデータセットの最先端結果を得る。
  論文  参考訳（メタデータ） (2022-05-09T17:51:44Z)
• Deep Relational Metric Learning [84.95793654872399]
  本稿では,画像クラスタリングと検索のためのディープリレーショナルメトリック学習フレームワークを提案する。 我々は、クラス間分布とクラス内分布の両方をモデル化するために、異なる側面から画像を特徴付ける特徴のアンサンブルを学ぶ。 広く使われているCUB-200-2011、Cars196、Stanford Online Productsデータセットの実験は、我々のフレームワークが既存の深層学習方法を改善し、非常に競争力のある結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2021-08-23T09:31:18Z)
• Towards Interpretable Deep Metric Learning with Structural Matching [86.16700459215383]
  より透過的な埋め込み学習のための深層解釈可能なメトリック学習(DIML)法を提案する。 本手法は,既製のバックボーンネットワークやメトリック学習手法に適用可能な,モデルに依存しない手法である。 我々は,CUB200-2011,Cars196,Stanford Online Productsの3つの大規模メトリクス学習ベンチマークで評価を行った。
  論文  参考訳（メタデータ） (2021-08-12T17:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。