論文の概要: Weakly-Supervised Visual-Textual Grounding with Semantic Prior Refinement

• arxiv url: http://arxiv.org/abs/2305.10913v2
• Date: Tue, 26 Sep 2023 09:29:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-27 17:57:20.575236
• Title: Weakly-Supervised Visual-Textual Grounding with Semantic Prior Refinement
• Title（参考訳）: 意味的事前改良を伴う弱教師付き視覚テキストグラウンド
• Authors: Davide Rigoni and Luca Parolari and Luciano Serafini and Alessandro Sperduti and Lamberto Ballan
• Abstract要約: 画像-文ペアのみを用いて、弱い教師付き視覚-テクスチュアルグラウンドは、各エンティティの言及の領域-フレーズ対応を学習することを目的としている。 本稿では,2つの主モジュールの出力を組み合わせて予測を行うセマンティック・プライオリファインメント・モデル(SPRM)を提案する。 このアプローチでは、Flickr30k EntitiesとReferItの2つの一般的なデータセットに対する最先端の結果が9.6%の絶対的な改善で示されている。
• 参考スコア（独自算出の注目度）: 52.80968034977751
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Using only image-sentence pairs, weakly-supervised visual-textual grounding aims to learn region-phrase correspondences of the respective entity mentions. Compared to the supervised approach, learning is more difficult since bounding boxes and textual phrases correspondences are unavailable. In light of this, we propose the Semantic Prior Refinement Model (SPRM), whose predictions are obtained by combining the output of two main modules. The first untrained module aims to return a rough alignment between textual phrases and bounding boxes. The second trained module is composed of two sub-components that refine the rough alignment to improve the accuracy of the final phrase-bounding box alignments. The model is trained to maximize the multimodal similarity between an image and a sentence, while minimizing the multimodal similarity of the same sentence and a new unrelated image, carefully selected to help the most during training. Our approach shows state-of-the-art results on two popular datasets, Flickr30k Entities and ReferIt, shining especially on ReferIt with a 9.6% absolute improvement. Moreover, thanks to the untrained component, it reaches competitive performances just using a small fraction of training examples.
• Abstract（参考訳）: 画像-文ペアのみを用いて、弱い教師付き視覚-テクスチャグラウンドは、各エンティティの言及の領域-フレーズ対応を学習することを目的としている。 教師付きアプローチと比較して,境界ボックスや文句対応が利用できないため,学習は困難である。 そこで本研究では,2つの主モジュールの出力を組み合わせることにより予測を行う意味的事前改良モデル(sprm)を提案する。 最初の未学習モジュールは、テキスト句とバウンディングボックスの間の粗いアライメントを返すことを目的としている。 第2の訓練モジュールは、2つのサブコンポーネントで構成されており、最終的なフレーズ境界ボックスアライメントの精度を向上させるために粗いアライメントを洗練している。 本モデルは,画像と文間のマルチモーダル類似度を最大化するために訓練され,同一文のマルチモーダル類似度を最小化するとともに,トレーニング中に最も役立てるために慎重に選択された新しい非関連画像を生成する。 われわれのアプローチは、Flickr30k EntitiesとReferItという2つの人気のあるデータセットに関する最先端の結果を示している。 さらに、トレーニングされていないコンポーネントのおかげで、少数のトレーニング例だけで、競争力のあるパフォーマンスに達する。

関連論文リスト

• Dude: Dual Distribution-Aware Context Prompt Learning For Large Vision-Language Model [27.56988000960972]
  ドメイン共有コンテキストとクラス固有コンテキストの両方の2つのコンテキストに基づいた新しいフレームワークを導入する。 このような二重プロンプト手法は、大規模言語モデルで符号化された暗黙的および明示的な要素を結合することによって、モデルの特徴表現を強化する。 また、構築されたプロンプトと視覚トークンの関係を定量化するために、不均衡最適輸送(UOT)理論を定式化する。
  論文  参考訳（メタデータ） (2024-07-05T13:15:29Z)
• Multi-Modal Representation Learning with Text-Driven Soft Masks [48.19806080407593]
  自己教師型学習フレームワークにおける視覚言語表現学習手法を提案する。 画像中の領域をソフトメイキングすることで、画像テキストマッチング(ITM)タスクの多様な特徴を生成する。 マルチモーダルエンコーダを用いて単語条件の視覚的注意を計算し,各単語に関連する領域を同定する。
  論文  参考訳（メタデータ） (2023-04-03T05:07:49Z)
• Cross-Modal Implicit Relation Reasoning and Aligning for Text-to-Image Person Retrieval [29.884153827619915]
  IRRA:クロスモーダルImplicit Relation Reasoning and Aligning frameworkを提案する。 ローカルなビジュアルテキストトークン間の関係を学習し、グローバルな画像テキストマッチングを強化する。 提案手法は,3つの公開データセットすべてに対して,最先端の新たな結果を実現する。
  論文  参考訳（メタデータ） (2023-03-22T12:11:59Z)
• Unsupervised Vision-and-Language Pre-training via Retrieval-based Multi-Granular Alignment [66.77841319057299]
  非並列テキストと画像のための教師なしビジョン・アンド・ランゲージ事前学習カリキュラムを提案する。 まず、検索に基づく手法を用いて、弱整列画像テキストコーパスを構築し、次に、複数粒状アライメントの事前学習タスクを適用する。 包括的なアブレーション研究は、それぞれの粒度がより強力な事前学習モデルを学ぶのに役立つことを示している。
  論文  参考訳（メタデータ） (2022-03-01T05:34:01Z)
• A Better Loss for Visual-Textual Grounding [74.81353762517979]
  テキスト句と画像とが与えられた場合、視覚的接地問題は、文によって参照された画像の内容を特定するタスクとして定義される。 ヒューマン・コンピュータ・インタラクション、画像・テキスト・リファレンス・レゾリューション、ビデオ・テキスト・リファレンス・レゾリューションなどにおける現実的な応用がいくつかある課題である。 本稿では,より効率的な損失関数の導入により,最先端モデルよりも高い精度が得られるモデルを提案する。
  論文  参考訳（メタデータ） (2021-08-11T16:26:54Z)
• StEP: Style-based Encoder Pre-training for Multi-modal Image Synthesis [68.3787368024951]
  マルチモーダルイメージ・ツー・イメージ(I2I)翻訳のための新しいアプローチを提案する。 我々は、出力領域の可変性をモデル化する潜伏埋め込みをジェネレータと共同で学習する。 具体的には、新しいプロキシタスクを用いて汎用的なスタイルエンコーダを事前訓練し、任意のドメインから低次元のスタイル潜在空間への画像の埋め込みを学習する。
  論文  参考訳（メタデータ） (2021-04-14T19:58:24Z)
• Contrastive Learning for Unpaired Image-to-Image Translation [64.47477071705866]
  画像から画像への変換では、出力の各パッチは、入力中の対応するパッチの内容を、ドメインに依存しない形で反映すべきである。 本研究では,両者の相互情報を最大化するために,コントラスト学習に基づく枠組みを提案する。 筆者らのフレームワークは、画質の向上とトレーニング時間の短縮を図りながら、画像から画像への翻訳設定の一方的な翻訳を可能にすることを実証している。
  論文  参考訳（メタデータ） (2020-07-30T17:59:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。