論文の概要: SimCon Loss with Multiple Views for Text Supervised Semantic
Segmentation
- arxiv url: http://arxiv.org/abs/2302.03432v1
- Date: Tue, 7 Feb 2023 12:36:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-08 16:35:20.646353
- Title: SimCon Loss with Multiple Views for Text Supervised Semantic
Segmentation
- Title(参考訳): テキスト教師付き意味セグメンテーションのための複数ビューによるsimconロス
- Authors: Yash Patel, Yusheng Xie, Yi Zhu, Srikar Appalaraju, R. Manmatha
- Abstract要約: Webデータから画像テキストのアライメントに頼ることによって、画像のセグメンテーションを純粋に行うことは、データのノイズによる準最適パフォーマンスにつながる可能性がある。
そこで本研究では,モダナル内類似性を考慮に入れた新たな損失関数SimConを提案する。
- 参考スコア(独自算出の注目度): 10.735102459660057
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learning to segment images purely by relying on the image-text alignment from
web data can lead to sub-optimal performance due to noise in the data. The
noise comes from the samples where the associated text does not correlate with
the image's visual content. Instead of purely relying on the alignment from the
noisy data, this paper proposes a novel loss function termed SimCon, which
accounts for intra-modal similarities to determine the appropriate set of
positive samples to align. Further, using multiple views of the image (created
synthetically) for training and combining the SimCon loss with it makes the
training more robust. This version of the loss is termed MV-SimCon. The
empirical results demonstrate that using the proposed loss function leads to
consistent improvements on zero-shot, text supervised semantic segmentation and
outperforms state-of-the-art by $+3.0\%$, $+3.3\%$ and $+6.9\%$ on PASCAL VOC,
PASCAL Context and MSCOCO, respectively. With test time augmentations, we set a
new record by improving these results further to $58.7\%$, $26.6\%$, and
$33.3\%$ on PASCAL VOC, PASCAL Context, and MSCOCO, respectively. In addition,
using the proposed loss function leads to robust training and faster
convergence.
- Abstract(参考訳): Webデータから画像テキストのアライメントに頼ることによって、画像のセグメンテーションを純粋に行うことは、データのノイズによる準最適パフォーマンスにつながる可能性がある。
ノイズは、関連するテキストが画像の視覚的内容と相関しないサンプルから生じる。
本稿では,ノイズデータからのアライメントに純粋に依存するのではなく,モード内類似性を考慮した新しい損失関数simconを提案する。
さらに、画像の複数のビュー(合成された)をトレーニングに使用し、SimConの損失と組み合わせることで、トレーニングをより堅牢にする。
このバージョンはMV-SimConと呼ばれている。
実験の結果、提案された損失関数を使用することで、ゼロショット、テキスト教師ありセマンティックセグメンテーションの一貫性が向上し、それぞれ$+3.0\%$、$+3.3\%$、$+6.9\%$ on PASCAL VOC、PASCAL Context、MSCOCOを上回ります。
テスト時間の増大により、これらの結果をさらに改善し、PASCAL VOC、PASCAL Context、MSCOCOで58.7\%、26.6\%、33.3\%にそれぞれ改善した。
さらに、提案した損失関数を用いることで、堅牢なトレーニングとより高速な収束につながる。
関連論文リスト
- The Right Losses for the Right Gains: Improving the Semantic Consistency
of Deep Text-to-Image Generation with Distribution-Sensitive Losses [0.35898124827270983]
本稿では,2つの損失関数の新たな組み合わせであるフェイク・ツー・フェイク・ツー・フェイク・フェイク・ロスと,フェイク・トゥ・リアル・ロスの対比学習手法を提案する。
このアプローチをSSAGANとAttnGANの2つのベースラインモデルで検証する。
提案手法は,CUBデータセットのスタイルブロックを用いて,AttnGANの定性的な結果を改善することを示す。
論文 参考訳(メタデータ) (2023-12-18T00:05:28Z) - Text Augmented Spatial-aware Zero-shot Referring Image Segmentation [60.84423786769453]
テキスト拡張空間認識(TAS)ゼロショット参照画像セグメンテーションフレームワークを提案する。
TASには、例レベルのマスク抽出のためのマスク提案ネットワーク、画像テキスト相関をマイニングするためのテキスト拡張ビジュアルテキストマッチングスコア、マスク後処理のための空間が含まれている。
提案手法は,最先端のゼロショット参照画像セグメンテーション法より明らかに優れている。
論文 参考訳(メタデータ) (2023-10-27T10:52:50Z) - ALIP: Adaptive Language-Image Pre-training with Synthetic Caption [78.93535202851278]
コントラスト言語-画像事前学習(CLIP)は、様々な視覚言語タスクのパフォーマンスを大幅に向上させた。
Webデータに固有のノイズと未整合画像テキストペアが存在することは、表現学習のパフォーマンスに影響を与える可能性がある。
本稿では、原文と合成キャプションの両方からの監督を統合するバイパスモデルであるAdaptive Language-Image Pre-Training(ALIP)を提案する。
論文 参考訳(メタデータ) (2023-08-16T15:19:52Z) - Improving Multimodal Datasets with Image Captioning [65.74736570293622]
生成したキャプションが非記述テキストによるWebスクラッピングデータポイントの有用性を高める方法について検討する。
DataComp の大規模字幕 (1.28B 画像テキストペア) を用いた実験により,合成テキストの限界について考察した。
論文 参考訳(メタデータ) (2023-07-19T17:47:12Z) - FACTUAL: A Benchmark for Faithful and Consistent Textual Scene Graph
Parsing [66.70054075041487]
画像キャプションをシーングラフに変換する既存のシーングラフは、しばしば2種類のエラーに悩まされる。
まず、生成されたシーングラフはキャプションや対応する画像の真の意味を捉えず、忠実さの欠如をもたらす。
第二に、生成されたシーングラフは一貫性が高く、同じセマンティクスは異なるアノテーションで表される。
論文 参考訳(メタデータ) (2023-05-27T15:38:31Z) - Rethinking Generalization in Few-Shot Classification [28.809141478504532]
単一のイメージレベルのアノテーションは、しばしば画像の内容の小さなサブセットを正しく記述するだけである。
本稿では、textitfew-shot Learning$の文脈における意味を詳しく調べる。
我々は、きめ細かいラベルの欠如を克服するため、マスク付き画像モデリングによるネットワークの教師なしトレーニングの最近の進歩の上に構築する。
論文 参考訳(メタデータ) (2022-06-15T03:05:21Z) - CyCLIP: Cyclic Contrastive Language-Image Pretraining [34.588147979731374]
ペア画像テキストデータに対するコントラスト表現学習の最近の進歩は、ゼロショット分類と分布ロバスト性のための最先端性能を達成するCLIPのようなモデルにつながっている。
我々は、標準のコントラスト目的によって学習された画像とテキストの表現が交換不可能であり、不整合な下流予測につながることを実証した。
画像やテキスト空間で幾何学的に一貫した表現を明示的に最適化するコントラスト表現学習フレームワークであるCyCLIPを提案する。
論文 参考訳(メタデータ) (2022-05-28T15:31:17Z) - PyramidCLIP: Hierarchical Feature Alignment for Vision-language Model
Pretraining [68.84339672878066]
意味レベルが異なる入力ピラミッドを構築し,視覚的要素と言語的要素を階層構造として整列させる。
ゼロショット画像分類、ゼロショット画像テキスト検索、画像オブジェクト検出を含む3つの下流タスクの実験は、提案したピラミドCLIPの有効性を検証する。
論文 参考訳(メタデータ) (2022-04-29T13:38:42Z) - USIS: Unsupervised Semantic Image Synthesis [9.613134538472801]
セマンティック画像合成(USIS)のための新しい教師なしパラダイムを提案する。
USISは、自己教師付きセグメンテーションロスを使用して、視覚的に分離可能なセグメンテーションクラスで画像を出力することを学ぶ。
実画像の色とテクスチャの分布を高周波数情報を失うことなく一致させるため,ウェーブレットを用いた識別手法を提案する。
論文 参考訳(メタデータ) (2021-09-29T20:48:41Z) - Correlate-and-Excite: Real-Time Stereo Matching via Guided Cost Volume
Excitation [65.83008812026635]
本稿では,GCE ( Guided Cost Volume Excitation) を構築し,画像によって誘導されるコストボリュームの簡単なチャネル励磁により,性能が大幅に向上することを示す。
我々はCorrelate-and-Excite(CoEx)と呼ぶエンドツーエンドネットワークを提案する。
論文 参考訳(メタデータ) (2021-08-12T14:32:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。