論文の概要: Superpixel Semantics Representation and Pre-training for Vision-Language Task

• arxiv url: http://arxiv.org/abs/2310.13447v3
• Date: Sun, 21 Jul 2024 15:38:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 05:26:51.583668
• Title: Superpixel Semantics Representation and Pre-training for Vision-Language Task
• Title（参考訳）: ビジョンランゲージタスクのためのスーパーピクセルセマンティック表現と事前学習
• Authors: Siyu Zhang, Yeming Chen, Yaoru Sun, Fang Wang, Jun Yang, Lizhi Bai, Shangce Gao,
• Abstract要約: 画像空間における粗い粒度のセマンティックな相互作用は無視するべきではない。 本稿では,スーパーピクセルを包括的で堅牢なビジュアルプリミティブとして提案する。 画像全体を細粒度で粗い視覚階層として解析することができる。
• 参考スコア（独自算出の注目度）: 11.029236633301222
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The key to integrating visual language tasks is to establish a good alignment strategy. Recently, visual semantic representation has achieved fine-grained visual understanding by dividing grids or image patches. However, the coarse-grained semantic interactions in image space should not be ignored, which hinders the extraction of complex contextual semantic relations at the scene boundaries. This paper proposes superpixels as comprehensive and robust visual primitives, which mine coarse-grained semantic interactions by clustering perceptually similar pixels, speeding up the subsequent processing of primitives. To capture superpixel-level semantic features, we propose a Multiscale Difference Graph Convolutional Network (MDGCN). It allows parsing the entire image as a fine-to-coarse visual hierarchy. To reason actual semantic relations, we reduce potential noise interference by aggregating difference information between adjacent graph nodes. Finally, we propose a multi-level fusion rule in a bottom-up manner to avoid understanding deviation by mining complementary spatial information at different levels. Experiments show that the proposed method can effectively promote the learning of multiple downstream tasks. Encouragingly, our method outperforms previous methods on all metrics. Our code will be released upon publication.
• Abstract（参考訳）: 視覚言語タスクを統合するための鍵は、優れたアライメント戦略を確立することです。 近年、視覚的意味表現は、グリッドや画像パッチを分割することで、きめ細やかな視覚的理解を実現している。 しかし、画像空間における粗粒度の意味的相互作用は無視されるべきではなく、シーン境界における複雑な文脈的意味的関係の抽出を妨げる。 本稿では,スーパーピクセルを包括的かつ堅牢な視覚的プリミティブとして提案し,知覚的に類似したピクセルをクラスタリングすることで粗粒度の意味的相互作用をマイニングし,その後のプリミティブ処理を高速化する。 スーパーピクセルレベルのセマンティックな特徴を捉えるために,MDGCN (Multiscale Different Graph Convolutional Network) を提案する。 画像全体を細粒度で粗い視覚階層として解析することができる。 実際の意味関係を推論するために、隣接グラフノード間の差分情報を集約することにより、潜在的なノイズ干渉を低減する。 最後に, 相補的な空間情報を異なるレベルでマイニングすることで, 偏差の理解を避けるため, ボトムアップ方式で多層融合ルールを提案する。 実験の結果,提案手法は複数の下流タスクの学習を効果的に促進できることがわかった。 当社の手法は,すべての指標において,従来の手法よりも優れています。 私たちのコードは出版時に公開される。

関連論文リスト

• Improving fine-grained understanding in image-text pre-training [37.163228122323865]
  SPARse Fine-fine Contrastive Alignment (SPARC) は、画像とテキストのペアからよりきめ細かなマルチモーダル表現を事前学習する簡単な方法である。 粗い情報に依存した画像レベルのタスクに対して、競合するアプローチよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-01-18T10:28:45Z)
• Learning Semantic Segmentation with Query Points Supervision on Aerial Images [57.09251327650334]
  セマンティックセグメンテーションアルゴリズムを学習するための弱教師付き学習アルゴリズムを提案する。 提案手法は正確なセマンティックセグメンテーションを行い,手作業のアノテーションに要するコストと時間を大幅に削減することで効率を向上する。
  論文  参考訳（メタデータ） (2023-09-11T14:32:04Z)
• Edge Guided GANs with Multi-Scale Contrastive Learning for Semantic Image Synthesis [139.2216271759332]
  本稿では,難解なセマンティック画像合成タスクのための新しいECGANを提案する。 セマンティックラベルは詳細な構造情報を提供しておらず、局所的な詳細や構造を合成することは困難である。 畳み込み、ダウンサンプリング、正規化といった広く採用されているCNN操作は、通常、空間分解能の損失を引き起こす。 本稿では,同じセマンティッククラスに属する画素埋め込みを強制して,より類似した画像コンテンツを生成することを目的とした,新しいコントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2023-07-22T14:17:19Z)
• Fine-Grained Semantically Aligned Vision-Language Pre-Training [151.7372197904064]
  大規模な視覚言語による事前学習は、幅広い下流タスクにおいて顕著な進歩を見せている。 既存の手法は主に、画像とテキストのグローバルな表現の類似性によって、モーダル間のアライメントをモデル化する。 ゲーム理論的相互作用の新たな視点から, 微粒なセマンティックアライメントを学習する, 微粒なセマンティックなvisiOn-langUage PrEトレーニングフレームワークであるLOを導入する。
  論文  参考訳（メタデータ） (2022-08-04T07:51:48Z)
• Maximize the Exploration of Congeneric Semantics for Weakly Supervised Semantic Segmentation [27.155133686127474]
  グラフニューラルネットワーク(P-GNN)を,同一のクラスラベルを含む異なる画像からの自己検出パッチに基づいて構築する。 PASCAL VOC 2012ベンチマークで実験を行い、そのモデルにより最先端の性能が得られた。
  論文  参考訳（メタデータ） (2021-10-08T08:59:16Z)
• Unsupervised Image Segmentation by Mutual Information Maximization and Adversarial Regularization [7.165364364478119]
  InMARS(Information Maximization and Adrial Regularization)と呼ばれる新しい教師なしセマンティックセマンティックセマンティクス手法を提案する。 シーンを知覚群に解析する人間の知覚に触発され、提案手法はまず、入力画像を意味のある領域(スーパーピクセルとも呼ばれる)に分割する。 次に、相互情報最大化(Multual-Information-Maximization)と、それらの領域を意味論的に意味のあるクラスにクラスタ化するための敵対的トレーニング戦略を利用する。 提案手法は2つの非教師付きセマンティックセグメンテーションデータセット上での最先端性能を実現することを実証した。
  論文  参考訳（メタデータ） (2021-07-01T18:36:27Z)
• Exploring Cross-Image Pixel Contrast for Semantic Segmentation [130.22216825377618]
  完全教師付きセッティングにおけるセマンティックセグメンテーションのための画素単位のコントラストフレームワークを提案する。 中心となる考え方は、同じセマンティッククラスに属するピクセルの埋め込みを、異なるクラスの埋め込みよりもよく似ているように強制することである。 テスト中に余分なオーバーヘッドを伴わずに既存のセグメンテーションフレームワークに懸命に組み込むことができる。
  論文  参考訳（メタデータ） (2021-01-28T11:35:32Z)
• AINet: Association Implantation for Superpixel Segmentation [82.21559299694555]
  今回提案する新しいtextbfAssociation textbfImplantation(AI)モジュールは、ネットワークがピクセルとその周辺グリッド間の関係を明示的にキャプチャすることを可能にする。 本手法は最先端性能を実現するだけでなく,十分な推論効率を維持することができた。
  論文  参考訳（メタデータ） (2021-01-26T10:40:13Z)
• Group-Wise Semantic Mining for Weakly Supervised Semantic Segmentation [49.90178055521207]
  この研究は、画像レベルのアノテーションとピクセルレベルのセグメンテーションのギャップを埋めることを目標に、弱い監督されたセマンティックセグメンテーション(WSSS)に対処する。 画像群における意味的依存関係を明示的にモデル化し,より信頼性の高い擬似的基盤構造を推定する,新たなグループ学習タスクとしてWSSSを定式化する。 特に、入力画像がグラフノードとして表現されるグループ単位のセマンティックマイニングのためのグラフニューラルネットワーク(GNN)を考案する。
  論文  参考訳（メタデータ） (2020-12-09T12:40:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。