論文の概要: HiCLIP: Contrastive Language-Image Pretraining with Hierarchy-aware Attention

• arxiv url: http://arxiv.org/abs/2303.02995v1
• Date: Mon, 6 Mar 2023 09:44:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-07 16:33:09.830799
• Title: HiCLIP: Contrastive Language-Image Pretraining with Hierarchy-aware Attention
• Title（参考訳）: HiCLIP:階層認識によるコントラスト言語イメージ事前学習
• Authors: Shijie Geng, Jianbo Yuan, Yu Tian, Yuxiao Chen, Yongfeng Zhang
• Abstract要約: 階層対応のCLIP(Hierarchy-aware CLIP:HiCLIP)という,階層対応のCLIPの視覚と言語の両方を装備する。 HiCLIPは、画像とテキストの両方から階層構造を、教師なしの方法で徐々に発見する。 結果として、このような階層的な集約は、クロスモーダルアライメントを著しく改善する。
• 参考スコア（独自算出の注目度）: 38.9792837990585
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The success of large-scale contrastive vision-language pretraining (CLIP) has benefited both visual recognition and multimodal content understanding. The concise design brings CLIP the advantage in inference efficiency against other vision-language models with heavier cross-attention fusion layers, making it a popular choice for a wide spectrum of downstream tasks. However, CLIP does not explicitly capture the hierarchical nature of high-level and fine-grained semantics conveyed in images and texts, which is arguably critical to vision-language understanding and reasoning. To this end, we equip both the visual and language branches in CLIP with hierarchy-aware attentions, namely Hierarchy-aware CLIP (HiCLIP), to progressively discover semantic hierarchies layer-by-layer from both images and texts in an unsupervised manner. As a result, such hierarchical aggregation significantly improves the cross-modal alignment. To demonstrate the advantages of HiCLIP, we conduct qualitative analysis on its unsupervised hierarchy induction during inference, as well as extensive quantitative experiments on both visual recognition and vision-language downstream tasks.
• Abstract（参考訳）: 大規模コントラッシブ・ビジョン言語事前学習(CLIP)の成功は、視覚認識とマルチモーダルコンテンツ理解の両方の恩恵を受けている。 簡潔な設計により、CLIPは他の視覚言語モデルに対して、より重い相互注意融合層を持つモデルに対する推論効率の利点がもたらされる。 しかし、CLIPは画像やテキストで伝達される高レベルできめ細かい意味論の階層的な性質を明示的に捉えていない。 この目的のために,階層型CLIP (Hierarchy-aware CLIP, HiCLIP) の視覚と言語の両方のブランチに階層型アテンションを付加し,画像とテキストの両方から階層型セマンティック階層を段階的に発見する。 結果として、このような階層的な集約は、クロスモーダルアライメントを著しく改善する。 HiCLIPの利点を実証するために、推論中の教師なし階層化誘導に関する定性的な分析を行い、視覚認識と視覚言語下流タスクに関する広範な定量的実験を行った。

関連論文リスト

• HIP: Hierarchical Point Modeling and Pre-training for Visual Information Extraction [24.46493675079128]
  OCRに依存した手法はオフラインのOCRエンジンに依存し、OCRに依存しない手法は解釈性に欠ける出力や幻覚的内容を含む出力を生成する。 我々は, 階層的視点をモデルとしたHIPを提案し, エンドツーエンドのVIEタスクの階層的性質をよりよく適合させる。 具体的には、このような階層的な点は柔軟に符号化され、その後所望のテキスト書き起こし、地域の中心、エンティティのカテゴリにデコードされる。
  論文  参考訳（メタデータ） (2024-11-02T05:00:13Z)
• UMG-CLIP: A Unified Multi-Granularity Vision Generalist for Open-World Understanding [90.74967596080982]
  本稿では,マルチグラニュラリティアライメントを備えたコントラスト言語-画像事前学習(CLIP)を拡張した。 UMG-CLIPと呼ばれる統一多言語学習フレームワークを開発した。 パラメータ効率のよいチューニングにより、UMG-CLIPは、現在広く使われているCLIPの亜種を超え、多様な画像理解ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-01-12T06:35:09Z)
• HGCLIP: Exploring Vision-Language Models with Graph Representations for Hierarchical Understanding [18.95003393925676]
  異なる階層レベルでカテゴリを分類する場合、従来のユニモーダルアプローチは主にイメージ機能に焦点を当て、複雑なシナリオにおける制限を明らかにする。 ビジョンランゲージモデル(VLM)とクラス階層を統合する最近の研究は、将来性を示しているが、階層関係を完全に活用するには至っていない。 本稿では,CLIPとグラフ表現学習による階層型クラス構造のより深い活用を効果的に組み合わせた新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-23T15:42:42Z)
• Symmetrical Linguistic Feature Distillation with CLIP for Scene Text Recognition [77.93678598476149]
  CLIP-OCR(Symmetrical Linguistic Feature Distillation framework)を新たに構築する。 CLIP画像エンコーダを逆CLIPテキストエンコーダでカスケードすることにより、画像からテキストまでの特徴フローで対称構造を構築する。 大規模な実験では、CLIP-OCRが6つのSTRベンチマークで平均精度93.8%で有効であることが示されている。
  論文  参考訳（メタデータ） (2023-10-08T04:00:20Z)
• Structure-CLIP: Towards Scene Graph Knowledge to Enhance Multi-modal Structured Representations [70.41385310930846]
  マルチモーダルな構造表現を強化するためのエンドツーエンドフレームワークであるStructure-CLIPを提案する。 シーングラフを用いてセマンティックなネガティブな例の構築をガイドし、その結果、構造化された表現の学習に重点を置いている。 知識エンハンス(KEE)は、SGKを入力として活用し、構造化表現をさらに強化するために提案される。
  論文  参考訳（メタデータ） (2023-05-06T03:57:05Z)
• GridCLIP: One-Stage Object Detection by Grid-Level CLIP Representation Learning [55.77244064907146]
  一段階検出器GridCLIPはグリッドレベルの表現を学習し、一段階検出学習の本質的な原理に適応する。 実験により、学習したCLIPベースのグリッドレベル表現は、アンダーサンプリングされた(稀で新しい)カテゴリのパフォーマンスを高めることが示された。
  論文  参考訳（メタデータ） (2023-03-16T12:06:02Z)
• Non-Contrastive Learning Meets Language-Image Pre-Training [145.6671909437841]
  非コントラスト型言語画像事前学習(nCLIP)の有効性について検討する。 我々は、CLIPとnCLIPを組み合わせたマルチタスクフレームワークであるxCLIPを紹介し、nCLIPが機能セマンティクスの強化にCLIPを支援することを示す。
  論文  参考訳（メタデータ） (2022-10-17T17:57:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。