論文の概要: IDEA: Increasing Text Diversity via Online Multi-Label Recognition for Vision-Language Pre-training

• arxiv url: http://arxiv.org/abs/2207.05333v1
• Date: Tue, 12 Jul 2022 06:14:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-14 00:45:15.116860
• Title: IDEA: Increasing Text Diversity via Online Multi-Label Recognition for Vision-Language Pre-training
• Title（参考訳）: 視覚言語事前学習のためのオンラインマルチラベル認識によるテキスト多様性の向上
• Authors: Xinyu Huang, Youcai Zhang, Ying Cheng, Weiwei Tian, Ruiwei Zhao, Rui Feng, Yuejie Zhang, Yaqian Li, Yandong Guo, Xiaobo Zhang
• Abstract要約: IDEAは、Vision-Language事前トレーニングのためのオンラインマルチラベル認識を通じて、テキストの多様性を高めるためのものだ。 IDEAは、少ない計算コストで、複数の下流データセットのパフォーマンスを大幅に向上させることができることを示す。
• 参考スコア（独自算出の注目度）: 18.898969509263804
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-Language Pre-training (VLP) with large-scale image-text pairs has demonstrated superior performance in various fields. However, the image-text pairs co-occurrent on the Internet typically lack explicit alignment information, which is suboptimal for VLP. Existing methods proposed to adopt an off-the-shelf object detector to utilize additional image tag information. However, the object detector is time-consuming and can only identify the pre-defined object categories, limiting the model capacity. Inspired by the observation that the texts incorporate incomplete fine-grained image information, we introduce IDEA, which stands for increasing text diversity via online multi-label recognition for VLP. IDEA shows that multi-label learning with image tags extracted from the texts can be jointly optimized during VLP. Moreover, IDEA can identify valuable image tags online to provide more explicit textual supervision. Comprehensive experiments demonstrate that IDEA can significantly boost the performance on multiple downstream datasets with a small extra computational cost.
• Abstract（参考訳）: 大規模画像テキストペアを用いたVLP(Vision-Language Pre-Training)は,様々な分野で優れた性能を示した。 しかし、画像とテキストのペアは、通常、VLPに最適である明示的なアライメント情報を欠いている。 画像タグ情報を活用するために、既製の物体検出装置を採用する方法が提案されている。 しかし、オブジェクト検出器は時間を要するため、事前定義されたオブジェクトカテゴリのみを識別でき、モデルの容量を制限できる。 テキストに不完全な細かな画像情報が含まれているという観察に触発されて,vlpのオンラインマルチラベル認識によるテキスト多様性の増大を意味するideaを紹介する。 IDEAは、テキストから抽出した画像タグを用いたマルチラベル学習を、VLP中に共同で最適化可能であることを示す。 さらにIDEAは、オンラインで貴重なイメージタグを識別して、より明確なテキスト管理を提供する。 包括的な実験によって、複数のダウンストリームデータセットのパフォーマンスを、少ない計算コストで大幅に向上させることができることが示されている。

関連論文リスト

• AdaptVision: Dynamic Input Scaling in MLLMs for Versatile Scene Understanding [96.01726275876548]
  本稿では,様々な解像度の入力画像を動的に処理するマルチモーダルな大規模言語モデルAdaptVisionを提案する。 画像のサイズやアスペクト比に応じて視覚トークンの数を調整する動的画像分割モジュールを考案する。 私たちのモデルは、解像度1008倍の1008ドルまでの画像を処理できます。
  論文  参考訳（メタデータ） (2024-08-30T03:16:49Z)
• Text Data-Centric Image Captioning with Interactive Prompts [20.48013600818985]
  画像キャプションの監視手法は大きな進歩を遂げているが,高品質な人手による画像テキストデータの収集は困難である。 本稿では,Interactive Prompts を用いた新しいテキストデータ中心型画像キャプタリング手法 TIPCap を提案する。
  論文  参考訳（メタデータ） (2024-03-28T07:43:49Z)
• Enhancing Visual Document Understanding with Contrastive Learning in Large Visual-Language Models [56.76307866160105]
  文書オブジェクト協調学習(Document Object Contrastive Learning, DoCo)と呼ばれる対照的な学習フレームワークを提案する。 DoCoは補助的なマルチモーダルエンコーダを利用して文書オブジェクトの特徴を取得し、それをLVLM(Large Visual-Language Models)の視覚エンコーダによって生成された視覚的特徴に合わせる。 提案するDoCoは,様々なLVLMの事前学習において,推論過程における計算複雑性の増大を招くことなく,プラグイン・アンド・プレイの事前学習手法として機能することが実証された。
  論文  参考訳（メタデータ） (2024-02-29T10:17:27Z)
• LPN: Language-guided Prototypical Network for few-shot classification [16.37959398470535]
  ラベル付き例を限定して、新しいタスクに適応することを目的としている。 近年の手法では,クエリとサポート画像の類似性の適切な測定方法が検討されている。 本稿では,言語誘導型プロトタイプネットワーク(LPN)を提案する。
  論文  参考訳（メタデータ） (2023-07-04T06:54:01Z)
• Texts as Images in Prompt Tuning for Multi-Label Image Recognition [70.9310322461598]
  我々は、画像テキストのコントラスト学習により、テキストを画像として扱うことができ、即時チューニングやTaIプロンプトの導入が可能であることを主張する。 特にTaIプロンプトをマルチラベル画像認識に適用し、野生の文が画像の代替として機能し、迅速なチューニングを行う。 提案したTaI-DPTは,複数ベンチマークで0ショットCLIPよりも高い性能を示した。
  論文  参考訳（メタデータ） (2022-11-23T07:00:11Z)
• MAGIC: Multimodal relAtional Graph adversarIal inferenCe for Diverse and Unpaired Text-based Image Captioning [46.4308182215488]
  テキストベースの画像は、豊富で複雑なマルチモーダルリレーショナルコンテンツを直感的に含む。 マルチモーダル relAtional Graph adversarIal inferenCe framework for various and unpaired TextCap。 画像の異なる関係情報項目から多種多様なキャプションを生成するためのMAGICの有効性を検証する。
  論文  参考訳（メタデータ） (2021-12-13T11:00:49Z)
• CRIS: CLIP-Driven Referring Image Segmentation [71.56466057776086]
  エンドツーエンドのCLIP駆動参照画像フレームワーク(CRIS)を提案する。 CRISは、テキストとピクセルのアライメントを達成するために、視覚言語によるデコーディングとコントラスト学習に頼っている。 提案するフレームワークは, 後処理を伴わずに, 最先端の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2021-11-30T07:29:08Z)
• Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision [57.031588264841]
  高価なフィルタリングや後処理のステップを使わずに得られる10億以上の画像アルトテキストペアのノイズの多いデータセットを活用します。 単純なデュアルエンコーダアーキテクチャは、画像とテキストペアの視覚的および言語的表現を、対照的な損失を使って整列させることを学ぶ。 コーパスのスケールはノイズを補うことができ、そのような単純な学習方式であっても最先端の表現に繋がることを示す。
  論文  参考訳（メタデータ） (2021-02-11T10:08:12Z)
• Improving Image Captioning with Better Use of Captions [65.39641077768488]
  本稿では,画像表現とキャプション生成の両方を強化するために,キャプションで利用可能なセマンティクスをよりよく探求するための新しい画像キャプションアーキテクチャを提案する。 我々のモデルはまず,弱教師付きマルチインスタンス学習を用いて,有益な帰納バイアスをもたらすキャプション誘導型視覚関係グラフを構築した。 生成期間中、このモデルは、単語とオブジェクト/述語タグのシーケンスを共同で予測するために、マルチタスク学習を用いた視覚関係をさらに取り入れる。
  論文  参考訳（メタデータ） (2020-06-21T14:10:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。