論文の概要: Bridging Modality Gap for Visual Grounding with Effecitve Cross-modal Distillation

• arxiv url: http://arxiv.org/abs/2312.17648v2
• Date: Sat, 6 Jul 2024 16:33:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-10 02:58:36.809464
• Title: Bridging Modality Gap for Visual Grounding with Effecitve Cross-modal Distillation
• Title（参考訳）: Effecitve クロスモーダル蒸留による視覚接地のためのブリジングモダリティギャップ
• Authors: Jiaxi Wang, Wenhui Hu, Xueyang Liu, Beihu Wu, Yuting Qiu, YingYing Cai,
• Abstract要約: 現在の視覚的接地法は、視覚的特徴と言語的特徴を得るために、訓練済みの視覚的および言語的バックボーンを独立して利用する。 この問題は、現在の視覚的接地法で使用されるシングルモーダルトレーニングバックボーン間のドメインギャップから生じる。 本稿では,視覚的グラウンド化作業の指針となるマルチモーダル事前学習モデルを蒸留する,視覚的グラウンド化のためのエンパワーディング事前学習モデルを提案する。
• 参考スコア（独自算出の注目度）: 2.104191333263349
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual grounding aims to align visual information of specific regions of images with corresponding natural language expressions. Current visual grounding methods leverage pre-trained visual and language backbones independently to obtain visual features and linguistic features. Although these two types of features are then fused through elaborately designed networks, the heterogeneity of the features renders them unsuitable for multi-modal reasoning. This problem arises from the domain gap between the single-modal pre-training backbones used in current visual grounding methods, which can hardly be bridged by the traditional end-to-end training method. To alleviate this, our work proposes an Empowering Pre-trained Model for Visual Grounding (EpmVG) framework, which distills a multimodal pre-trained model to guide the visual grounding task. EpmVG relies on a novel cross-modal distillation mechanism that can effectively introduce the consistency information of images and texts from the pre-trained model, reducing the domain gap in the backbone networks, and thereby improving the performance of the model in the visual grounding task. Extensive experiments have been conducted on five conventionally used datasets, and the results demonstrate that our method achieves better performance than state-of-the-art methods.
• Abstract（参考訳）: 視覚的グラウンドティングは、画像の特定の領域の視覚情報を対応する自然言語表現と整合させることを目的としている。 現在の視覚的接地法は、視覚的特徴と言語的特徴を得るために、訓練済みの視覚的および言語的バックボーンを独立して利用する。 これら2つの特徴は精巧に設計されたネットワークを通じて融合されるが、特徴の不均一性により、多モーダル推論には適さない。 この問題は、現在の視覚的接地法で使用される単一のモーダルな事前学習バックボーン間のドメインギャップから生じる。 そこで本研究では,マルチモーダルな事前学習モデルを用いて視覚的グラウンド化作業の指導を行うEmpowering Pre-trained Model for Visual Grounding (EpmVG) フレームワークを提案する。 EpmVGは、トレーニング済みのモデルから画像やテキストの一貫性情報を効果的に導入し、バックボーンネットワークのドメインギャップを小さくし、視覚的グラウンド処理におけるモデルの性能を向上させる、新しいクロスモーダル蒸留機構に依存している。 従来の5つのデータセットに対して大規模な実験を行い,本手法が最先端の手法よりも優れた性能を発揮することを示した。

関連論文リスト

• TALE: Training-free Cross-domain Image Composition via Adaptive Latent Manipulation and Energy-guided Optimization [59.412236435627094]
  TALEは、テキストから画像への拡散モデルの生成機能を利用する、トレーニング不要のフレームワークである。 TALEにはAdaptive Latent ManipulationとEnergy-Guided Latent Optimizationという2つのメカニズムが備わっている。 本実験は,TALEが従来のベースラインを超え,画像誘導合成における最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-08-07T08:52:21Z)
• HiVG: Hierarchical Multimodal Fine-grained Modulation for Visual Grounding [80.85164509232261]
  HiVGは多層適応型クロスモーダルブリッジと階層型マルチモーダル低ランク適応(HiLoRA)パラダイムで構成されている。 HiLoRAは、階層的な方法で、クロスモーダルな特徴を浅い層から深い層に適応させることによって、知覚エラーの蓄積を防止する。
  論文  参考訳（メタデータ） (2024-04-20T14:57:31Z)
• VLLaVO: Mitigating Visual Gap through LLMs [7.352822795984628]
  クロスドメイン学習は、トレーニングとテストデータのドメインシフトを減らすために、ドメイン不変の知識を抽出することを目的としている。 視覚言語モデルと大規模言語モデルを組み合わせたVLLaVOを提案する。
  論文  参考訳（メタデータ） (2024-01-06T16:33:39Z)
• Harnessing Diffusion Models for Visual Perception with Meta Prompts [68.78938846041767]
  本稿では,視覚知覚タスクの拡散モデルを用いた簡易かつ効果的な手法を提案する。 学習可能な埋め込み(メタプロンプト)を事前学習した拡散モデルに導入し、知覚の適切な特徴を抽出する。 提案手法は,NYU 深度 V2 と KITTI の深度推定タスク,および CityScapes のセマンティックセグメンテーションタスクにおいて,新しい性能記録を実現する。
  論文  参考訳（メタデータ） (2023-12-22T14:40:55Z)
• Weakly-Supervised Learning of Visual Relations in Multimodal Pretraining [25.11384964373604]
  マルチモーダルな設定で視覚的実体を文脈化するための2つの事前学習手法を提案する。 言語化されたシーングラフを用いて、視覚関係のトリプレットを構造化キャプションに変換し、それらを付加的な画像記述として扱う。 マスク付き関係予測では、視覚的にマスクされたコンテキストを持つ画像領域からのエンティティの関連性をさらに促進する。
  論文  参考訳（メタデータ） (2023-05-23T17:27:12Z)
• Grounding Language Models to Images for Multimodal Inputs and Outputs [89.30027812161686]
  本稿では,事前学習したテキストのみの言語モデルを視覚領域に最適化する効率的な手法を提案する。 任意にインターリーブされた画像とテキストデータを処理し、検索した画像とインターリーブされたテキストを生成する。
  論文  参考訳（メタデータ） (2023-01-31T18:33:44Z)
• Vision Learners Meet Web Image-Text Pairs [32.36188289972377]
  本研究では,ノイズの多いWebソースと画像テキストのペアデータに対する自己教師付き事前学習について検討する。 マスク付きトレーニング目標を用いたシングルモーダルトレーニングや,画像テキストコンストラシティブトレーニングを用いたマルチモーダルトレーニングなど,さまざまな手法を比較した。 我々は、スケーラブルなWebソース画像テキストデータから学習する新しいビジュアル表現事前学習手法MUlti-modal Generator(MUG)を提案する。
  論文  参考訳（メタデータ） (2023-01-17T18:53:24Z)
• mPLUG: Effective and Efficient Vision-Language Learning by Cross-modal Skip-connections [104.14624185375897]
  mPLUGは、クロスモーダルな理解と生成のための新しいビジョン言語基盤モデルである。 画像キャプション、画像テキスト検索、視覚的グラウンドリング、視覚的質問応答など、幅広い視覚言語下流タスクの最先端結果を達成する。
  論文  参考訳（メタデータ） (2022-05-24T11:52:06Z)
• Multimodal Contrastive Training for Visual Representation Learning [45.94662252627284]
  マルチモーダルデータを取り入れた視覚表現の学習手法を開発した。 本手法は,各モダリティおよびセマンティクス情報内の本質的なデータ特性をクロスモーダル相関から同時に利用する。 統合フレームワークにマルチモーダルトレーニングを組み込むことで,より強力で汎用的な視覚的特徴を学習することができる。
  論文  参考訳（メタデータ） (2021-04-26T19:23:36Z)
• Behind the Scene: Revealing the Secrets of Pre-trained Vision-and-Language Models [65.19308052012858]
  最近のTransformerベースの大規模事前学習モデルは、視覚言語(V+L)研究に革命をもたらした。 VALUEは,マルチモーダル事前学習における内部動作の解明を目的とした,精密に設計された探索タスクのセットである。 主要な観察:事前訓練されたモデルは、推論中の画像よりもテキストに出席する傾向を示す。
  論文  参考訳（メタデータ） (2020-05-15T01:06:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。