論文の概要: LoopITR: Combining Dual and Cross Encoder Architectures for Image-Text
Retrieval
- arxiv url: http://arxiv.org/abs/2203.05465v1
- Date: Thu, 10 Mar 2022 16:41:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-11 13:17:40.771770
- Title: LoopITR: Combining Dual and Cross Encoder Architectures for Image-Text
Retrieval
- Title(参考訳): loopitr: 画像テキスト検索のためのデュアルエンコーダとクロスエンコーダの組み合わせ
- Authors: Jie Lei, Xinlei Chen, Ning Zhang, Mengjiao Wang, Mohit Bansal, Tamara
L. Berg, Licheng Yu
- Abstract要約: 共同学習のためのネットワークにおいて,デュアルエンコーダとクロスエンコーダを組み合わせたLoopITRを提案する。
具体的には、二重エンコーダをクロスエンコーダに強陰性を与え、より識別性の高いクロスエンコーダを用いてその予測を二重エンコーダに戻す。
- 参考スコア(独自算出の注目度): 117.15862403330121
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Dual encoders and cross encoders have been widely used for image-text
retrieval. Between the two, the dual encoder encodes the image and text
independently followed by a dot product, while the cross encoder jointly feeds
image and text as the input and performs dense multi-modal fusion. These two
architectures are typically modeled separately without interaction. In this
work, we propose LoopITR, which combines them in the same network for joint
learning. Specifically, we let the dual encoder provide hard negatives to the
cross encoder, and use the more discriminative cross encoder to distill its
predictions back to the dual encoder. Both steps are efficiently performed
together in the same model. Our work centers on empirical analyses of this
combined architecture, putting the main focus on the design of the distillation
objective. Our experimental results highlight the benefits of training the two
encoders in the same network, and demonstrate that distillation can be quite
effective with just a few hard negative examples. Experiments on two standard
datasets (Flickr30K and COCO) show our approach achieves state-of-the-art dual
encoder performance when compared with approaches using a similar amount of
data.
- Abstract(参考訳): デュアルエンコーダとクロスエンコーダは画像テキスト検索に広く利用されている。
この2つの間、デュアルエンコーダは、画像とテキストを独立にドット積で符号化し、クロスエンコーダは、画像とテキストを入力として共同供給し、密集したマルチモーダル融合を行う。
これらの2つのアーキテクチャは通常、相互作用なしで個別にモデル化される。
そこで本研究では,共学学習のために同じネットワークで組み合わせたloopitrを提案する。
具体的には、二重エンコーダをクロスエンコーダに強陰性を与え、より識別性の高いクロスエンコーダを用いてその予測を二重エンコーダに戻す。
どちらのステップも同じモデルで効率的に実行される。
本研究は, この組み合わせアーキテクチャの実証分析を中心とし, 蒸留目標の設計に重点を置いている。
実験の結果、同一ネットワーク上で2つのエンコーダをトレーニングする利点を強調し、蒸留が非常に効果的であることを示す。
2つの標準データセット(Flickr30KとCOCO)で実験したところ、同様の量のデータを用いたアプローチと比較して、最先端のデュアルエンコーダの性能が得られた。
関連論文リスト
- How to Make Cross Encoder a Good Teacher for Efficient Image-Text Retrieval? [99.87554379608224]
クロスエンコーダのクロスモーダル類似度スコア分布は、二重エンコーダの結果がほぼ正常である間により集中する。
強陰性間の相対的な順序だけが有効な知識を伝達する一方、容易な負性間の順序情報はほとんど意味を持たない。
本研究では, コントラスト学習を用いて, 硬質負試料間の相対的な順序を模倣することを目的とした, コントラスト部分式蒸留法を提案する。
論文 参考訳(メタデータ) (2024-07-10T09:10:01Z) - Faster Diffusion: Rethinking the Role of UNet Encoder in Diffusion
Models [95.47438940934413]
UNetエンコーダの最初の包括的な研究を行う。
エンコーダの特徴は緩やかに変化するが,デコーダの特徴は時間経過によって大きく変化する。
伝搬方式の利点を生かして,特定の時間ステップでデコーダを並列に実行することが可能となる。
論文 参考訳(メタデータ) (2023-12-15T08:46:43Z) - Triple-View Knowledge Distillation for Semi-Supervised Semantic
Segmentation [54.23510028456082]
半教師付きセマンティックセグメンテーションのためのトリプルビュー知識蒸留フレームワークTriKDを提案する。
このフレームワークは、トリプルビューエンコーダとデュアル周波数デコーダを含む。
論文 参考訳(メタデータ) (2023-09-22T01:02:21Z) - Cross-stitching Text and Knowledge Graph Encoders for Distantly
Supervised Relation Extraction [30.274065305756057]
テキストと知識グラフ(KG)に見られる相補的情報を活用するために,遠隔教師付き関係抽出のためのバイエンコーダアーキテクチャを設計する
本稿では,テキストエンコーダとKGエンコーダのクロススティッチ機構による完全なインタラクションを実現するクロススティッチバイエンコーダを提案する。
論文 参考訳(メタデータ) (2022-11-02T19:01:26Z) - Distilled Dual-Encoder Model for Vision-Language Understanding [50.42062182895373]
本稿では,視覚言語理解タスクのためのデュアルエンコーダモデルをトレーニングするための多モードアテンション蒸留フレームワークを提案する。
プレトレーニングと微調整の両方にクロスモーダルアテンション蒸留を適用することで,さらなる改良が期待できることを示す。
論文 参考訳(メタデータ) (2021-12-16T09:21:18Z) - Crosslink-Net: Double-branch Encoder Segmentation Network via Fusing
Vertical and Horizontal Convolutions [58.71117402626524]
医用画像分割のための新しいダブルブランチエンコーダアーキテクチャを提案する。
1)正方形畳み込みカーネルによる特徴の識別をさらに改善する必要があるため,非正方形および水平畳み込みカーネルの利用を提案する。
実験では,4つのデータセット上でのモデルの有効性を検証した。
論文 参考訳(メタデータ) (2021-07-24T02:58:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。