論文の概要: Thinking Fast and Slow: Efficient Text-to-Visual Retrieval with Transformers

• arxiv url: http://arxiv.org/abs/2103.16553v1
• Date: Tue, 30 Mar 2021 17:57:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-31 14:48:38.025926
• Title: Thinking Fast and Slow: Efficient Text-to-Visual Retrieval with Transformers
• Title（参考訳）: トランスフォーマーを用いたテキストから視覚への効率的な検索
• Authors: Antoine Miech, Jean-Baptiste Alayrac, Ivan Laptev, Josef Sivic, Andrew Zisserman
• Abstract要約: 目的は,大規模画像とビデオデータセットの言語検索である。 このタスクでは、独立してテキストとビジョンを共同埋め込み空間 a.k.a にマッピングする。 デュアルエンコーダは 検索スケールとして魅力的です 視覚テキスト変換器をクロスアテンションで使用する別のアプローチは、関節埋め込みよりも精度が大幅に向上する。
• 参考スコア（独自算出の注目度）: 115.90778814368703
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Our objective is language-based search of large-scale image and video datasets. For this task, the approach that consists of independently mapping text and vision to a joint embedding space, a.k.a. dual encoders, is attractive as retrieval scales and is efficient for billions of images using approximate nearest neighbour search. An alternative approach of using vision-text transformers with cross-attention gives considerable improvements in accuracy over the joint embeddings, but is often inapplicable in practice for large-scale retrieval given the cost of the cross-attention mechanisms required for each sample at test time. This work combines the best of both worlds. We make the following three contributions. First, we equip transformer-based models with a new fine-grained cross-attention architecture, providing significant improvements in retrieval accuracy whilst preserving scalability. Second, we introduce a generic approach for combining a Fast dual encoder model with our Slow but accurate transformer-based model via distillation and re-ranking. Finally, we validate our approach on the Flickr30K image dataset where we show an increase in inference speed by several orders of magnitude while having results competitive to the state of the art. We also extend our method to the video domain, improving the state of the art on the VATEX dataset.
• Abstract（参考訳）: 目的は,大規模画像とビデオデータセットの言語検索である。 このタスクでは、テキストと視覚を共同埋め込み空間(a.k.a)に独立にマッピングする。 二重エンコーダは検索スケールとして魅力的であり、数十億もの画像に対して近接探索を用いて効率的である。 クロスアテンションを用いた視覚テキストトランスフォーマーの代替手法は、ジョイント埋め込みよりも精度が大幅に向上するが、テスト時に各サンプルに必要なクロスアテンション機構のコストを考えると、大規模な検索には適用できないことが多い。 この作品は両世界の長所を兼ね備えている。 私たちは以下の3つの貢献をします。 まず,トランスフォーマーモデルに新しい細粒度クロス・アテンション・アーキテクチャを適用し,スケーラビリティを維持しつつ検索精度を大幅に向上させた。 第2に,高速二重エンコーダモデルと,蒸留と再ランキングによる低速で高精度なトランスフォーマモデルを組み合わせた汎用的アプローチを提案する。 最後に,flickr30k画像データセットにおける提案手法の有効性を検証する。 また,本手法をビデオ領域に拡張し,VATEXデータセット上の技術状況を改善する。

関連論文リスト

• S^2Former-OR: Single-Stage Bi-Modal Transformer for Scene Graph Generation in OR [50.435592120607815]
  外科手術のシーングラフ生成(SGG)は、手術室(OR)におけるホモロジー認知知能の増強に不可欠である これまでの研究は主に多段階学習に依存しており、生成したセマンティックシーングラフはポーズ推定とオブジェクト検出を伴う中間プロセスに依存している。 本研究では,S2Former-OR(S2Former-OR)と呼ばれるORにおけるSGGのための新しいシングルステージバイモーダルトランスフォーマフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-22T11:40:49Z)
• Contrastive Transformer Learning with Proximity Data Generation for Text-Based Person Search [60.626459715780605]
  記述的なテキストクエリーを与えられたテキストベースの人物検索は、画像ギャラリーからベストマッチした人物を検索することを目的としている。 このようなクロスモーダル検索タスクは、重要なモダリティギャップ、きめ細かい相違、注釈付きデータの不十分さのため、かなり難しい。 本稿では,テキストに基づく人物検索のための2つのトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2023-11-15T16:26:49Z)
• Transformer-based Image Generation from Scene Graphs [11.443097632746763]
  グラフ構造化シーン記述は、生成した画像の合成を制御するために、生成モデルで効率的に使用することができる。 従来のアプローチは、グラフ畳み込みネットワークと、レイアウト予測と画像生成のための逆法の組み合わせに基づいている。 グラフ情報の符号化にマルチヘッドアテンションを用いることにより,サンプルデータの品質が向上することを示す。
  論文  参考訳（メタデータ） (2023-03-08T14:54:51Z)
• Fast Non-Rigid Radiance Fields from Monocularized Data [66.74229489512683]
  本稿では,不規則に変形するシーンを360度内向きに合成する新しい手法を提案する。 提案手法のコアとなるのは, 空間情報と時間情報の処理を分離し, 訓練と推論を高速化する効率的な変形モジュール, 2) 高速ハッシュ符号化ニューラルラジオアンスフィールドとしての標準シーンを表す静的モジュールである。 どちらの場合も,本手法は従来の手法よりもはるかに高速で,7分未満で収束し,1K解像度でリアルタイムのフレームレートを実現するとともに,生成した新規なビューに対して高い視覚的精度が得られる。
  論文  参考訳（メタデータ） (2022-12-02T18:51:10Z)
• CroCo v2: Improved Cross-view Completion Pre-training for Stereo Matching and Optical Flow [22.161967080759993]
  自己教師付き事前学習法は、ステレオマッチングや光学フローのような密集した幾何学的視覚タスクでは、まだ提供されていない。 我々は、同じシーンから2番目のビューを利用するマスク付き画像モデリングのバリエーションである、最近のクロスビュー補完フレームワークの上に構築する。 本稿では,ステレオマッチングと光学的流れに関する最先端の成果を,従来のタスク固有の手法を使わずに到達できることを初めて示す。
  論文  参考訳（メタデータ） (2022-11-18T18:18:53Z)
• ProFormer: Learning Data-efficient Representations of Body Movement with Prototype-based Feature Augmentation and Visual Transformers [31.908276711898548]
  身体からのデータ効率の高い認識法は、画像のような配列として構造化された骨格配列をますます活用している。 我々は、このパラダイムをトランスフォーマーネットワークの観点から見て、初めて、骨格運動のデータ効率の高いエンコーダとして視覚トランスフォーマーを探索する。 私たちのパイプラインでは、画像のような表現としてキャストされたボディポーズシーケンスをパッチ埋め込みに変換し、深いメトリック学習に最適化されたビジュアルトランスフォーマーバックボーンに渡します。
  論文  参考訳（メタデータ） (2022-02-23T11:11:54Z)
• Space-time Mixing Attention for Video Transformer [55.50839896863275]
  本稿では,ビデオシーケンス内のフレーム数と線形にスケールする複雑性をビデオトランスフォーマーモデルとして提案する。 我々は,最も人気のあるビデオ認識データセットに対して,認識精度が非常に高いことを実証した。
  論文  参考訳（メタデータ） (2021-06-10T17:59:14Z)
• Retrieve Fast, Rerank Smart: Cooperative and Joint Approaches for Improved Cross-Modal Retrieval [80.35589927511667]
  画像中のすべての単語やオブジェクトに係わるクロスアテンション機構を備えたTransformerベースのアーキテクチャを頼りに、クロスモーダル検索プロセスのテキストとビジュアルインプットへの最先端のアプローチ。 事前学習したテキスト画像のマルチモーダルモデルを効率的な検索モデルに変換する新しい微調整フレームワークを提案する。 我々は,モノリンガル,マルチリンガル,ゼロショットにおける一連の標準クロスモーダル検索ベンチマーク実験を行い,最先端クロスエンコーダに対する精度向上と大幅な効率向上を実証した。
  論文  参考訳（メタデータ） (2021-03-22T15:08:06Z)
• Attention-Based Multimodal Image Matching [16.335191345543063]
  本稿では,Transformerエンコーダを用いたマルチモーダル画像パッチマッチングのためのアテンションベースアプローチを提案する。 このエンコーダは,タスク固有の外見不変のイメージキューを強調しつつ,マルチスケールな画像埋め込みを効率的に集約する。 これはTransformerエンコーダアーキテクチャをマルチモーダル画像パッチマッチングタスクに実装した最初の成功例である。
  論文  参考訳（メタデータ） (2021-03-20T21:14:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。