論文の概要: Proposal-free One-stage Referring Expression via Grid-Word Cross-Attention

• arxiv url: http://arxiv.org/abs/2105.02061v1
• Date: Wed, 5 May 2021 13:53:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-06 12:46:37.183481
• Title: Proposal-free One-stage Referring Expression via Grid-Word Cross-Attention
• Title（参考訳）: グリッドワードクロスアテンションによる一段階参照表現の提案
• Authors: Wei Suo, Mengyang Sun, Peng Wang, Qi Wu
• Abstract要約: 参照表現(REC)は視覚的推論において最も重要なタスクの1つとなっている。 大量のコストと避けられないエラーの蓄積に悩まされているため、多くの下流タスクでは広く使われていない。 本稿では,画像から興味のある領域を後退させることができる提案フリーの一段階(pfos)モデルを提案する。
• 参考スコア（独自算出の注目度）: 17.564650990204118
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Referring Expression Comprehension (REC) has become one of the most important tasks in visual reasoning, since it is an essential step for many vision-and-language tasks such as visual question answering. However, it has not been widely used in many downstream tasks because it suffers 1) two-stage methods exist heavy computation cost and inevitable error accumulation, and 2) one-stage methods have to depend on lots of hyper-parameters (such as anchors) to generate bounding box. In this paper, we present a proposal-free one-stage (PFOS) model that is able to regress the region-of-interest from the image, based on a textual query, in an end-to-end manner. Instead of using the dominant anchor proposal fashion, we directly take the dense-grid of an image as input for a cross-attention transformer that learns grid-word correspondences. The final bounding box is predicted directly from the image without the time-consuming anchor selection process that previous methods suffer. Our model achieves the state-of-the-art performance on four referring expression datasets with higher efficiency, comparing to previous best one-stage and two-stage methods.
• Abstract（参考訳）: 表現理解(rec)を参照することは、視覚的な推論において最も重要なタスクの1つとなっている。 しかし,1) 2段階の手法は計算コストと避けられないエラー蓄積が存在し,2) 1段階の手法はバウンディングボックスを生成するために多数のハイパーパラメータ(アンカーなど)に依存する必要があるため,下流タスクでは広く使われていない。 本稿では,テキストクエリに基づいて画像から関心領域を回帰させることができる提案不要の一段階(pfos)モデルを提案する。 主流のアンカー提案方式の代わりに,グリッドワード対応を学習するクロスアテンション変換器の入力として,画像の高密度グリッドを直接利用する。 最終バウンディングボックスは、以前の手法が苦しむ時間を要するアンカー選択プロセスなしで、画像から直接予測される。 従来の1段階および2段階の手法と比較して,4つの参照式データセットにおける最先端のパフォーマンスを高い効率で達成する。

関連論文リスト

• MoTaDual: Modality-Task Dual Alignment for Enhanced Zero-shot Composed Image Retrieval [20.612534837883892]
  Composed Image Retrieval (CIR) は、ターゲット画像の検索にバイモーダル(image+text)クエリを利用する、難しい視覚言語タスクである。 本稿では,両者の相違に対処するための2段階の枠組みを提案する。 MoTaDualは、トレーニング時間と計算コストを低く保ちながら、4つの広く使用されているZS-CIRベンチマークで最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-10-31T08:49:05Z)
• Iterative Object Count Optimization for Text-to-image Diffusion Models [59.03672816121209]
  画像とテキストのペアから学ぶ現在のモデルは、本質的にカウントに苦慮している。 本稿では,物体のポテンシャルを集計する計数モデルから得られた計数損失に基づいて生成画像の最適化を提案する。 様々なオブジェクトの生成を評価し,精度を大幅に向上させた。
  論文  参考訳（メタデータ） (2024-08-21T15:51:46Z)
• Enhancing Image Layout Control with Loss-Guided Diffusion Models [0.0]
  拡散モデルは単純なテキストプロンプトを用いて純粋なノイズから高品質な画像を生成する。 これらの手法のサブセットは、モデルの注意機構を利用しており、トレーニングフリーである。 本稿では,これらの手法を補完的な特徴を強調した解釈を行い,両手法がコンサートで使用される場合,優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-05-23T02:08:44Z)
• DivCon: Divide and Conquer for Progressive Text-to-Image Generation [0.0]
  拡散駆動型テキスト・ツー・イメージ(T2I)生成は顕著な進歩を遂げた。 レイアウトは、大きな言語モデルとレイアウトベースの拡散モデルを橋渡しするためのインターメジウムとして使用される。 本稿では,T2I生成タスクを単純なサブタスクに分解する分割対コンカレント手法を提案する。
  論文  参考訳（メタデータ） (2024-03-11T03:24:44Z)
• If at First You Don't Succeed, Try, Try Again: Faithful Diffusion-based Text-to-Image Generation by Selection [53.320946030761796]
  拡散ベースのテキスト・トゥ・イメージ(T2I)モデルは、テキスト・プロンプトへの忠実さを欠く可能性がある。 大規模なT2I拡散モデルは通常想定されるよりも忠実であり、複雑なプロンプトに忠実な画像を生成することができることを示す。 本稿では,テキストプロンプトの候補画像を生成するパイプラインを導入し,自動スコアリングシステムにより最適な画像を選択する。
  論文  参考訳（メタデータ） (2023-05-22T17:59:41Z)
• Open-Vocabulary Semantic Segmentation with Decoupled One-Pass Network [26.97153244517095]
  入力画像の視覚言語モデルに1つのパスしか必要としないネットワークを提案する。 本稿ではまず,事前学習した視覚エンコーダにおけるパッチ埋め込み間の有害な干渉を抑制するために,パッチ重大度と呼ばれる新しいネットワーク適応手法を提案する。 そこで我々は,ネットワークがより差別的な特徴に着目するよう促すために,分類アンカー学習を提案する。
  論文  参考訳（メタデータ） (2023-04-03T17:59:21Z)
• Coarse-to-Fine Vision-Language Pre-training with Fusion in the Backbone [170.85076677740292]
  本稿では、視覚言語(VL)事前学習のための新しいモデルアーキテクチャであるFIBER(Fusion-In-the-Backbone-basedER)を提案する。 ユニモーダルバックボーンの後に、専用のトランスフォーマー層を融合させる代わりに、FIBERはマルチモーダルフュージョンをモデルに深く押し込む。 我々は、VQA、画像キャプション、検索、フレーズグラウンド、参照表現理解、オブジェクト検出など、幅広いVLタスクに関する包括的な実験を行う。
  論文  参考訳（メタデータ） (2022-06-15T16:41:29Z)
• COTS: Collaborative Two-Stream Vision-Language Pre-Training Model for Cross-Modal Retrieval [59.15034487974549]
  画像テキスト検索のための新しいコラボレーティブな2ストリームビジョン言語事前学習モデルCOTSを提案する。 我々のCOTSは,2ストリーム方式の中で最も高い性能を達成し,推論の速度は10,800倍に向上した。 重要なことは、我々のCOTSはテキストからビデオへの検索にも適用でき、広く使われているMSR-VTTデータセットに新たな最先端技術をもたらすことである。
  論文  参考訳（メタデータ） (2022-04-15T12:34:47Z)
• Two-stage Visual Cues Enhancement Network for Referring Image Segmentation [89.49412325699537]
  Referring Image (RIS)は、ある自然言語表現によって参照される画像から対象のオブジェクトをセグメント化することを目的としている。 本稿では,2段階のビジュアルキュー拡張ネットワーク(TV-Net)を考案し,この問題に対処する。 この2段階の強化により,提案するTV-Netは,自然言語表現と画像間のきめ細かいマッチング動作の学習において,より優れた性能を享受できる。
  論文  参考訳（メタデータ） (2021-10-09T02:53:39Z)
• Referring Transformer: A One-step Approach to Multi-task Visual Grounding [45.42959940733406]
  視覚的グラウンドタスクのための単純なワンステージマルチタスクフレームワークを提案する。 具体的には、2つのモダリティを視覚言語エンコーダに融合させるトランスフォーマーアーキテクチャを利用する。 我々のモデルは、コンテキスト情報とマルチタスクトレーニングから大きな恩恵を受けていることを示す。
  論文  参考訳（メタデータ） (2021-06-06T10:53:39Z)
• StEP: Style-based Encoder Pre-training for Multi-modal Image Synthesis [68.3787368024951]
  マルチモーダルイメージ・ツー・イメージ(I2I)翻訳のための新しいアプローチを提案する。 我々は、出力領域の可変性をモデル化する潜伏埋め込みをジェネレータと共同で学習する。 具体的には、新しいプロキシタスクを用いて汎用的なスタイルエンコーダを事前訓練し、任意のドメインから低次元のスタイル潜在空間への画像の埋め込みを学習する。
  論文  参考訳（メタデータ） (2021-04-14T19:58:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。