論文の概要: Pixel-BERT: Aligning Image Pixels with Text by Deep Multi-Modal Transformers

• arxiv url: http://arxiv.org/abs/2004.00849v2
• Date: Mon, 22 Jun 2020 09:09:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-17 09:29:00.354534
• Title: Pixel-BERT: Aligning Image Pixels with Text by Deep Multi-Modal Transformers
• Title（参考訳）: Pixel-BERT:Deep Multi-Modal Transformersによるテキストによる画像の調整
• Authors: Zhicheng Huang, Zhaoyang Zeng, Bei Liu, Dongmei Fu, Jianlong Fu
• Abstract要約: 我々はPixel-BERTを提案し,画像画素とテキストとの整合性を深層マルチモーダル変換器で学習し,視覚と言語の埋め込みを共同で学習する。 私たちのアプローチでは、VQA(Visual Question Answering)、画像テキスト検索、Natural Language for Visual Reasoning for Real(NLVR)など、下流タスクの最先端技術を実現しています。
• 参考スコア（独自算出の注目度）: 46.275416873403614
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose Pixel-BERT to align image pixels with text by deep multi-modal transformers that jointly learn visual and language embedding in a unified end-to-end framework. We aim to build a more accurate and thorough connection between image pixels and language semantics directly from image and sentence pairs instead of using region-based image features as the most recent vision and language tasks. Our Pixel-BERT which aligns semantic connection in pixel and text level solves the limitation of task-specific visual representation for vision and language tasks. It also relieves the cost of bounding box annotations and overcomes the unbalance between semantic labels in visual task and language semantic. To provide a better representation for down-stream tasks, we pre-train a universal end-to-end model with image and sentence pairs from Visual Genome dataset and MS-COCO dataset. We propose to use a random pixel sampling mechanism to enhance the robustness of visual representation and to apply the Masked Language Model and Image-Text Matching as pre-training tasks. Extensive experiments on downstream tasks with our pre-trained model show that our approach makes the most state-of-the-arts in downstream tasks, including Visual Question Answering (VQA), image-text retrieval, Natural Language for Visual Reasoning for Real (NLVR). Particularly, we boost the performance of a single model in VQA task by 2.17 points compared with SOTA under fair comparison.
• Abstract（参考訳）: 本稿では,画像処理と言語埋め込みを融合して学習する深層マルチモーダルトランスフォーマーを用いて,画像画素をテキストにアライメントするpixel-bertを提案する。 最近のビジョンや言語タスクでは、領域ベースの画像機能を使うのではなく、画像ピクセルと文のペアから直接、より正確で詳細な関係を構築することを目指している。 ピクセルとテキストレベルのセマンティック接続を整列するPixel-BERTは、視覚や言語タスクにおけるタスク固有の視覚表現の制限を解決する。 また、バウンディングボックスアノテーションのコストを軽減し、ビジュアルタスクと言語意味論における意味ラベルの不均衡を克服する。 ダウンストリームタスクの表現性を向上するため、Visual GenomeデータセットとMS-COCOデータセットから画像と文のペアで、ユニバーサルなエンドツーエンドモデルを事前訓練する。 視覚表現のロバスト性を高めるためにランダムな画素サンプリング機構を用い,Masked Language Model と Image-Text Matching を事前学習タスクとして適用することを提案する。 先行学習モデルを用いて下流タスクを広範囲に実験した結果,視覚質問応答 (vqa) や画像テキスト検索,自然言語によるリアルなビジュアル推論 (nlvr) など,下流タスクにおける最先端の手法が提案されている。 特に,VQAタスクにおける単一モデルの性能をSOTAと比較して2.17ポイント向上させる。

関連論文リスト

• PixWizard: Versatile Image-to-Image Visual Assistant with Open-Language Instructions [66.92809850624118]
  PixWizardは、画像生成、操作、翻訳を自由言語命令に基づいて行うために設計されたイメージ・ツー・イメージのビジュアルアシスタントである。 我々は、様々な視覚タスクを統一された画像テキスト・画像生成フレームワークに取り組み、Omni Pixel-to-Pixel Instruction-Tuningデータセットをキュレートする。 我々の実験は、PixWizardが様々な解像度の画像に対して印象的な生成能力と理解能力を示すだけでなく、目に見えないタスクや人間の指示で有望な一般化能力を示すことを示した。
  論文  参考訳（メタデータ） (2024-09-23T17:59:46Z)
• Context Does Matter: End-to-end Panoptic Narrative Grounding with Deformable Attention Refined Matching Network [25.511804582983977]
  パノラマ・ナララティブ・グラウンディング(PNG)は、高密度なナラティブキャプションに基づいて、画像中の視覚オブジェクトを分割することを目的としている。 Deformable Attention Refined Matching Network (DRMN) と呼ばれる新しい学習フレームワークを提案する。 DRMNは、トップ$k$で最も類似したピクセルの特徴表現を更新した後、変形可能なアテンションネットワークで画素を反復的に再エンコードする。
  論文  参考訳（メタデータ） (2023-10-25T13:12:39Z)
• Language Quantized AutoEncoders: Towards Unsupervised Text-Image Alignment [81.73717488887938]
  Language-Quantized AutoEncoder (LQAE)は、事前訓練された言語モデルを利用して、教師なしの方法でテキストイメージデータを整列することを学ぶ。 LQAEは類似した画像を類似したテキストトークンのクラスタで表現することを学び、一致したテキストイメージペアを使わずにこれら2つのモダリティを整列させる。 これにより、大きな言語モデル(例えばGPT-3)による少数ショット画像の分類や、BERTテキストの特徴に基づく画像の線形分類が可能になる。
  論文  参考訳（メタデータ） (2023-02-02T06:38:44Z)
• CRIS: CLIP-Driven Referring Image Segmentation [71.56466057776086]
  エンドツーエンドのCLIP駆動参照画像フレームワーク(CRIS)を提案する。 CRISは、テキストとピクセルのアライメントを達成するために、視覚言語によるデコーディングとコントラスト学習に頼っている。 提案するフレームワークは, 後処理を伴わずに, 最先端の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2021-11-30T07:29:08Z)
• Understanding Mobile GUI: from Pixel-Words to Screen-Sentences [48.97215653702567]
  モバイルGUI理解アーキテクチャを提案する:Pixel-Words to Screen-Sentence (PW2SS) Pixel-Wordsはアトミックビジュアルコンポーネントとして定義されており、スクリーンショット全体で視覚的に一貫性があり、セマンティックにクリアである。 トレーニングデータで利用可能なメタデータを使って、Pixel-Wordsの高品質なアノテーションを自動生成できます。
  論文  参考訳（メタデータ） (2021-05-25T13:45:54Z)
• Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision [57.031588264841]
  高価なフィルタリングや後処理のステップを使わずに得られる10億以上の画像アルトテキストペアのノイズの多いデータセットを活用します。 単純なデュアルエンコーダアーキテクチャは、画像とテキストペアの視覚的および言語的表現を、対照的な損失を使って整列させることを学ぶ。 コーパスのスケールはノイズを補うことができ、そのような単純な学習方式であっても最先端の表現に繋がることを示す。
  論文  参考訳（メタデータ） (2021-02-11T10:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。