論文の概要: Vision-Language Adaptive Mutual Decoder for OOV-STR

• arxiv url: http://arxiv.org/abs/2209.00859v2
• Date: Mon, 30 Oct 2023 03:15:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 04:45:05.308633
• Title: Vision-Language Adaptive Mutual Decoder for OOV-STR
• Title（参考訳）: OOV-STR用視覚言語適応型相互デコーダ
• Authors: Jinshui Hu, Chenyu Liu, Qiandong Yan, Xuyang Zhu, Jiajia Wu, Jun Du, Lirong Dai
• Abstract要約: 我々は、VLAMD(Vision Language Adaptive Mutual Decoder)というフレームワークを設計し、OoV(out-of-vocabulary)問題に部分的に対処する。 提案手法は,ECCV 2022 TiE Workshop における OOV-ST Challenge の単語認識タスクにおいて, IV+OOV と OOV の設定に対して 70.31% と 59.61% の単語精度を達成した。
• 参考スコア（独自算出の注目度）: 39.35424739459689
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent works have shown huge success of deep learning models for common in vocabulary (IV) scene text recognition. However, in real-world scenarios, out-of-vocabulary (OOV) words are of great importance and SOTA recognition models usually perform poorly on OOV settings. Inspired by the intuition that the learned language prior have limited OOV preformence, we design a framework named Vision Language Adaptive Mutual Decoder (VLAMD) to tackle OOV problems partly. VLAMD consists of three main conponents. Firstly, we build an attention based LSTM decoder with two adaptively merged visual-only modules, yields a vision-language balanced main branch. Secondly, we add an auxiliary query based autoregressive transformer decoding head for common visual and language prior representation learning. Finally, we couple these two designs with bidirectional training for more diverse language modeling, and do mutual sequential decoding to get robuster results. Our approach achieved 70.31\% and 59.61\% word accuracy on IV+OOV and OOV settings respectively on Cropped Word Recognition Task of OOV-ST Challenge at ECCV 2022 TiE Workshop, where we got 1st place on both settings.
• Abstract（参考訳）: 近年の研究では、語彙(IV)シーンのテキスト認識に共通する深層学習モデルが大きな成功を収めている。 しかし、現実のシナリオでは、語彙外(oov)の単語は非常に重要であり、sota認識モデルは通常、oovの設定で性能が悪い。 学習言語がOOVプリフォームを制限していたという直感に触発されて、視覚言語適応型相互デコーダ(VLAMD)というフレームワークを設計し、OOVの問題に部分的に対処する。 VLAMDは3つの主要なコンポンジェントから構成される。 まず,2つの視覚のみのモジュールを適応的に結合したアテンションベースLSTMデコーダを構築し,視覚言語によるバランスの取れたメインブランチを生成する。 次に,共通視覚および言語先行表現学習のための補助的クエリベース自己回帰トランスフォーマ復号ヘッドを追加する。 最後に、これらの2つの設計を、より多様な言語モデリングのための双方向トレーニングと組み合わせ、より堅牢な結果を得るために相互に逐次復号を行う。 提案手法は,ECCV 2022 TiE Workshop の OOV-ST Challenge において,IV+OOV と OOV の設定に対して,70.31\% と59.61\% の単語精度を達成した。

関連論文リスト

• VL-Reader: Vision and Language Reconstructor is an Effective Scene Text Recognizer [22.06023928642522]
  本稿では,VL-Readerという,革新的なシーンテキスト認識手法を提案する。 VL-Readerの新規性は、プロセス全体を通して視覚と言語の間の広範な相互作用にある。 トレーニング前の段階では、VL-Readerはマスクされたビジュアルトークンとテキストトークンの両方を再構築するが、微調整の段階では、ネットワークはマスクされた領域を使わずに画像からすべての文字を再構成する。
  論文  参考訳（メタデータ） (2024-09-18T02:46:28Z)
• Unveiling Encoder-Free Vision-Language Models [62.52803514667452]
  既存の視覚言語モデル (VLM) は主に視覚的特徴を抽出するために視覚エンコーダに依存しており、視覚言語タスクには大きな言語モデル (LLM) が続く。 エンコーダベースモデルとエンコーダフリーモデルとのギャップを橋渡しし、純粋なVLMに対するシンプルで効果的なトレーニングレシピを示す。 EVEはエンコーダなしの視覚言語モデルで、効率的にトレーニングと転送ができる。
  論文  参考訳（メタデータ） (2024-06-17T17:59:44Z)
• APoLLo: Unified Adapter and Prompt Learning for Vision Language Models [58.9772868980283]
  本稿では,視覚言語モデルに対する適応学習とプロンプト学習を組み合わせた統合マルチモーダルアプローチであるAPoLLoを提案する。 APoLLoは10種類の画像認識データセットに対して、MaPLe(SOTA)よりも6.03%向上している。
  論文  参考訳（メタデータ） (2023-12-04T01:42:09Z)
• LION : Empowering Multimodal Large Language Model with Dual-Level Visual Knowledge [58.82222646803248]
  MLLM(Multimodal Large Language Models)は、マルチモーダル信号の知覚と理解が可能なLLMを提供する。 既存のMLLMの多くは、大まかに整列された画像テキストペアで事前訓練された視覚エンコーダを採用しており、視覚知識の抽出と推論が不十分である。 本稿では,2段階の視覚的知識を注入することによってMLLMを増強する,デュアルレベルvIsual knedgeOwl eNhanced Multimodal Large Language Model (LION)を提案する。
  論文  参考訳（メタデータ） (2023-11-20T15:56:44Z)
• i-Code V2: An Autoregressive Generation Framework over Vision, Language, and Speech Data [101.52821120195975]
  i-Code V2は、視覚、言語、音声データの組み合わせから自然言語を生成することができる最初のモデルである。 システムは、デュアルモダリティとシングルモダリティのデータセットの大規模なコレクション上で、エンドツーエンドで事前訓練される。
  論文  参考訳（メタデータ） (2023-05-21T01:25:44Z)
• Image as a Foreign Language: BEiT Pretraining for All Vision and Vision-Language Tasks [87.6494641931349]
  汎用多目的基礎モデルBEiT-3を紹介する。 視覚と視覚言語の両方のタスクで最先端の転送性能を達成する。
  論文  参考訳（メタデータ） (2022-08-22T16:55:04Z)
• VLMo: Unified Vision-Language Pre-Training with Mixture-of-Modality-Experts [46.55920956687346]
  本稿では、デュアルエンコーダとモジュールトランスフォーマーネットワークを用いた融合エンコーダを共同で学習する統合ビジョンランゲージ事前学習モデル(VLMo)を提案する。 MoMEのモデリングの柔軟性のため、事前訓練されたVLMoは、視覚言語分類タスクのための融合エンコーダとして微調整できる。 本稿では,画像とテキストのペアに加えて,大規模画像のみとテキストのみのデータを効果的に活用する,段階的な事前学習戦略を提案する。
  論文  参考訳（メタデータ） (2021-11-03T17:20:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。