論文の概要: Large-scale Multi-Modal Pre-trained Models: A Comprehensive Survey
- arxiv url: http://arxiv.org/abs/2302.10035v1
- Date: Mon, 20 Feb 2023 15:34:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-21 15:08:14.515567
- Title: Large-scale Multi-Modal Pre-trained Models: A Comprehensive Survey
- Title(参考訳): 大規模マルチモーダル事前学習モデル:包括的調査
- Authors: Xiao Wang, Guangyao Chen, Guangwu Qian, Pengcheng Gao, Xiao-Yong Wei,
Yaowei Wang, Yonghong Tian, Wen Gao
- Abstract要約: 本稿では, 自然言語処理, コンピュータビジョン, 音声処理における従来のディープラーニング, 事前学習の成果を概観することにより, マルチモーダル事前学習の背景を紹介する。
次に,マルチモーダル事前学習モデル(MM-PTM)のタスク定義,課題,メリットを紹介し,データ,目的,ネットワークアーキテクチャ,知識強化事前学習に着目して,MM-PTMについて議論する。
- 参考スコア(独自算出の注目度): 49.62917037071885
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the urgent demand for generalized deep models, many pre-trained big
models are proposed, such as BERT, ViT, GPT, etc. Inspired by the success of
these models in single domains (like computer vision and natural language
processing), the multi-modal pre-trained big models have also drawn more and
more attention in recent years. In this work, we give a comprehensive survey of
these models and hope this paper could provide new insights and helps fresh
researchers to track the most cutting-edge works. Specifically, we firstly
introduce the background of multi-modal pre-training by reviewing the
conventional deep learning, pre-training works in natural language process,
computer vision, and speech. Then, we introduce the task definition, key
challenges, and advantages of multi-modal pre-training models (MM-PTMs), and
discuss the MM-PTMs with a focus on data, objectives, network architectures,
and knowledge enhanced pre-training. After that, we introduce the downstream
tasks used for the validation of large-scale MM-PTMs, including generative,
classification, and regression tasks. We also give visualization and analysis
of the model parameters and results on representative downstream tasks.
Finally, we point out possible research directions for this topic that may
benefit future works. In addition, we maintain a continuously updated paper
list for large-scale pre-trained multi-modal big models:
https://github.com/wangxiao5791509/MultiModal_BigModels_Survey
- Abstract(参考訳): 一般化された深層モデルの緊急需要により、BERT、ViT、GPTなど多くの事前訓練済みの大型モデルが提案されている。
単一ドメイン(コンピュータビジョンや自然言語処理など)でのこれらのモデルの成功に触発されて、マルチモーダル事前学習された大型モデルも近年ますます注目を集めている。
本稿では,これらのモデルに関する総合的な調査を行い,本論文が新たな洞察を与え,最先端の研究成果の追跡を支援することを期待する。
具体的には, 従来のディープラーニング, 自然言語処理における事前学習, コンピュータビジョン, 音声によるマルチモーダル事前学習の背景を紹介する。
次に,マルチモーダル事前学習モデル(MM-PTM)のタスク定義,課題,メリットを紹介し,データ,目的,ネットワークアーキテクチャ,知識強化事前学習に着目して,MM-PTMについて議論する。
その後、生成タスク、分類タスク、回帰タスクを含む大規模MM-PTMの検証に使用される下流タスクを紹介した。
また、モデルパラメータと結果の可視化と分析を下流の代表的なタスクで行う。
最後に,今後の研究に利益をもたらす可能性のある研究の方向性を指摘する。
さらに、大規模事前トレーニングされたマルチモーダルビッグモデルのための、継続的に更新されたペーパーリストも保持しています。 https://github.com/wangxiao5791509/multimodal_bigmodels_survey。
関連論文リスト
- Has Your Pretrained Model Improved? A Multi-head Posterior Based
Approach [25.927323251675386]
我々は、世界的知識の源として各エンティティに関連するメタ機能を活用し、モデルからエンティティ表現を採用する。
本稿では,これらの表現とメタ機能との整合性を,事前学習モデルの評価指標として用いることを提案する。
提案手法の有効性は,関係データセットを用いたモデル,大規模言語モデル,画像モデルなど,様々な領域で実証されている。
論文 参考訳(メタデータ) (2024-01-02T17:08:26Z) - Learn From Model Beyond Fine-Tuning: A Survey [78.80920533793595]
Learn From Model (LFM) は、モデルインターフェースに基づいた基礎モデル(FM)の研究、修正、設計に焦点を当てている。
LFM技術の研究は、モデルチューニング、モデル蒸留、モデル再利用、メタラーニング、モデル編集の5つの分野に大別できる。
本稿では, LFM の観点から, FM に基づく現在の手法を概観する。
論文 参考訳(メタデータ) (2023-10-12T10:20:36Z) - GPT4Image: Can Large Pre-trained Models Help Vision Models on Perception
Tasks? [51.22096780511165]
本稿では,大規模な事前学習モデルから抽出した知識を利用して,CNN や ViT などのモデルが拡張表現を学習するのを支援する新しい学習パラダイムを提案する。
我々は、詳細な記述を事前訓練されたエンコーダに入力し、画像の内容をエンコードするリッチなセマンティック情報でテキスト埋め込みを抽出する。
論文 参考訳(メタデータ) (2023-06-01T14:02:45Z) - eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。
視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。
総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
論文 参考訳(メタデータ) (2023-03-20T19:20:34Z) - Scaling Vision-Language Models with Sparse Mixture of Experts [128.0882767889029]
提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。
我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
論文 参考訳(メタデータ) (2023-03-13T16:00:31Z) - Multi-stage Pre-training over Simplified Multimodal Pre-training Models [35.644196343835674]
本稿では, 単語, 句, 文, 画像の粒度の異なる情報を用いて, モデルを段階的に事前訓練する多段階事前学習法を提案する。
また、限られたコーパスから多種多様な知識を効率的に捉えるために、異なる段階における情報粒度に適したいくつかの事前学習タスクを設計する。
実験結果から,本手法はすべての下流タスクにおいて元のLXMERTモデルに匹敵する性能を示し,画像テキスト検索タスクでは元のモデルよりも優れていた。
論文 参考訳(メタデータ) (2021-07-22T03:35:27Z) - InterBERT: Vision-and-Language Interaction for Multi-modal Pretraining [76.32065400614162]
我々は,本シリーズのマルチモーダル事前学習手法M6の最初のモデルであるInterBERT(BERT for Interaction)を提案する。
モデルは、異なるモダリティの情報フロー間の相互作用をモデル化する強力な能力を持っている。
中国語におけるマルチモーダル事前学習のための大規模データセットを提案し,中国初のマルチモーダル事前学習モデルである中国語InterBERTを開発した。
論文 参考訳(メタデータ) (2020-03-30T03:13:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。