論文の概要: Vision-Language Pre-training: Basics, Recent Advances, and Future Trends

• arxiv url: http://arxiv.org/abs/2210.09263v1
• Date: Mon, 17 Oct 2022 17:11:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 16:19:35.779828
• Title: Vision-Language Pre-training: Basics, Recent Advances, and Future Trends
• Title（参考訳）: ビジョンランゲージ事前学習:基礎,最近の進歩,将来の動向
• Authors: Zhe Gan, Linjie Li, Chunyuan Li, Lijuan Wang, Zicheng Liu, Jianfeng Gao
• Abstract要約: 近年,マルチモーダルインテリジェンスのための視覚言語事前学習法が開発されている。 各カテゴリについて、最先端の手法の総合的なレビューを行い、現在進行中の進歩と課題について論じる。 また,研究コミュニティにおいて,大規模基盤モデル,統合モデリング,文脈内数発の学習,知識,堅牢性,コンピュータビジョンなど,高度なトピックが積極的に検討されていることについても論じる。
• 参考スコア（独自算出の注目度）: 158.34830433299268
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper surveys vision-language pre-training (VLP) methods for multimodal intelligence that have been developed in the last few years. We group these approaches into three categories: ($i$) VLP for image-text tasks, such as image captioning, image-text retrieval, visual question answering, and visual grounding; ($ii$) VLP for core computer vision tasks, such as (open-set) image classification, object detection, and segmentation; and ($iii$) VLP for video-text tasks, such as video captioning, video-text retrieval, and video question answering. For each category, we present a comprehensive review of state-of-the-art methods, and discuss the progress that has been made and challenges still being faced, using specific systems and models as case studies. In addition, for each category, we discuss advanced topics being actively explored in the research community, such as big foundation models, unified modeling, in-context few-shot learning, knowledge, robustness, and computer vision in the wild, to name a few.
• Abstract（参考訳）: 本稿では,過去数年間に開発されたマルチモーダルインテリジェンスのための視覚言語事前学習(VLP)手法について検討する。 画像キャプション,画像テキスト検索,視覚的質問応答,視覚的接地といった画像テキストタスクのVLP,(オープンセット)画像分類,オブジェクト検出,セグメンテーションといったコアコンピュータビジョンタスクのVLP,ビデオキャプション,ビデオテキスト検索,ビデオ質問応答といったビデオテキストタスクのVLP,という3つのカテゴリに分類した。 それぞれのカテゴリについて,最先端手法の包括的レビューを行い,特定のシステムとモデルをケーススタディとして使用して,現在直面している進歩と課題について議論する。 また,各カテゴリにおいて,大規模基盤モデル,統合モデリング,テキスト内数発学習,知識,堅牢性,コンピュータビジョンなど,研究コミュニティで積極的に探求されている先進的なトピックについて論じる。

関連論文リスト

• A Review of Deep Learning for Video Captioning [111.1557921247882]
  ビデオキャプション(VC)は、素早く動き、学際的な研究分野である。 この調査では、注目に基づくアーキテクチャ、グラフネットワーク、強化学習、敵対的ネットワーク、高密度ビデオキャプション(DVC)など、ディープラーニングベースのVCをカバーする。
  論文  参考訳（メタデータ） (2023-04-22T15:30:54Z)
• On Advances in Text Generation from Images Beyond Captioning: A Case Study in Self-Rationalization [89.94078728495423]
  近年のモダリティ,CLIP画像表現,言語モデルの拡張は,マルチモーダル入力によるタスクのマルチモーダル自己調整を一貫して改善していないことを示す。 画像キャプションを超えて画像やテキストからテキストを生成するために構築可能なバックボーンモデリング手法が提案されている。
  論文  参考訳（メタデータ） (2022-05-24T00:52:40Z)
• Vision-Language Intelligence: Tasks, Representation Learning, and Large Models [32.142076223602906]
  本稿では,時間的観点からの視覚言語知能の包括的調査について述べる。 本稿では,この分野での開発を,タスク固有手法,視覚言語事前学習法,大規模弱ラベルデータによって強化された大規模モデルという3つの期間にまとめる。
  論文  参考訳（メタデータ） (2022-03-03T18:54:59Z)
• A Survey of Vision-Language Pre-Trained Models [41.323956143107644]
  事前訓練されたモデルは近年、ブレークネックペースで進歩している。 ビジョン・アンド・ランゲージ学習の分野に事前学習を適応させ、下流タスクのパフォーマンスを向上させる方法は、マルチモーダル学習の焦点となる。
  論文  参考訳（メタデータ） (2022-02-18T15:15:46Z)
• From Show to Tell: A Survey on Image Captioning [48.98681267347662]
  視覚と言語を結びつけることは、ジェネレーティブ・インテリジェンスにおいて重要な役割を担っている。 画像キャプションの研究はまだ結論に達していない。 本研究の目的は,画像キャプション手法の包括的概要と分類を提供することである。
  論文  参考訳（メタデータ） (2021-07-14T18:00:54Z)
• Bridging Vision and Language from the Video-to-Text Perspective: A Comprehensive Review [1.0520692160489133]
  本稿では,ビデオ・トゥ・テキスト問題に対する最先端技術の分類と解説を行う。 主なvideo-to-textメソッドとそのパフォーマンス評価方法をカバーする。 最先端の技術は、ビデオ記述の生成または取得における人間のようなパフォーマンスを達成するには、まだ長い道のりです。
  論文  参考訳（メタデータ） (2021-03-27T02:12:28Z)
• Look Before you Speak: Visually Contextualized Utterances [88.58909442073858]
  ビデオ中の発話を視覚的フレームと書き起こされた音声の両方を文脈として予測するタスクを作成する。 オンラインで多数の指導ビデオを活用することで、手動のアノテーションを必要とせずに、このタスクを大規模に解決するためのモデルを訓練する。 本モデルは,多数のダウンストリームビデオQAベンチマークにおいて,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-12-10T14:47:02Z)
• Image Segmentation Using Deep Learning: A Survey [58.37211170954998]
  イメージセグメンテーションは、画像処理とコンピュータビジョンにおいて重要なトピックである。 深層学習モデルを用いた画像セグメンテーション手法の開発を目的とした研究が,これまでに数多く行われている。
  論文  参考訳（メタデータ） (2020-01-15T21:37:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。