論文の概要: OPT: Omni-Perception Pre-Trainer for Cross-Modal Understanding and Generation

• arxiv url: http://arxiv.org/abs/2107.00249v1
• Date: Thu, 1 Jul 2021 06:59:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-02 22:53:38.440263
• Title: OPT: Omni-Perception Pre-Trainer for Cross-Modal Understanding and Generation
• Title（参考訳）: OPT:Omni-Perception Pre-Trainer for Cross-Modal Understanding and Generation
• Authors: Jing Liu, Xinxin Zhu, Fei Liu, Longteng Guo, Zijia Zhao, Mingzhen Sun, Weining Wang, Jinqiao Wang, Hanqing Lu
• Abstract要約: 我々は,Omni-perception Pre-Trainer (OPT)を提案する。 OPTは3つのシングルモーダルエンコーダを含むエンコーダ・デコーダ・フレームワークで構築され、各モダリティに対してトークンベースの埋め込みを生成する。 OPTは、強力な画像・テキスト・オーディオ・マルチモーダル表現を学習し、様々なクロスモーダル理解および生成タスクにおける有望な結果を達成することができる。
• 参考スコア（独自算出の注目度）: 52.037766778458504
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we propose an Omni-perception Pre-Trainer (OPT) for cross-modal understanding and generation, by jointly modeling visual, text and audio resources. OPT is constructed in an encoder-decoder framework, including three single-modal encoders to generate token-based embeddings for each modality, a cross-modal encoder to encode the correlations among the three modalities, and two cross-modal decoders to generate text and image respectively. For the OPT's pre-training, we design a multi-task pretext learning scheme to model multi-modal resources from three different data granularities, \ie, token-, modality-, and sample-level modeling, through which OPT learns to align and translate among different modalities. The pre-training task is carried out on a large amount of image-text-audio triplets from Open Images. Experimental results show that OPT can learn strong image-text-audio multi-modal representations and achieve promising results on a variety of cross-modal understanding and generation tasks.
• Abstract（参考訳）: 本稿では,視覚,テキスト,音声の資源を共同でモデル化し,クロスモーダル理解と生成のための全知覚プリトレーナー(opt)を提案する。 optは、各モダリティに対してトークンベースの埋め込みを生成する3つのシングルモーダルエンコーダと、3つのモダリティ間の相関をエンコードするクロスモーダルエンコーダと、テキストとイメージを生成する2つのクロスモーダルデコーダを含む、エンコーダ/デコーダフレームワークで構築されている。 オプターの事前学習のために、我々は、オプターが異なるモダリティの調整と翻訳を学ぶために、3つの異なるデータ粒度( \ie, token-, modality-, sample-level modeling)からマルチモーダルリソースをモデル化するマルチタスクプリテキスト学習スキームを設計した。 事前学習タスクは、オープン画像から大量の画像-テキスト-オーディオトリプレットで実行される。 実験の結果,オプターは強固な画像-テキスト-オーディオマルチモーダル表現を学習でき,様々なクロスモーダル理解と生成タスクにおいて有望な結果が得られることがわかった。

関連論文リスト

• MIO: A Foundation Model on Multimodal Tokens [74.85153216521945]
  マルチモーダルトークン上に構築された新しい基礎モデルMIOを紹介する。 MIOは、エンドツーエンドの自己回帰的な方法で、音声、テキスト、画像、ビデオを理解し、生成することができる。
  論文  参考訳（メタデータ） (2024-09-26T09:57:16Z)
• UNIMO-G: Unified Image Generation through Multimodal Conditional Diffusion [36.06457895469353]
  UNIMO-Gは条件付き拡散フレームワークであり、インターリーブされたテキストと視覚入力を持つマルチモーダルプロンプトで動作する。 テキスト・ツー・イメージ生成とゼロショット・テーマ駆動合成の両面で優れている。
  論文  参考訳（メタデータ） (2024-01-24T11:36:44Z)
• Emu: Generative Pretraining in Multimodality [43.759593451544546]
  トランスフォーマーベースのマルチモーダル基礎モデルは、マルチモーダルコンテキストで画像やテキストをシームレスに生成することができる。 Emuは、画像からテキストまでのタスクとテキストから画像へのタスクの両方のための汎用マルチモーダルインターフェースとして機能する。 Emuは最先端の大規模マルチモーダルモデルと比較して非常に高い性能を示す。
  論文  参考訳（メタデータ） (2023-07-11T12:45:39Z)
• ERNIE-ViL 2.0: Multi-view Contrastive Learning for Image-Text Pre-training [40.05046655477684]
  ERNIE-ViL 2.0は多視点コントラスト学習フレームワークであり、多様なビュー間のモーダル内およびモーダル間相関を同時に構築する。 オブジェクトタグのシーケンスを特別なテキストビューとして構築し、ノイズの多い画像とテキストのペア上でのモーダルなセマンティックギャップを狭める。 ERNIE-ViL 2.0は、英語のクロスモーダル検索において競合する結果を得る。
  論文  参考訳（メタデータ） (2022-09-30T07:20:07Z)
• Multimodal Masked Autoencoders Learn Transferable Representations [127.35955819874063]
  単純でスケーラブルなネットワークアーキテクチャであるM3AE(Multimodal Masked Autoencoder)を提案する。 M3AEは、マスク付きトークン予測により、視覚と言語データの両方の統一エンコーダを学習する。 我々は,大規模な画像テキストデータセット上で訓練されたM3AEについて実証的研究を行い,M3AEが下流タスクによく伝達される一般化可能な表現を学習できることを見出した。
  論文  参考訳（メタデータ） (2022-05-27T19:09:42Z)
• i-Code: An Integrative and Composable Multimodal Learning Framework [99.56065789066027]
  i-Codeは、視覚、音声、言語を統一的で汎用的なベクトル表現に柔軟に組み合わせられる自己教師型事前学習フレームワークである。 システム全体は、マスク付きモダリティ・ユニット・モデリングやクロスモダリティ・コントラスト・ラーニングなどの新しい目的により、エンドツーエンドで事前訓練されている。 実験の結果、i-Codeは5つのビデオ理解タスクとGLUE NLPベンチマークで最先端技術を上回る性能を示し、最大11%改善した。
  論文  参考訳（メタデータ） (2022-05-03T23:38:50Z)
• Knowledge Perceived Multi-modal Pretraining in E-commerce [12.012793707741562]
  画像とテキストのモダリティに対する現在のマルチモーダル事前学習法は、モダリティの欠如やモダリティノイズに直面して頑健さを欠いている。 我々は,マルチモーダル事前学習における知識モダリティを導入し,ノイズを補正し,画像とテキストのモダリティの欠如を補うK3Mを提案する。
  論文  参考訳（メタデータ） (2021-08-20T08:01:28Z)
• VX2TEXT: End-to-End Learning of Video-Based Text Generation From Multimodal Inputs [103.99315770490163]
  本稿では,ビデオ+テキスト,音声,音声によるマルチモーダル入力からテキストを生成するフレームワークを提案する。 実験により、一つのアーキテクチャに基づくアプローチは、3つのビデオベースのテキスト生成タスクにおいて最先端のタスクより優れていることが示された。
  論文  参考訳（メタデータ） (2021-01-28T15:22:36Z)
• A Novel Graph-based Multi-modal Fusion Encoder for Neural Machine Translation [131.33610549540043]
  NMTのための新しいグラフベースのマルチモーダル核融合エンコーダを提案する。 まず、統合マルチモーダルグラフを用いて、入力文と画像を表す。 次に、複数のグラフベースのマルチモーダル融合層を積み重ねて、ノード表現を学習するためのセマンティックな相互作用を反復的に実行する。
  論文  参考訳（メタデータ） (2020-07-17T04:06:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。