論文の概要: Meta-Transformer: A Unified Framework for Multimodal Learning

• arxiv url: http://arxiv.org/abs/2307.10802v1
• Date: Thu, 20 Jul 2023 12:10:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-21 13:22:14.122346
• Title: Meta-Transformer: A Unified Framework for Multimodal Learning
• Title（参考訳）: Meta-Transformer: マルチモーダル学習のための統一フレームワーク
• Authors: Yiyuan Zhang, Kaixiong Gong, Kaipeng Zhang, Hongsheng Li, Yu Qiao, Wanli Ouyang, Xiangyu Yue
• Abstract要約: マルチモーダル学習は、複数のモーダルからの情報を処理し、関連付けるモデルを構築することを目的としている。 この分野での長年の開発にもかかわらず、様々なモダリティを処理する統一ネットワークを設計することは依然として困難である。 我々は、textbffrozen$ encoderを利用してマルチモーダル認識を行うMeta-Transformerというフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 105.77219833997962
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal learning aims to build models that can process and relate information from multiple modalities. Despite years of development in this field, it still remains challenging to design a unified network for processing various modalities ($\textit{e.g.}$ natural language, 2D images, 3D point clouds, audio, video, time series, tabular data) due to the inherent gaps among them. In this work, we propose a framework, named Meta-Transformer, that leverages a $\textbf{frozen}$ encoder to perform multimodal perception without any paired multimodal training data. In Meta-Transformer, the raw input data from various modalities are mapped into a shared token space, allowing a subsequent encoder with frozen parameters to extract high-level semantic features of the input data. Composed of three main components: a unified data tokenizer, a modality-shared encoder, and task-specific heads for downstream tasks, Meta-Transformer is the first framework to perform unified learning across 12 modalities with unpaired data. Experiments on different benchmarks reveal that Meta-Transformer can handle a wide range of tasks including fundamental perception (text, image, point cloud, audio, video), practical application (X-Ray, infrared, hyperspectral, and IMU), and data mining (graph, tabular, and time-series). Meta-Transformer indicates a promising future for developing unified multimodal intelligence with transformers. Code will be available at https://github.com/invictus717/MetaTransformer
• Abstract（参考訳）: マルチモーダル学習は、複数のモダリティから情報を処理し、関連付けるモデルを構築することを目的としている。 この分野における長年の開発にもかかわらず、それらの間に固有のギャップがあるため、様々なモダリティを処理するための統一ネットワークを設計することは依然として困難である(\textit{e.}$ natural language, 2d images, 3d point clouds, audio, video, time series, tabular data)。 本研究では,$\textbf{frozen}$エンコーダを利用して,対のマルチモーダルトレーニングデータを用いずにマルチモーダル知覚を行う,meta-transformerというフレームワークを提案する。 Meta-Transformerでは、様々なモダリティからの生の入力データを共有トークン空間にマッピングし、凍結パラメータを持つ後続のエンコーダで入力データの高レベルな意味的特徴を抽出する。 統合データトークンライザ、モダリティ共有エンコーダ、ダウンストリームタスク用のタスク固有ヘッドの3つの主要コンポーネントで構成されるmeta-transformerは、12つのモダリティにまたがる統一学習を非ペアデータで実行する最初のフレームワークである。 異なるベンチマークの実験によると、Meta-Transformerは基本的な認識(テキスト、画像、ポイントクラウド、オーディオ、ビデオ)、実用的なアプリケーション(X線、赤外線、ハイパースペクトル、IMU)、データマイニング(グラフ、表、時系列)など、幅広いタスクを処理できる。 Meta-Transformerは、トランスフォーマーを用いた統合マルチモーダルインテリジェンスを開発するための有望な未来を示す。 コードはhttps://github.com/invictus717/MetaTransformerで入手できる。

関連論文リスト

• Exchanging-based Multimodal Fusion with Transformer [19.398692598523454]
  本稿では,マルチモーダル核融合の問題点について考察する。 近年,あるモダリティから他のモダリティへ学習した埋め込みを交換することを目的としたビジョン・ビジョン・フュージョンのための交換方式が提案されている。 本稿では,Transformer を用いたテキストビジョン融合のための交換型マルチモーダル融合モデル MuSE を提案する。
  論文  参考訳（メタデータ） (2023-09-05T12:48:25Z)
• Transformer-Based Visual Segmentation: A Survey [118.01564082499948]
  ビジュアルセグメンテーションは、画像、ビデオフレーム、またはポイントクラウドを複数のセグメンテーションまたはグループに分割する。 トランスフォーマー(Transformer)は、自然言語処理用に設計された自己アテンションに基づくニューラルネットワークの一種である。 トランスフォーマーは、様々なセグメンテーションタスクに対して堅牢で統一的で、さらにシンプルなソリューションを提供する。
  論文  参考訳（メタデータ） (2023-04-19T17:59:02Z)
• TransVG++: End-to-End Visual Grounding with Language Conditioned Vision Transformer [188.00681648113223]
  視覚的なグラウンド化のための、巧妙で効果的なTransformerベースのフレームワークについて検討する。 TransVGはトランスフォーマーによるマルチモーダル対応を確立し、ボックス座標を直接回帰することで参照領域をローカライズする。 視覚特徴符号化にViT(Vision Transformer)を活用することで、我々のフレームワークを純粋にトランスフォーマーベースにアップグレードする。
  論文  参考訳（メタデータ） (2022-06-14T06:27:38Z)
• Hybrid Transformer with Multi-level Fusion for Multimodal Knowledge Graph Completion [112.27103169303184]
  マルチモーダル知識グラフ(MKG)は、視覚テキストの事実知識を整理する。 MKGformerは、マルチモーダルリンク予測、マルチモーダルRE、マルチモーダルNERの4つのデータセット上でSOTA性能を得ることができる。
  論文  参考訳（メタデータ） (2022-05-04T23:40:04Z)
• Multimodal Token Fusion for Vision Transformers [54.81107795090239]
  変換器を用いた視覚タスクのためのマルチモーダルトークン融合法(TokenFusion)を提案する。 複数のモダリティを効果的に融合させるために、TokenFusionは動的に非形式的トークンを検出し、これらのトークンを投影および集約されたモジュール間特徴に置き換える。 TokenFusionの設計により、トランスフォーマーはマルチモーダル特徴間の相関を学習できるが、シングルモーダルトランスアーキテクチャはほとんど無傷である。
  論文  参考訳（メタデータ） (2022-04-19T07:47:50Z)
• Multi-modal Transformer for Video Retrieval [67.86763073161012]
  ビデオの様々なモードを共同で符号化するマルチモーダルトランスを提案する。 自然言語に関しては,マルチモーダル変換器と組み合わさった言語を最適化するベストプラクティスについて検討する。 この新たなフレームワークにより,3つのデータセット上での映像検索の最先端化が可能となる。
  論文  参考訳（メタデータ） (2020-07-21T07:38:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。