論文の概要: S-Omninet: Structured Data Enhanced Universal Multimodal Learning Architecture

• arxiv url: http://arxiv.org/abs/2307.00226v1
• Date: Sat, 1 Jul 2023 05:02:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-05 17:23:17.382831
• Title: S-Omninet: Structured Data Enhanced Universal Multimodal Learning Architecture
• Title（参考訳）: S-Omninet: 構造化データ強化ユニバーサルマルチモーダル学習アーキテクチャ
• Authors: Ye Xue, Diego Klabjan, Jean Utke
• Abstract要約: 近年,マルチモーダルマルチタスク学習への関心が高まっている。 視覚や言語データなど,特定の種類のマルチモーダルデータについて学習するために,多くの手法が提案されている。 複数のモダリティやタスクを同時に処理できるアーキテクチャであるOmninetを拡張して改善する。
• 参考スコア（独自算出の注目度）: 19.927662512903915
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal multitask learning has attracted an increasing interest in recent years. Singlemodal models have been advancing rapidly and have achieved astonishing results on various tasks across multiple domains. Multimodal learning offers opportunities for further improvements by integrating data from multiple modalities. Many methods are proposed to learn on a specific type of multimodal data, such as vision and language data. A few of them are designed to handle several modalities and tasks at a time. In this work, we extend and improve Omninet, an architecture that is capable of handling multiple modalities and tasks at a time, by introducing cross-cache attention, integrating patch embeddings for vision inputs, and supporting structured data. The proposed Structured-data-enhanced Omninet (S-Omninet) is a universal model that is capable of learning from structured data of various dimensions effectively with unstructured data through cross-cache attention, which enables interactions among spatial, temporal, and structured features. We also enhance spatial representations in a spatial cache with patch embeddings. We evaluate the proposed model on several multimodal datasets and demonstrate a significant improvement over the baseline, Omninet.
• Abstract（参考訳）: 近年,マルチモーダルマルチタスク学習への関心が高まっている。 シングルモーダルモデルは急速に進歩し、複数のドメインにわたる様々なタスクで驚くべき結果を得た。 マルチモーダル学習は、複数のモーダルからのデータを統合することで、さらなる改善の機会を提供する。 視覚や言語データなど,特定の種類のマルチモーダルデータを学習するために,多くの手法が提案されている。 いくつかは一度に複数のモダリティやタスクを処理するように設計されている。 本研究では,複数のモダリティとタスクを同時に処理可能なアーキテクチャであるomninetを拡張し,改良する。クロスキャッシュの注意の導入,視覚入力へのパッチ埋め込みの統合,構造化データのサポートなどを行う。 提案するStructured-data-enhanced Omninet (S-Omninet) は,空間的,時間的,構造的特徴間の相互作用を可能とし,非構造的データを用いて多次元構造データから効果的に学習できる普遍モデルである。 また,パッチ埋め込みによる空間キャッシュの空間表現も強化する。 提案したモデルを複数のマルチモーダルデータセット上で評価し,ベースラインであるOmninetよりも大幅に改善したことを示す。

関連論文リスト

• Beyond Unimodal Learning: The Importance of Integrating Multiple Modalities for Lifelong Learning [23.035725779568587]
  ディープニューラルネットワーク(DNN)におけるマルチモーダル性の役割と相互作用について検討する。 以上の結果から,複数のビューと相補的な情報を複数のモーダルから活用することで,より正確かつ堅牢な表現を学習できることが示唆された。 本稿では,各モーダルにおけるデータ点間の関係構造的類似性を利用して,異なるモーダルからの情報の統合と整合化を行う手法を提案する。
  論文  参考訳（メタデータ） (2024-05-04T22:02:58Z)
• SEED-X: Multimodal Models with Unified Multi-granularity Comprehension and Generation [61.392147185793476]
  統一的で汎用的な基礎モデル、すなわちSEED-Xを提案する。 SEED-Xは、理解および生成タスクのための多粒度視覚意味論をモデル化することができる。 我々の研究が、現実世界のアプリケーションで多目的なマルチモーダル基盤モデルによって達成できるものについて、将来の研究に刺激を与えることを期待しています。
  論文  参考訳（メタデータ） (2024-04-22T17:56:09Z)
• Multi-modal Semantic Understanding with Contrastive Cross-modal Feature Alignment [11.897888221717245]
  マルチモーダルな特徴アライメントを実現するためのCLIP誘導型コントラスト学習型アーキテクチャを提案する。 我々のモデルはタスク固有の外部知識を使わずに実装が簡単であり、そのため、他のマルチモーダルタスクに容易に移行できる。
  論文  参考訳（メタデータ） (2024-03-11T01:07:36Z)
• Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding [62.70450216120704]
  教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。 我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。 UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
  論文  参考訳（メタデータ） (2023-11-06T13:56:57Z)
• Reformulating Vision-Language Foundation Models and Datasets Towards Universal Multimodal Assistants [65.47222691674074]
  Muffinフレームワークは、事前訓練された視覚言語モデルを使用して視覚信号のプロバイダとして機能する。 UniMM-Chatデータセットはデータセットの相補性を探求し、高品質で多様なマルチモーダル命令を生成する。
  論文  参考訳（メタデータ） (2023-10-01T12:35:18Z)
• Learning Multimodal Data Augmentation in Feature Space [65.54623807628536]
  LeMDAは、機能空間におけるマルチモーダルデータを共同で拡張することを自動的に学習する、使い易い方法である。 我々はLeMDAがマルチモーダルディープラーニングアーキテクチャの性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:39:36Z)
• Learning Sequential Latent Variable Models from Multimodal Time Series Data [6.107812768939553]
  マルチモーダルデータの確率的潜在状態表現を協調的に学習するための自己教師付き生成モデリングフレームワークを提案する。 提案手法が予測品質と表現品質を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2022-04-21T21:59:24Z)
• Multimodal Clustering Networks for Self-supervised Learning from Unlabeled Videos [69.61522804742427]
  本稿では,共通のマルチモーダル埋め込み空間を学習する自己監督型トレーニングフレームワークを提案する。 インスタンスレベルのコントラスト学習の概念をマルチモーダルクラスタリングステップで拡張し,モダリティ間の意味的類似性を捉える。 結果として得られる埋め込みスペースは、見えないデータセットや異なるドメインからでも、すべてのモダリティにわたるサンプルの検索を可能にする。
  論文  参考訳（メタデータ） (2021-04-26T15:55:01Z)
• Deep Multimodal Neural Architecture Search [178.35131768344246]
  様々なマルチモーダル学習タスクのための一般化された深層マルチモーダルニューラルアーキテクチャサーチ(MMnas)フレームワークを考案する。 マルチモーダル入力が与えられたら、まずプリミティブ演算のセットを定義し、その後、ディープエンコーダ-デコーダベースの統一バックボーンを構築する。 統合されたバックボーンの上にタスク固有のヘッドをアタッチして、異なるマルチモーダル学習タスクに取り組む。
  論文  参考訳（メタデータ） (2020-04-25T07:00:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。