論文の概要: Unsupervised Multimodal Language Representations using Convolutional Autoencoders

• arxiv url: http://arxiv.org/abs/2110.03007v1
• Date: Wed, 6 Oct 2021 18:28:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-08 15:59:26.262793
• Title: Unsupervised Multimodal Language Representations using Convolutional Autoencoders
• Title（参考訳）: 畳み込みオートエンコーダを用いた教師なしマルチモーダル言語表現
• Authors: Panagiotis Koromilas and Theodoros Giannakopoulos
• Abstract要約: 本稿では,教師なしマルチモーダル言語表現の抽出について提案する。 単語レベルのアライメントされたマルチモーダルシーケンスを2次元行列にマップし、畳み込みオートエンコーダを用いて複数のデータセットを組み合わせることで埋め込みを学習する。 また,本手法は非常に軽量で,他のタスクに容易に一般化でき,少ない性能低下とほぼ同じ数のパラメータを持つ未確認データが得られることを示した。
• 参考スコア（独自算出の注目度）: 5.464072883537924
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal Language Analysis is a demanding area of research, since it is associated with two requirements: combining different modalities and capturing temporal information. During the last years, several works have been proposed in the area, mostly centered around supervised learning in downstream tasks. In this paper we propose extracting unsupervised Multimodal Language representations that are universal and can be applied to different tasks. Towards this end, we map the word-level aligned multimodal sequences to 2-D matrices and then use Convolutional Autoencoders to learn embeddings by combining multiple datasets. Extensive experimentation on Sentiment Analysis (MOSEI) and Emotion Recognition (IEMOCAP) indicate that the learned representations can achieve near-state-of-the-art performance with just the use of a Logistic Regression algorithm for downstream classification. It is also shown that our method is extremely lightweight and can be easily generalized to other tasks and unseen data with small performance drop and almost the same number of parameters. The proposed multimodal representation models are open-sourced and will help grow the applicability of Multimodal Language.
• Abstract（参考訳）: マルチモーダル言語分析(Multimodal Language Analysis)は、異なるモダリティの組み合わせと時間情報の取得という2つの要件に関連付けられている研究領域である。 近年では、主に下流のタスクにおける教師あり学習を中心に、いくつかの研究が提案されている。 本稿では,汎用的で異なるタスクに適用可能な教師なしマルチモーダル言語表現の抽出を提案する。 この目的に向けて,単語レベルの複数モーダル列を2次元行列にマッピングし,畳み込みオートエンコーダを用いて複数のデータセットを組み合わせることで埋め込みを学習する。 感性分析(MOSEI)と感情認識(IEMOCAP)の広汎な実験により、学習された表現は、下流分類にロジスティック回帰アルゴリズムを用いるだけで、ほぼ最先端のパフォーマンスを達成できることを示した。 また,本手法は極めて軽量であり,他のタスクに容易に一般化でき,少ない性能低下とほぼ同数のパラメータでデータを取得できないことを示した。 提案したマルチモーダル表現モデルはオープンソースであり、マルチモーダル言語の適用性の向上に役立つだろう。

関連論文リスト

• Multi-modal Semantic Understanding with Contrastive Cross-modal Feature Alignment [11.897888221717245]
  マルチモーダルな特徴アライメントを実現するためのCLIP誘導型コントラスト学習型アーキテクチャを提案する。 我々のモデルはタスク固有の外部知識を使わずに実装が簡単であり、そのため、他のマルチモーダルタスクに容易に移行できる。
  論文  参考訳（メタデータ） (2024-03-11T01:07:36Z)
• AnyGPT: Unified Multimodal LLM with Discrete Sequence Modeling [115.89786751297348]
  我々は,様々なモーダルの統一処理に離散表現を利用する,任意のマルチモーダル言語モデルであるAnyGPTを紹介する。 我々は、マルチモーダルテキスト中心のデータセットを構築し、マルチモーダルアライメント事前学習を行う。 我々は,AnyGPTが任意のマルチモーダル対話を円滑に行うと同時に,すべてのモダリティにまたがる特化モデルに匹敵する性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2024-02-19T15:33:10Z)
• Generative Multimodal Models are In-Context Learners [60.50927925426832]
  我々は37億のパラメータを持つ生成的マルチモーダルモデルであるEmu2を紹介し、大規模マルチモーダルシーケンスで訓練する。 Emu2は、マルチモーダルなインコンテキスト学習能力を示し、オンザフライ推論を必要とするタスクを解決しようとさえしている。
  論文  参考訳（メタデータ） (2023-12-20T18:59:58Z)
• Multimodal Graph Learning for Generative Tasks [89.44810441463652]
  マルチモーダル学習は、複数のデータモダリティを組み合わせることで、モデルが利用できるデータの種類と複雑さを広げます。 本稿では,マルチモーダルグラフ学習(MMGL)を提案する。
  論文  参考訳（メタデータ） (2023-10-11T13:25:03Z)
• On the Performance of Multimodal Language Models [4.677125897916577]
  本研究は、異なるマルチモーダル命令チューニングアプローチの比較分析を行う。 大規模言語モデルにマルチモーダル機能を組み込む際に,アーキテクチャ選択を導く上で重要な洞察を明らかにする。
  論文  参考訳（メタデータ） (2023-10-04T23:33:36Z)
• Semi-supervised Multimodal Representation Learning through a Global Workspace [2.8948274245812335]
  グローバルワークスペース」は2つの入力モダリティの共有表現である。 このアーキテクチャは、サイクル一貫性による自己教師型トレーニングに適しています。 このようなアーキテクチャは、一致したデータを必要とすることがほとんどなく、2つのモダリティを調整し、翻訳するように訓練できることを示します。
  論文  参考訳（メタデータ） (2023-06-27T12:41:36Z)
• Diffusion Model is an Effective Planner and Data Synthesizer for Multi-Task Reinforcement Learning [101.66860222415512]
  Multi-Task Diffusion Model (textscMTDiff) は、トランスフォーマーのバックボーンを組み込んだ拡散に基づく手法であり、生成計画とデータ合成のための素早い学習を行う。 生成計画において、textscMTDiffはMeta-World上の50のタスクとMaze2D上の8のマップで最先端のアルゴリズムより優れています。
  論文  参考訳（メタデータ） (2023-05-29T05:20:38Z)
• Multilingual Multimodal Learning with Machine Translated Text [27.7207234512674]
  英語のマルチモーダルデータの機械翻訳が、容易に利用できる多言語データの欠如を抑えるための効果的なプロキシとなるかどうかを考察する。 得られたデータセットからそのような翻訳を自動的に除去する2つの指標を提案する。 In experiment on five task across 20 languages in the IGLUE benchmark, we show that translated data can provide a useful signal for multilingual multimodal learning。
  論文  参考訳（メタデータ） (2022-10-24T11:41:20Z)
• Multi-scale Cooperative Multimodal Transformers for Multimodal Sentiment Analysis in Videos [58.93586436289648]
  マルチモーダル感情分析のためのマルチスケール協調型マルチモーダルトランス (MCMulT) アーキテクチャを提案する。 本モデルは,非整合型マルチモーダル列に対する既存手法よりも優れ,整合型マルチモーダル列に対する強い性能を有する。
  論文  参考訳（メタデータ） (2022-06-16T07:47:57Z)
• METEOR: Learning Memory and Time Efficient Representations from Multi-modal Data Streams [19.22829945777267]
  本稿では,Memory and Time Efficient Online Representation Learning(METEOR)について紹介する。 従来のメモリ集約型埋め込みと比較して,METEORはメモリ使用量を約80%削減しつつ,表現の質を保っていることを示す。
  論文  参考訳（メタデータ） (2020-07-23T08:18:02Z)
• A Novel Graph-based Multi-modal Fusion Encoder for Neural Machine Translation [131.33610549540043]
  NMTのための新しいグラフベースのマルチモーダル核融合エンコーダを提案する。 まず、統合マルチモーダルグラフを用いて、入力文と画像を表す。 次に、複数のグラフベースのマルチモーダル融合層を積み重ねて、ノード表現を学習するためのセマンティックな相互作用を反復的に実行する。
  論文  参考訳（メタデータ） (2020-07-17T04:06:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。