論文の概要: A Review on Methods and Applications in Multimodal Deep Learning

• arxiv url: http://arxiv.org/abs/2202.09195v1
• Date: Fri, 18 Feb 2022 13:50:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-21 18:01:58.199317
• Title: A Review on Methods and Applications in Multimodal Deep Learning
• Title（参考訳）: マルチモーダル深層学習における手法と応用
• Authors: Jabeen Summaira, Xi Li, Amin Muhammad Shoib, Jabbar Abdul
• Abstract要約: マルチモーダル深層学習は、様々な感覚が情報処理に携わっているときに、よりよく理解し、分析するのに役立つ。 本稿では,画像,ビデオ,テキスト,音声,身体ジェスチャー,表情,生理的信号など,多種類のモダリティに焦点を当てる。 様々なマルチモーダル深層学習手法のきめ細かい分類法を提案し,様々な応用をより深く研究した。
• 参考スコア（独自算出の注目度）: 8.152125331009389
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Learning has implemented a wide range of applications and has become increasingly popular in recent years. The goal of multimodal deep learning (MMDL) is to create models that can process and link information using various modalities. Despite the extensive development made for unimodal learning, it still cannot cover all the aspects of human learning. Multimodal learning helps to understand and analyze better when various senses are engaged in the processing of information. This paper focuses on multiple types of modalities, i.e., image, video, text, audio, body gestures, facial expressions, and physiological signals. Detailed analysis of the baseline approaches and an in-depth study of recent advancements during the last five years (2017 to 2021) in multimodal deep learning applications has been provided. A fine-grained taxonomy of various multimodal deep learning methods is proposed, elaborating on different applications in more depth. Lastly, main issues are highlighted separately for each domain, along with their possible future research directions.
• Abstract（参考訳）: Deep Learningは幅広いアプリケーションを実装しており、近年はますます人気が高まっている。 マルチモーダル深層学習(MMDL)の目的は、様々なモーダルを用いて情報を処理・リンクできるモデルを作成することである。 一助学習のための広範な発展にもかかわらず、人間の学習のあらゆる側面をカバーすることはできない。 マルチモーダル学習は、様々な感覚が情報の処理に関わったときに、理解し、よりよく分析するのに役立つ。 本稿では,画像,ビデオ,テキスト,音声,身体ジェスチャー,表情,生理的信号など,多種類のモダリティに焦点を当てる。 マルチモーダルディープラーニングアプリケーションにおけるベースラインアプローチの詳細な分析と過去5年間(2017年-2021年)の最近の進歩に関する詳細な研究が提供されている。 様々なマルチモーダル深層学習手法のきめ細かい分類法を提案し,様々な応用をより深く研究した。 最後に、主要な課題は各ドメインについて個別に強調され、将来的な研究の方向性が示される。

関連論文リスト

• Multimodal Methods for Analyzing Learning and Training Environments: A Systematic Literature Review [3.0712840129998513]
  本稿では,近年の方法論的進歩を包括する分類学と枠組みを提案する。 我々は,新たなデータ融合カテゴリであるMid fusionを導入し,文献レビューを精査するグラフベースの手法を引用グラフプルーニングと呼ぶ。 マルチモーダル学習とトレーニング研究と基礎的AI研究のギャップを埋めるために、さらなる研究が必要である。
  論文  参考訳（メタデータ） (2024-08-22T22:42:23Z)
• LLMs Meet Multimodal Generation and Editing: A Survey [89.76691959033323]
  本調査では,画像,ビデオ,3D,オーディオなど,さまざまな領域にわたるマルチモーダル生成と編集について詳述する。 これらの分野でのマイルストーンの成果を要約し、これらの研究をLLM法とCLIP/T5法に分類する。 我々は、既存の生成モデルを人間とコンピュータの相互作用に活用できるツール強化マルチモーダルエージェントを掘り下げる。
  論文  参考訳（メタデータ） (2024-05-29T17:59:20Z)
• Learning on Multimodal Graphs: A Survey [6.362513821299131]
  マルチモーダルデータは医療、ソーシャルメディア、交通など様々な領域に及んでいる。 マルチモーダルグラフ学習(MGL)は、人工知能(AI)アプリケーションの成功に不可欠である。
  論文  参考訳（メタデータ） (2024-02-07T23:50:00Z)
• Generative Multi-Modal Knowledge Retrieval with Large Language Models [75.70313858231833]
  マルチモーダル知識検索のための革新的なエンドツーエンド生成フレームワークを提案する。 我々のフレームワークは,大規模言語モデル(LLM)が仮想知識ベースとして効果的に機能するという事実を生かしている。 強いベースラインと比較すると,すべての評価指標に対して3.0%から14.6%の大幅な改善が見られた。
  論文  参考訳（メタデータ） (2024-01-16T08:44:29Z)
• Domain Generalization for Mammographic Image Analysis with Contrastive Learning [62.25104935889111]
  効果的なディープラーニングモデルのトレーニングには、さまざまなスタイルと品質を備えた大規模なデータが必要である。 より優れたスタイルの一般化能力を備えた深層学習モデルを実現するために,新しいコントラスト学習法が開発された。 提案手法は,様々なベンダスタイルドメインのマンモグラムや,いくつかのパブリックデータセットを用いて,広範囲かつ厳密に評価されている。
  論文  参考訳（メタデータ） (2023-04-20T11:40:21Z)
• Multimodality Representation Learning: A Survey on Evolution, Pretraining and Its Applications [47.501121601856795]
  マルチモダリティ表現学習は、異なるモダリティとそれらの相関から情報を埋め込む学習手法である。 異なるモダリティからのクロスモーダル相互作用と補完情報は、高度なモデルが任意のマルチモーダルタスクを実行するために不可欠である。 本調査では,深層学習型マルチモーダルアーキテクチャの進化と拡張に関する文献を報告する。
  論文  参考訳（メタデータ） (2023-02-01T11:48:34Z)
• Multi-Task Learning for Visual Scene Understanding [7.191593674138455]
  この論文はコンピュータビジョンの文脈におけるマルチタスク学習に関するものである。 マルチタスク学習の重要な側面に対処するいくつかの手法を提案する。 その結果,マルチタスク学習の最先端にいくつかの進歩が見られた。
  論文  参考訳（メタデータ） (2022-03-28T16:57:58Z)
• Channel Exchanging Networks for Multimodal and Multitask Dense Image Prediction [125.18248926508045]
  本稿では,マルチモーダル融合とマルチタスク学習の両方に適用可能な,自己適応的でパラメータフリーなチャネル交換ネットワーク(CEN)を提案する。 CENは異なるモダリティのワーク間でチャネルを動的に交換する。 濃密な画像予測を応用するために、CENの有効性は4つの異なるシナリオで検証される。
  論文  参考訳（メタデータ） (2021-12-04T05:47:54Z)
• Recent Advances and Trends in Multimodal Deep Learning: A Review [9.11022096530605]
  マルチモーダルディープラーニングは、様々なモーダルを使って情報を処理およびリンクできるモデルを作成することを目的としている。 本稿では,画像,ビデオ,テキスト,音声,身体ジェスチャー,表情,生理的信号など,多種類のモダリティに焦点を当てる。 様々なマルチモーダル深層学習応用のきめ細かい分類法が提案され、様々な応用をより深く研究している。
  論文  参考訳（メタデータ） (2021-05-24T04:20:45Z)
• Deep Multimodal Neural Architecture Search [178.35131768344246]
  様々なマルチモーダル学習タスクのための一般化された深層マルチモーダルニューラルアーキテクチャサーチ(MMnas)フレームワークを考案する。 マルチモーダル入力が与えられたら、まずプリミティブ演算のセットを定義し、その後、ディープエンコーダ-デコーダベースの統一バックボーンを構築する。 統合されたバックボーンの上にタスク固有のヘッドをアタッチして、異なるマルチモーダル学習タスクに取り組む。
  論文  参考訳（メタデータ） (2020-04-25T07:00:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。