論文の概要: Multimodal and Crossmodal AI for Smart Data Analysis
- arxiv url: http://arxiv.org/abs/2209.01308v1
- Date: Sat, 3 Sep 2022 01:34:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-07 13:02:21.935018
- Title: Multimodal and Crossmodal AI for Smart Data Analysis
- Title(参考訳): スマートデータ分析のためのマルチモーダルおよびクロスモーダルai
- Authors: Minh-Son Dao
- Abstract要約: 上記のアプローチのバランスをとるために,マルチモーダル・クロスモーダルAIフレームワーク(MMCRAI)を導入する。
また、このフレームワークとxDataPF上に構築された様々なアプリケーションを紹介し、議論する。
- 参考スコア(独自算出の注目度): 0.15229257192293202
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, the multimodal and crossmodal AI techniques have attracted the
attention of communities. The former aims to collect disjointed and
heterogeneous data to compensate for complementary information to enhance
robust prediction. The latter targets to utilize one modality to predict
another modality by discovering the common attention sharing between them.
Although both approaches share the same target: generate smart data from
collected raw data, the former demands more modalities while the latter aims to
decrease the variety of modalities. This paper first discusses the role of
multimodal and crossmodal AI in smart data analysis in general. Then, we
introduce the multimodal and crossmodal AI framework (MMCRAI) to balance the
abovementioned approaches and make it easy to scale into different domains.
This framework is integrated into xDataPF (the cross-data platform
https://www.xdata.nict.jp/). We also introduce and discuss various applications
built on this framework and xDataPF.
- Abstract(参考訳): 近年,マルチモーダル・クロスモーダルなAI技術がコミュニティの注目を集めている。
前者は不均一なデータを集めて補足情報を補い、堅牢な予測を強化することを目的としている。
後者は、一つのモダリティを利用して別のモダリティを予測することを目的としている。
両方のアプローチは同じターゲットを共有している: 収集した生データからスマートデータを生成するが、前者はよりモダリティを要求する一方、後者は様々なモダリティを減らすことを目指している。
本稿ではまず,スマートデータ解析におけるマルチモーダルAIとクロスモーダルAIの役割について論じる。
そして、上記のアプローチのバランスをとるために、MMCRAI(Multimodal and Crossmodal AI framework)を導入し、異なるドメインに簡単にスケールできるようにする。
このフレームワークはxdatapf(cross-data platform https://www.xdata.nict.jp/)に統合されている。
また、このフレームワークとxDataPF上に構築された様々なアプリケーションを紹介し、議論する。
関連論文リスト
- SUMMIT: Source-Free Adaptation of Uni-Modal Models to Multi-Modal
Targets [30.262094419776208]
現在のアプローチでは、ソースデータが適応中に利用可能であり、ソースはペア化されたマルチモーダルデータで構成されていると仮定している。
本稿では,2つの相補的な擬似ラベル融合法を自動選択するスイッチングフレームワークを提案する。
提案手法は,mIoUが競合するベースラインよりも最大12%向上することを示す。
論文 参考訳(メタデータ) (2023-08-23T02:57:58Z) - Learning Unseen Modality Interaction [54.23533023883659]
マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。
我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。
異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
論文 参考訳(メタデータ) (2023-06-22T10:53:10Z) - Unimodal Training-Multimodal Prediction: Cross-modal Federated Learning
with Hierarchical Aggregation [16.308470947384134]
HA-Fedformerは新しいトランスフォーマーベースのモデルで、クライアントでのアンモダルデータセットのみを使用して、単一モダルトレーニングを可能にする。
我々は,マルコフ連鎖モンテカルロサンプリングを用いた局所エンコーダの不確実性を考慮したアグリゲーション法を開発した。
一般的な感情分析ベンチマークであるCMU-MOSIとCMU-MOSEIの実験は、HA-Fedformerが最先端のマルチモーダルモデルを大幅に上回ることを示した。
論文 参考訳(メタデータ) (2023-03-27T07:07:33Z) - BiCro: Noisy Correspondence Rectification for Multi-modality Data via
Bi-directional Cross-modal Similarity Consistency [66.8685113725007]
BiCroは、ノイズの多いデータペアのソフトラベルを推定して、その真の対応度を反映することを目的としている。
3つの一般的なクロスモーダルマッチングデータセットの実験により、BiCroは様々なマッチングモデルのノイズ・ロバスト性を大幅に改善することを示した。
論文 参考訳(メタデータ) (2023-03-22T09:33:50Z) - IMF: Interactive Multimodal Fusion Model for Link Prediction [13.766345726697404]
異なるモダリティからの知識を統合するために,インタラクティブ・マルチモーダル・フュージョン(IMF)モデルを導入する。
提案手法は,実世界の複数のデータセットに対する経験的評価によって有効であることが実証された。
論文 参考訳(メタデータ) (2023-03-20T01:20:02Z) - Align and Attend: Multimodal Summarization with Dual Contrastive Losses [57.83012574678091]
マルチモーダル要約の目標は、異なるモーダルから最も重要な情報を抽出し、出力要約を形成することである。
既存の手法では、異なるモダリティ間の時間的対応の活用に失敗し、異なるサンプル間の本質的な相関を無視する。
A2Summ(Align and Attend Multimodal Summarization)は、マルチモーダル入力を効果的に整列し、参加できる統一型マルチモーダルトランスフォーマーモデルである。
論文 参考訳(メタデータ) (2023-03-13T17:01:42Z) - Multi-Modal Mutual Information Maximization: A Novel Approach for
Unsupervised Deep Cross-Modal Hashing [73.29587731448345]
我々はCross-Modal Info-Max Hashing (CMIMH)と呼ばれる新しい手法を提案する。
モーダル内およびモーダル間の類似性を両立できる情報表現を学習する。
提案手法は、他の最先端のクロスモーダル検索手法よりも一貫して優れている。
論文 参考訳(メタデータ) (2021-12-13T08:58:03Z) - Improving Multimodal Fusion with Hierarchical Mutual Information
Maximization for Multimodal Sentiment Analysis [16.32509144501822]
本稿では,MultiModal InfoMax (MMIM) というフレームワークを提案する。
このフレームワークは、下流のMSAタスクのパフォーマンスを改善するために、メインタスク(MSA)と共同で訓練されている。
論文 参考訳(メタデータ) (2021-09-01T14:45:16Z) - Improving Multimodal fusion via Mutual Dependency Maximisation [5.73995120847626]
マルチモーダル・感情分析は研究のトレンドとなっている分野であり、マルチモーダル・フュージョンは最も活発なトピックの1つである。
本研究では,未探索の罰則を調査し,モダリティ間の依存性を測定するための新たな目的セットを提案する。
我々は、我々の新しい罰則が様々な最先端モデルに対して一貫した改善(正確性で最大4.3ドル)をもたらすことを示した。
論文 参考訳(メタデータ) (2021-08-31T06:26:26Z) - Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal
Sentiment Analysis [96.46952672172021]
Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。
モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
論文 参考訳(メタデータ) (2021-07-28T23:33:42Z) - Divide-and-Conquer for Lane-Aware Diverse Trajectory Prediction [71.97877759413272]
軌道予測は、自動運転車が行動を計画し実行するための安全クリティカルなツールです。
近年の手法は,WTAやベスト・オブ・マニーといったマルチコース学習の目標を用いて,強力なパフォーマンスを実現している。
我々の研究は、軌道予測、学習出力、そして運転知識を使って制約を課すことによるより良い予測における2つの重要な課題に対処する。
論文 参考訳(メタデータ) (2021-04-16T17:58:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。