論文の概要: Multi-Modality Multi-Loss Fusion Network

• arxiv url: http://arxiv.org/abs/2308.00264v1
• Date: Tue, 1 Aug 2023 03:54:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-02 15:31:04.330532
• Title: Multi-Modality Multi-Loss Fusion Network
• Title（参考訳）: マルチモダリティマルチロス融合ネットワーク
• Authors: Zehui Wu, Ziwei Gong, Jaywon Koo, Julia Hirschberg
• Abstract要約: 感情検出を改善するために,複数のモーダルにまたがる特徴の最適選択と融合について検討した。 我々は、異なる融合法を比較し、マルチモダリティ融合ネットワークにおけるマルチロストレーニングの影響について検討する。 我々の最良のモデルは、3つのデータセットに対して最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 9.327079342615363
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work we investigate the optimal selection and fusion of features across multiple modalities and combine these in a neural network to improve emotion detection. We compare different fusion methods and examine the impact of multi-loss training within the multi-modality fusion network, identifying useful findings relating to subnet performance. Our best model achieves state-of-the-art performance for three datasets (CMU-MOSI, CMU-MOSEI and CH-SIMS), and outperforms the other methods in most metrics. We have found that training on multimodal features improves single modality testing and designing fusion methods based on dataset annotation schema enhances model performance. These results suggest a roadmap towards an optimized feature selection and fusion approach for enhancing emotion detection in neural networks.
• Abstract（参考訳）: 本研究では,複数のモダリティにまたがる特徴の最適選択と融合について検討し,これらをニューラルネットワークで組み合わせ,感情検出を改善する。 異なる融合法を比較し,マルチモダリティ融合ネットワークにおけるマルチロストレーニングの影響を調べ,サブネット性能に関する有用な知見を明らかにした。 我々の最良のモデルは3つのデータセット(CMU-MOSI、CMU-MOSEI、CH-SIMS)の最先端性能を達成し、ほとんどの指標において他の手法よりも優れています。 マルチモーダル機能のトレーニングにより、単一のモダリティテストが改善され、データセットアノテーションスキーマに基づいた融合メソッドの設計がモデルパフォーマンスを向上させることが判明した。 これらの結果は、ニューラルネットワークにおける感情検出を強化するための最適化された特徴選択および融合アプローチへのロードマップを示唆する。

関連論文リスト

• Diffusion Models as Network Optimizers: Explorations and Analysis [71.69869025878856]
  生成拡散モデル(GDM)は,ネットワーク最適化の新しいアプローチとして期待されている。 本研究ではまず,生成モデルの本質的な特徴について考察する。 本稿では,識別的ネットワーク最適化よりも生成モデルの利点を簡潔かつ直感的に示す。
  論文  参考訳（メタデータ） (2024-11-01T09:05:47Z)
• GCM-Net: Graph-enhanced Cross-Modal Infusion with a Metaheuristic-Driven Network for Video Sentiment and Emotion Analysis [2.012311338995539]
  本稿では,発話からのマルチモーダルな文脈情報を活用し,メタヒューリスティックなアルゴリズムを用いて発話レベルの感情と感情予測を学習する新しい枠組みを提案する。 提案手法の有効性を示すため,我々は3つの顕著なマルチモーダル・ベンチマーク・データセットについて広範な評価を行った。
  論文  参考訳（メタデータ） (2024-10-02T10:07:48Z)
• Multi-Objective Neural Architecture Search for In-Memory Computing [0.5892638927736115]
  我々は、インメモリコンピューティングアーキテクチャに多様な機械学習(ML)タスクをデプロイする効率を高めるために、ニューラルネットワークサーチ(NAS)を採用している。 IMCアーキテクチャ展開のためのNASアプローチの評価は、3つの異なる画像分類データセットにまたがる。
  論文  参考訳（メタデータ） (2024-06-10T19:17:09Z)
• MLF-DET: Multi-Level Fusion for Cross-Modal 3D Object Detection [54.52102265418295]
  MLF-DETと呼ばれる,高性能なクロスモーダル3DオブジェクトDrectionのための,新規かつ効果的なマルチレベルフュージョンネットワークを提案する。 特徴レベルの融合では、マルチスケールのボクセル特徴と画像の特徴を密集したマルチスケールのボクセル画像融合(MVI)モジュールを提示する。 本稿では,画像のセマンティクスを利用して検出候補の信頼度を補正するFCR(Feature-cued Confidence Rectification)モジュールを提案する。
  論文  参考訳（メタデータ） (2023-07-18T11:26:02Z)
• An Empirical Study of Multimodal Model Merging [148.48412442848795]
  モデルマージは、異なるタスクでトレーニングされた複数のモデルを融合してマルチタスクソリューションを生成するテクニックである。 我々は、モダリティ固有のアーキテクチャのビジョン、言語、およびクロスモーダルトランスフォーマーをマージできる新しい目標に向けて研究を行っている。 本稿では,重み間の距離を推定し,マージ結果の指標となる2つの指標を提案する。
  論文  参考訳（メタデータ） (2023-04-28T15:43:21Z)
• Sparse Interaction Additive Networks via Feature Interaction Detection and Sparse Selection [10.191597755296163]
  我々は,必要な特徴の組み合わせを効率的に識別する,抽出可能な選択アルゴリズムを開発した。 提案するスパース・インタラクション・アダプティブ・ネットワーク(SIAN)は,単純かつ解釈可能なモデルから完全に接続されたニューラルネットワークへのブリッジを構築する。
  論文  参考訳（メタデータ） (2022-09-19T19:57:17Z)
• Multimodal E-Commerce Product Classification Using Hierarchical Fusion [0.0]
  提案手法は,本課題における一助モデルの性能と類似モデルの性能を有意に向上させた。 我々は,複数のヒューズ技術を用いて実験を行い,単一モーダルネットワークの個別埋め込みを結合する最も優れた手法は,結合と特徴ベクトルの平均化によるものであることを確認した。
  論文  参考訳（メタデータ） (2022-07-07T14:04:42Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)
• A novel multimodal fusion network based on a joint coding model for lane line segmentation [22.89466867866239]
  本稿では,情報理論の観点から新しいマルチモーダル融合アーキテクチャを提案する。 LiDARカメラ融合ネットワークを用いた実用性を発揮します。 我々の最適核融合ネットワークは85%以上の車線精度と98.7%以上の全体を達成する。
  論文  参考訳（メタデータ） (2021-03-20T06:47:58Z)
• Recursive Multi-model Complementary Deep Fusion forRobust Salient Object Detection via Parallel Sub Networks [62.26677215668959]
  完全畳み込みネットワークは、正体検出(SOD)分野において優れた性能を示している。 本稿では,全く異なるネットワークアーキテクチャを持つ並列サブネットワークからなる,より広いネットワークアーキテクチャを提案する。 いくつかの有名なベンチマークの実験では、提案されたより広範なフレームワークの優れた性能、優れた一般化、強力な学習能力が明らかに示されている。
  論文  参考訳（メタデータ） (2020-08-07T10:39:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。