論文の概要: RegBN: Batch Normalization of Multimodal Data with Regularization
- arxiv url: http://arxiv.org/abs/2310.00641v2
- Date: Sun, 19 Nov 2023 18:02:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-22 17:43:34.794018
- Title: RegBN: Batch Normalization of Multimodal Data with Regularization
- Title（参考訳）: RegBN: 正規化を伴うマルチモーダルデータのバッチ正規化
- Authors: Morteza Ghahremani and Christian Wachinger
- Abstract要約: 本稿では、RegBNと呼ばれるマルチモーダルデータの正規化のための新しいアプローチを提案する。
RegBNはFrobeniusのノルムを正規化用語として使用して、共同創設者の副作用と、異なるデータソース間の基盤となる依存関係に対処している。
5つの研究領域の8つのデータベース上でRegBNの有効性を検証する。
- 参考スコア（独自算出の注目度）: 5.293979881130494
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recent years have witnessed a surge of interest in integrating
high-dimensional data captured by multisource sensors, driven by the impressive
success of neural networks in the integration of multimodal data. However, the
integration of heterogeneous multimodal data poses a significant challenge, as
confounding effects and dependencies among such heterogeneous data sources
introduce unwanted variability and bias, leading to suboptimal performance of
multimodal models. Therefore, it becomes crucial to normalize the low- or
high-level features extracted from data modalities before their fusion takes
place. This paper introduces a novel approach for the normalization of
multimodal data, called RegBN, that incorporates regularization. RegBN uses the
Frobenius norm as a regularizer term to address the side effects of confounders
and underlying dependencies among different data sources. The proposed method
generalizes well across multiple modalities and eliminates the need for
learnable parameters, simplifying training and inference. We validate the
effectiveness of RegBN on eight databases from five research areas,
encompassing diverse modalities such as language, audio, image, video, depth,
tabular, and 3D MRI. The proposed method demonstrates broad applicability
across different architectures such as multilayer perceptrons, convolutional
neural networks, and vision transformers, enabling effective normalization of
both low- and high-level features in multimodal neural networks. RegBN is
available at \url{https://github.com/mogvision/regbn}.
- Abstract（参考訳）: 近年、マルチモーダルデータの統合におけるニューラルネットワークの成功によって、マルチソースセンサーが捉えた高次元データを統合することへの関心が高まっている。
しかし、不均一なマルチモーダルデータの統合は、不均一なデータソース間の結合効果と依存関係が望ましくない変数とバイアスを導入し、マルチモーダルモデルの準最適性能をもたらすなど、大きな課題となる。
そのため、融合前にデータモダリティから抽出した低レベル・高レベルの特徴を正規化することが重要となる。
本稿では,正規化を組み込んだマルチモーダルデータの正規化のための新しい手法,reginbnを提案する。
RegBNはFrobeniusのノルムを正規化用語として使用して、共同創設者の副作用と、異なるデータソース間の基盤となる依存関係に対処している。
提案手法は複数のモードにまたがってうまく一般化し,学習可能なパラメータの必要性を排除し,トレーニングや推論を簡素化する。
言語, 音声, 画像, ビデオ, 深度, 表層, 三次元MRIなどの多彩なモーダル性を含む5つの研究領域の8つのデータベース上でRegBNの有効性を検証する。
提案手法は多層パーセプトロン,畳み込みニューラルネットワーク,視覚トランスフォーマーなどの異なるアーキテクチャに適用可能であり,マルチモーダルニューラルネットワークにおいて低レベルと高レベルの両方の機能を効果的に正規化できることを示す。
RegBN は \url{https://github.com/mogvision/regbn} で利用可能である。
関連論文リスト
- Supervised Batch Normalization [0.08192907805418585]
バッチ正規化(BN)はニューラルネットワークで広く使われている手法である。
本稿では,先駆的アプローチであるSupervised Batch Normalization (SBN)を提案する。
我々はコンテキストをモードとして定義し、類似した特徴を持つデータを分類する。
論文 参考訳（メタデータ） (2024-05-27T10:30:21Z) - Hybridization of Capsule and LSTM Networks for unsupervised anomaly
detection on multivariate data [0.0]
本稿では,Long-Short-Term-Memory(LSTM)とCapsule Networksを1つのネットワークに結合した新しいNNアーキテクチャを提案する。
提案手法は教師なし学習手法を用いて大量のラベル付きトレーニングデータを見つける際の問題を克服する。
論文 参考訳（メタデータ） (2022-02-11T10:33:53Z) - Geometric Multimodal Deep Learning with Multi-Scaled Graph Wavelet
Convolutional Network [21.06669693699965]
マルチモーダルデータは、非常に異なる統計特性を持つ様々な領域のデータを統合することで、自然現象に関する情報を提供する。
マルチモーダルデータのモダリティ内およびモダリティ間情報の取得は,マルチモーダル学習法の基本的能力である。
非ユークリッド領域にディープラーニング手法を一般化することは、新たな研究分野である。
論文 参考訳（メタデータ） (2021-11-26T08:41:51Z) - LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。
フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
論文 参考訳（メタデータ） (2021-03-01T03:10:11Z) - Efficient Construction of Nonlinear Models over Normalized Data [21.531781003420573]
混合モデルを構築するためにバイナリ結合とマルチウェイ結合の両方を系統的に分解する方法を示す。
本稿では,ネットワークの学習を因子的に行うアルゴリズムを提案し,性能上の優位性を提供する。
論文 参考訳（メタデータ） (2020-11-23T19:20:03Z) - Deep Multimodal Fusion by Channel Exchanging [87.40768169300898]
本稿では,異なるモードのサブネットワーク間で動的にチャネルを交換するパラメータフリーマルチモーダル融合フレームワークを提案する。
このような交換プロセスの有効性は、畳み込みフィルタを共有してもBN層をモダリティで分離しておくことで保証される。
論文 参考訳（メタデータ） (2020-11-10T09:53:20Z) - A Multi-Semantic Metapath Model for Large Scale Heterogeneous Network
Representation Learning [52.83948119677194]
大規模不均一表現学習のためのマルチセマンティックメタパス(MSM)モデルを提案する。
具体的には,マルチセマンティックなメタパスに基づくランダムウォークを生成し,不均衡な分布を扱うヘテロジニアスな近傍を構築する。
提案するフレームワークに対して,AmazonとAlibabaの2つの挑戦的なデータセットに対して,体系的な評価を行う。
論文 参考訳（メタデータ） (2020-07-19T22:50:20Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳（メタデータ） (2020-03-10T03:10:41Z) - MS-Net: Multi-Site Network for Improving Prostate Segmentation with
Heterogeneous MRI Data [75.73881040581767]
本稿では,ロバスト表現を学習し,前立腺のセグメンテーションを改善するための新しいマルチサイトネットワーク(MS-Net)を提案する。
当社のMS-Netは,すべてのデータセットのパフォーマンスを一貫して改善し,マルチサイト学習における最先端の手法よりも優れています。
論文 参考訳（メタデータ） (2020-02-09T14:11:50Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。