Fugu-MT 論文翻訳(概要): A Two-Stage Progressive Pre-training using Multi-Modal Contrastive Masked Autoencoders

論文の概要: A Two-Stage Progressive Pre-training using Multi-Modal Contrastive Masked Autoencoders

arxiv url: http://arxiv.org/abs/2408.02245v2
Date: Mon, 16 Sep 2024 06:40:25 GMT
ステータス: 処理完了
システム内更新日: 2024-09-18 01:06:42.673301
Title: A Two-Stage Progressive Pre-training using Multi-Modal Contrastive Masked Autoencoders
Title（参考訳）: マルチモードコントラストマスクオートエンコーダを用いた2段階プログレッシブ事前学習
Authors: Muhammad Abdullah Jamal, Omid Mohareri,
Abstract要約: 本稿では,RGB-Dデータセットを利用した画像理解タスクのプログレッシブ事前学習手法を提案する。第一段階では、コントラスト学習を用いてモデルを事前学習し、クロスモーダル表現を学習する。第2段階では、マスク付きオートエンコーディングと雑音予測を用いてモデルをさらに事前訓練する。我々のアプローチはスケーラブルで堅牢で、RGB-Dデータセットを事前学習するのに適しています。
参考スコア（独自算出の注目度）: 5.069884983892437
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: In this paper, we propose a new progressive pre-training method for image understanding tasks which leverages RGB-D datasets. The method utilizes Multi-Modal Contrastive Masked Autoencoder and Denoising techniques. Our proposed approach consists of two stages. In the first stage, we pre-train the model using contrastive learning to learn cross-modal representations. In the second stage, we further pre-train the model using masked autoencoding and denoising/noise prediction used in diffusion models. Masked autoencoding focuses on reconstructing the missing patches in the input modality using local spatial correlations, while denoising learns high frequency components of the input data. Moreover, it incorporates global distillation in the second stage by leveraging the knowledge acquired in stage one. Our approach is scalable, robust and suitable for pre-training RGB-D datasets. Extensive experiments on multiple datasets such as ScanNet, NYUv2 and SUN RGB-D show the efficacy and superior performance of our approach. Specifically, we show an improvement of +1.3% mIoU against Mask3D on ScanNet semantic segmentation. We further demonstrate the effectiveness of our approach in low-data regime by evaluating it for semantic segmentation task against the state-of-the-art methods.
Abstract（参考訳）: 本稿では,RGB-Dデータセットを利用した画像理解タスクのための新しいプログレッシブ事前学習手法を提案する。マルチモーダル・コントラスト・マスケッド・オートエンコーダとデノライズ技術を利用する。提案手法は2段階からなる。第一段階では、コントラスト学習を用いてモデルを事前学習し、クロスモーダル表現を学習する。第2段階では、拡散モデルで用いられるマスク付き自己符号化と雑音予測を用いて、モデルをさらに事前訓練する。 Masked Autoencodingは、局所的な空間相関を用いて入力モダリティの欠落したパッチを再構成することに焦点を当て、denoisingは入力データの高周波成分を学習する。さらに、第1段で得た知識を活用して、第2段でグローバル蒸留を取り入れている。我々のアプローチはスケーラブルで堅牢で、RGB-Dデータセットを事前学習するのに適しています。 ScanNet、NYUv2、SUN RGB-Dといった複数のデータセットに対する大規模な実験は、我々のアプローチの有効性と優れた性能を示している。具体的には、ScanNetセマンティックセグメンテーションにおけるMask3Dに対する+1.3% mIoUの改善を示す。さらに,本手法の有効性を,最先端手法に対するセマンティックセグメンテーションタスクとして評価することで実証する。

関連論文リスト

Data-efficient Event Camera Pre-training via Disentangled Masked Modeling [20.987277885575963]
イベントカメラのための新しいデータ教師付きボクセルベースの自己教師付き学習手法を提案する。提案手法は,時間的情報を犠牲にしたり,ペア画像データを直接利用したりする従来の手法の限界を克服する。優れた一般化性能を示し、パラメータが少なく、計算コストも低い様々なタスクで大幅に改善されている。
論文参考訳（メタデータ） (2024-03-01T10:02:25Z)
M$^{3}$3D: Learning 3D priors using Multi-Modal Masked Autoencoders for 2D image and video understanding [5.989397492717352]
M$3$3D ($underlineM$ulti-$underlineM$odal $underlineM$asked $underline3D$) はマルチモーダルマスキングオートエンコーダをベースとする。我々は,Masked Image Modeling(MIM)とコントラスト学習という,自己教師型学習フレームワークを統合した。実験の結果、M$3$3D は ScanNet, NYUv2, UCF-101, OR-AR における最先端のアプローチよりも優れていた。
論文参考訳（メタデータ） (2023-09-26T23:52:09Z)
Efficient View Synthesis and 3D-based Multi-Frame Denoising with Multiplane Feature Representations [1.18885605647513]
本稿では,3Dベースのマルチフレームデノベーション手法を初めて導入し,より少ない計算量で2Dベースのデノベーションを著しく上回った。特徴空間に多面体を操作する学習可能なエンコーダ-レンダペアを導入することにより,新しいビュー合成のための多面体画像(MPI)フレームワークを拡張した。
論文参考訳（メタデータ） (2023-03-31T15:23:35Z)
CoMAE: Single Model Hybrid Pre-training on Small-Scale RGB-D Datasets [50.6643933702394]
本稿では,RGBと深度変調のための単一モデル自己教師型ハイブリッド事前学習フレームワークについて述べる。我々のCoMAEは、コントラスト学習とマスク画像モデリングという2つの一般的な自己教師付き表現学習アルゴリズムを統合するためのカリキュラム学習戦略を提示している。
論文参考訳（メタデータ） (2023-02-13T07:09:45Z)
Multi-scale Transformer Network with Edge-aware Pre-training for Cross-Modality MR Image Synthesis [52.41439725865149]
クロスモダリティ磁気共鳴(MR)画像合成は、与えられたモダリティから欠落するモダリティを生成するために用いられる。既存の(教師付き学習)手法は、効果的な合成モデルを訓練するために、多くのペア化されたマルチモーダルデータを必要とすることが多い。マルチスケールトランスフォーマーネットワーク(MT-Net)を提案する。
論文参考訳（メタデータ） (2022-12-02T11:40:40Z)
WNet: A data-driven dual-domain denoising model for sparse-view computed tomography with a trainable reconstruction layer [3.832032989515628]
スパース・ビュー・アーティファクト・デノナイズのためのトレーニング可能な再構成層を含むデータ駆動型デュアルドメイン・デノナイズ・モデルWNetを提案する。我々は2つの臨床的に関連のあるデータセットを用いてネットワークをトレーニングし、その結果を3種類のスパースビューCTと再構成アルゴリズムと比較した。
論文参考訳（メタデータ） (2022-07-01T13:17:01Z)
Activation to Saliency: Forming High-Quality Labels for Unsupervised Salient Object Detection [54.92703325989853]
本稿では,高品質なサリエンシキューを効果的に生成する2段階アクティベーション・ツー・サリエンシ(A2S)フレームワークを提案する。トレーニングプロセス全体において、私たちのフレームワークにヒューマンアノテーションは関与していません。本フレームワークは,既存のUSOD法と比較して高い性能を示した。
論文参考訳（メタデータ） (2021-12-07T11:54:06Z)
Learning a Model-Driven Variational Network for Deformable Image Registration [89.9830129923847]
VR-Netは、教師なしの変形可能な画像登録のための新しいカスケード可変ネットワークである。登録精度において最先端のディープラーニング手法よりも優れています。ディープラーニングの高速推論速度と変分モデルのデータ効率を維持している。
論文参考訳（メタデータ） (2021-05-25T21:37:37Z)
Efficient Two-Stream Network for Violence Detection Using Separable Convolutional LSTM [0.0]
Separable Convolutional LSTM(SepConvLSTM)と予め訓練されたMobileNetを活用した効率的な2ストリームディープラーニングアーキテクチャを提案する。 SepConvLSTMは、ConvLSTMの各ゲートの畳み込み操作を深さ方向に分離可能な畳み込みに置き換えて構築されます。我々のモデルは、大きくて挑戦的なrwf-2000データセットの精度を2%以上上回っている。
論文参考訳（メタデータ） (2021-02-21T12:01:48Z)
Unsupervised Deep Cross-modality Spectral Hashing [65.3842441716661]
このフレームワークは、最適化をバイナリ最適化とハッシュ関数学習に分離する2段階のハッシュアプローチである。本稿では,単一モダリティと二項相互モダリティを同時に学習するスペクトル埋め込みに基づく新しいアルゴリズムを提案する。我々は、画像に強力なCNNを活用し、テキストモダリティを学ぶためのCNNベースのディープアーキテクチャを提案する。
論文参考訳（メタデータ） (2020-08-01T09:20:11Z)
MetricUNet: Synergistic Image- and Voxel-Level Learning for Precise CT Prostate Segmentation via Online Sampling [66.01558025094333]
本稿では,前立腺領域を高速に局在させる第1段階と,前立腺領域を正確に区分する第2段階の2段階のフレームワークを提案する。マルチタスクネットワークにおけるボクセルワイドサンプリングによる新しいオンラインメトリック学習モジュールを提案する。本手法は,従来のクロスエントロピー学習法やDice損失学習法と比較して,より代表的なボクセルレベルの特徴を効果的に学習することができる。
論文参考訳（メタデータ） (2020-05-15T10:37:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。