論文の概要: ReMiX-MAE: Learning Missing-Channel Cross-Modal Representations from RGB-Only Clinical Facial Videos for Sympathetic-Mediated Pain Assessment

• arxiv url: http://arxiv.org/abs/2608.02561v1
• Date: Mon, 03 Aug 2026 17:43:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.743878
• Title: ReMiX-MAE: Learning Missing-Channel Cross-Modal Representations from RGB-Only Clinical Facial Videos for Sympathetic-Mediated Pain Assessment
• Title（参考訳）: ReMiX-MAE: 交感神経伝達痛評価のためのRGB専用顔面ビデオからの欠席チャンネル横断表現の学習
• Abstract要約: ReMiX-MAE(Reconstructing Missing Channel Cross-Modal Masked Autoencoder)を提案する。 シンクロナイズドRGB、サーマル、ディープビデオからトランスファー可能な顔表現を学び、モダリティの欠如を明示的に訓練する。 RGBのみのデプロイメントでは,RGBからデコードされた直接特徴抽出と擬似マルチモーダル特徴の両方を用いてReMiX-MAEを評価する。
• 参考スコア（独自算出の注目度）: 4.443623466235388
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automated pain assessment in real clinics is limited by scarce clinically grounded facial video data with weak labels (often sequence-level self-report) and by the fact that pain cues can be subtle or near-neutral in RGB, while thermal and depth signals are informative yet impractical to deploy routinely. To address these challenges, we propose ReMiX-MAE (Reconstructing Missing Channel Cross-Modal Masked Autoencoder), a self-supervised multimodal masked pretraining framework that learns transferable facial representations from synchronized RGB, thermal, and depth videos and explicitly trains robustness to missing modalities, enabling RGB-only deployment. To fill the gap of clinically grounded facial pain data with video-level self-report and longitudinal treatment trajectories, we collect the Sympathetic Mediated Pain (SMP) dataset with paired pre- and post-recordings across multiple visits. Under RGB-only deployment, we evaluate ReMiX-MAE using both direct feature extraction and pseudo-multimodal features decoded from RGB. ReMiX-MAE consistently outperforms an RGB-only masked autoencoder baseline on SMP, with pseudo-multimodal features providing additional gains in the challenging five-class setting. Across external datasets, ReMiX-MAE further shows more robust and label-efficient transfer than RGB-only baselines, highlighting its advantage in data-limited clinical settings.
• Abstract（参考訳）: リアルクリニックにおける痛みの自動評価は、弱いラベル(しばしばシークエンスレベルの自己報告)と、痛みの手がかりがRGBで微妙に、あるいはほぼ中立であるという事実によって制限されるが、熱信号と深度信号は、日常的に展開するには実用的ではない。 これらの課題に対処するために、RGB、熱、深度ビデオから転写可能な顔表現を学習し、ロバストネスを欠落したモダリティに明示的にトレーニングし、RGBのみのデプロイメントを可能にする、自己教師付きマルチモーダルマスク付き事前訓練フレームワークReMiX-MAE(Reconstructing Missing Channel Cross-Modal Masked Autoencoder)を提案する。 顔面痛データとビデオレベルの自己申告・縦断的治療トラジェクトリのギャップを埋めるために,複数回にわたる対のプレレコーダとポストレコーダを用いた交感神経メディアペイン(SMP)データセットを収集した。 RGBのみのデプロイメントでは,RGBからデコードされた直接特徴抽出と擬似マルチモーダル特徴の両方を用いてReMiX-MAEを評価する。 ReMiX-MAEは、RGBのみのマスク付きオートエンコーダベースラインをSMPで一貫して上回っており、疑似マルチモーダル機能により、挑戦的な5クラス設定でさらに向上している。 外部データセット全体では、ReMiX-MAEはRGBのみのベースラインよりも堅牢でラベル効率のよい転送を示す。

関連論文リスト

• Motion Reinforces Appearance: RGB-Skeleton Gated Residual Fusion for Micro-Gesture Online Recognition [18.736764781779208]
  我々はDyFADetをデュアルストリームRGB-スケルトンフレームワークに拡張するDyFADet+を提案する。 SMGデータセットでは,F1スコアが40.88であり,マイクロジェスチャオンライン認識トラックでは2位である。
  論文  参考訳（メタデータ） (2026-06-10T04:12:36Z)
• REALM: An RGB and Event Aligned Latent Manifold for Cross-Modal Perception [20.862898938880306]
  イベントカメラは、高時間分解能、低レイテンシ、極端な照明に対する堅牢性など、標準のフレームベースのセンサーに対して、ユニークなアドバンテージを提供する。 本稿では,RGB と Event Aligned Latent Manifold を学習するクロスモーダルフレームワーク REALM を提案する。 ワイドベースライン機能マッチングにおける最先端性能を実証し、特殊アーキテクチャを著しく上回る性能を示す。
  論文  参考訳（メタデータ） (2026-04-30T22:14:36Z)
• UniSurgSAM: A Unified Promptable Model for Reliable Surgical Video Segmentation [18.74680721916099]
  視覚的,テキスト的,あるいは音声的プロンプトによる信頼性の高い手術ビデオ分割を可能にする統合PVOSモデルUniSurgSAMを提案する。 本稿では,幻覚の抑制を目的とした存在認識復号法,拡張シーケンス上のマスクドリフトを防止する境界認識長期追跡法,障害回復のための段階間のループを閉じる適応状態遷移の3つの重要な設計を提案する。 UniSurgSAMは、あらゆる急進的なモダリティと粒度にわたる最先端のパフォーマンスをリアルタイムで達成し、コンピュータ支援手術の実践的な基盤を提供する。
  論文  参考訳（メタデータ） (2026-04-04T08:44:10Z)
• GenMask: Adapting DiT for Segmentation via Direct Mask Generation [81.54526445834294]
  間接的な適応の代わりに、セグメント化タスクは生成的な方法で直接訓練されるべきである、と我々は主張する。 分割のための極度のノイズレベルと画像生成のための中等度雑音を強調する二元マスクの時間ステップサンプリング戦略を導入する。 GenMaskは,RGB空間における色鮮やかな画像だけでなく,黒と白のセグメンテーションマスクを生成するためのDiTトレインである。
  論文  参考訳（メタデータ） (2026-03-25T03:52:05Z)
• HyPSAM: Hybrid Prompt-driven Segment Anything Model for RGB-Thermal Salient Object Detection [75.406055413928]
  RGB-T SODのための新しいプロンプト駆動セグメントモデル(HyPSAM)を提案する。 DFNetは動的畳み込みとマルチブランチデコーディングを使用して、適応的な相互モダリティ相互作用を促進する。 3つの公開データセットの実験により,本手法が最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2025-09-23T07:32:11Z)
• MR-CLIP: Efficient Metadata-Guided Learning of MRI Contrast Representations [0.8430273876996414]
  MR-CLIPは、MR画像とDICOMメタデータを整合させてコントラスト認識表現を学習するマルチモーダルコントラスト学習フレームワークである。 クロスモーダル検索とコントラスト分類におけるその効果を実証し、その拡張性とさらなる臨床応用の可能性を強調した。
  論文  参考訳（メタデータ） (2025-06-23T13:27:31Z)
• Multi-Domain Biometric Recognition using Body Embeddings [51.36007967653781]
  身体埋め込みは中波長赤外線(MWIR)領域と長波長赤外線(LWIR)領域の顔埋め込みよりも優れていた。 我々は、IJB-MDFデータセット上でのベンチマーク結果を確立するために、ビジョントランスフォーマーアーキテクチャを活用している。 また, クロスエントロピーとトリプルト損失の単純な組み合わせで, VISデータにのみ事前訓練された体モデルを微調整することで, 最先端のmAPスコアが得られることを示す。
  論文  参考訳（メタデータ） (2025-03-13T22:38:18Z)
• ContextMRI: Enhancing Compressed Sensing MRI through Metadata Conditioning [51.26601171361753]
  本稿では, 微細なメタデータを再構成プロセスに統合したMRI用テキスト条件拡散モデルであるContextMRIを提案する。 メタデータの忠実度はスライス位置やコントラストから患者年齢、性別、病理まで増加し、体系的に再構築性能が向上することを示す。
  論文  参考訳（メタデータ） (2025-01-08T05:15:43Z)
• Complementary Random Masking for RGB-Thermal Semantic Segmentation [63.93784265195356]
  RGB-熱的セマンティックセグメンテーションは、悪天候や照明条件における信頼性の高いセマンティックセマンティックセマンティック理解を実現するための潜在的ソリューションである。 本稿では,1)RGB-T画像の相補的ランダムマスキング戦略,2)クリーンモードとマスク入力モードの自己蒸留損失を提案する。 3つのRGB-Tセマンティックセマンティックセグメンテーションベンチマークで最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-03-30T13:57:21Z)
• SpiderMesh: Spatial-aware Demand-guided Recursive Meshing for RGB-T Semantic Segmentation [13.125707028339292]
  本稿では,実用的なRGB-Tセグメンテーションのための空間対応需要誘導型再帰メッシュ(SpiderMesh)フレームワークを提案する。 SpiderMeshは、光学障害領域におけるコンテキストセマンティクスの不十分さを積極的に補償する。 MFNetとPST900データセットの実験は、SpiderMeshが標準的なRGB-Tセグメンテーションベンチマークで最先端のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2023-03-15T15:24:01Z)
• Visible-Infrared Person Re-Identification Using Privileged Intermediate Information [10.816003787786766]
  クロスモーダルな人物再識別(ReID)は、RGBとIRモダリティ間のデータ分散の大きなドメインシフトのために困難である。 本稿では2つのメインドメイン間のブリッジとして機能する中間仮想ドメインを作成するための新しいアプローチを提案する。 我々は、深いReIDモデルをトレーニングするための追加情報を提供する、可視領域と赤外線領域間の画像を生成する新しい手法を考案した。
  論文  参考訳（メタデータ） (2022-09-19T21:08:14Z)
• Bi-directional Cross-Modality Feature Propagation with Separation-and-Aggregation Gate for RGB-D Semantic Segmentation [59.94819184452694]
  深度情報はRGBD画像のセマンティックセグメンテーションにおいて有用であることが証明されている。 既存のほとんどの研究は、深度測定がRGBピクセルと正確で整合していると仮定し、問題をモーダルな特徴融合としてモデル化している。 本稿では,RGB特徴量応答を効果的に再検討するだけでなく,複数の段階を通して正確な深度情報を抽出し,代わりに2つの補正表現を集約する,統一的で効率的なクロスモダリティガイドを提案する。
  論文  参考訳（メタデータ） (2020-07-17T18:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。