論文の概要: From Orthogonality to Dependency: Learning Disentangled Representation for Multi-Modal Time-Series Sensing Signals

• arxiv url: http://arxiv.org/abs/2405.16083v1
• Date: Sat, 25 May 2024 06:26:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 01:10:08.042403
• Title: From Orthogonality to Dependency: Learning Disentangled Representation for Multi-Modal Time-Series Sensing Signals
• Title（参考訳）: 直交性から従順性へ:マルチモーダル時系列センシング信号の非交叉表現学習
• Authors: Ruichu Cai, Zhifang Jiang, Zijian Li, Weilin Chen, Xuexin Chen, Zhifeng Hao, Yifan Shen, Guangyi Chen, Kun Zhang,
• Abstract要約: 表現学習の既存の方法は、モダリティ共有変数とモダリティ固有の潜在変数を分離することを目的としている。 本稿では、モーダリティ共有変数とモーダリティ固有潜伏変数が依存する一般的な生成過程を提案する。 当社の textbfMATE モデルは,モーダリティ共有型およびモーダリティ特化型事前ネットワークを備えた時間変動型推論アーキテクチャ上に構築されている。
• 参考スコア（独自算出の注目度）: 27.95734153126108
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing methods for multi-modal time series representation learning aim to disentangle the modality-shared and modality-specific latent variables. Although achieving notable performances on downstream tasks, they usually assume an orthogonal latent space. However, the modality-specific and modality-shared latent variables might be dependent on real-world scenarios. Therefore, we propose a general generation process, where the modality-shared and modality-specific latent variables are dependent, and further develop a \textbf{M}ulti-mod\textbf{A}l \textbf{TE}mporal Disentanglement (\textbf{MATE}) model. Specifically, our \textbf{MATE} model is built on a temporally variational inference architecture with the modality-shared and modality-specific prior networks for the disentanglement of latent variables. Furthermore, we establish identifiability results to show that the extracted representation is disentangled. More specifically, we first achieve the subspace identifiability for modality-shared and modality-specific latent variables by leveraging the pairing of multi-modal data. Then we establish the component-wise identifiability of modality-specific latent variables by employing sufficient changes of historical latent variables. Extensive experimental studies on multi-modal sensors, human activity recognition, and healthcare datasets show a general improvement in different downstream tasks, highlighting the effectiveness of our method in real-world scenarios.
• Abstract（参考訳）: 多モード時系列表現学習の既存の方法は、モダリティ共有変数とモダリティ特化変数をアンタングル化することを目的としている。 下流のタスクで顕著なパフォーマンスを達成するが、通常は直交の潜在空間を仮定する。 しかし、モダリティ固有変数とモダリティ共有変数は実世界のシナリオに依存しているかもしれない。 そこで本研究では,モダリティ共有変数とモダリティ特化変数が依存する一般生成プロセスを提案し,さらに \textbf{M}ulti-mod\textbf{A}l \textbf{TE}mporal Disentanglement (\textbf{MATE})モデルを開発する。 具体的には、潜伏変数の非絡み合いに対するモダリティ共有およびモダリティ特化事前ネットワークを備えた時間変動型推論アーキテクチャ上に構築した。 さらに,抽出した表現が絡み合っていることを示すために,識別可能性の評価結果を確立する。 より具体的には、マルチモーダルデータのペアリングを利用して、モダリティ共有変数とモダリティ特化変数のサブスペース識別性を最初に達成する。 次に、過去の潜伏変数の十分な変化を利用することで、モジュラリティ固有の潜伏変数の成分的識別性を確立する。 マルチモーダルセンサ,ヒューマンアクティビティ認識,医療データセットに関する大規模な実験研究は,下流タスクの全般的な改善を示し,実世界のシナリオにおける本手法の有効性を強調した。

関連論文リスト

• Semantic-Guided Multimodal Sentiment Decoding with Adversarial Temporal-Invariant Learning [22.54577327204281]
  マルチモーダル感情分析は、異なるモダリティから表現を学習し、人間の感情を識別することを目的としている。 既存の作品は、連続した時系列に固有のフレームレベルの冗長性を無視することが多く、ノイズを伴う不完全なモジュラリティ表現をもたらす。 本研究では,時間段階の分布変動を制約し,時間的時間的変動を効果的に捉えた時間的不変学習を提案する。
  論文  参考訳（メタデータ） (2024-08-30T03:28:40Z)
• Disentangling shared and private latent factors in multimodal Variational Autoencoders [6.680930089714339]
  MVAE や MMVAE のようなマルチモーダル変分オートエンコーダは、それらの根底にある潜在因子を推測し、共有変分をプライベートから分離する自然な選択である。 既存のモデルの制約を実証し、モダリティ固有の変動に対してより堅牢にする方法を提案する。 本研究は,様々な実世界のマルチオミクスデータセットと合成実験によって支援された。
  論文  参考訳（メタデータ） (2024-03-10T23:11:05Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• DIVERSIFY: A General Framework for Time Series Out-of-distribution Detection and Generalization [58.704753031608625]
  時系列は、機械学習研究における最も困難なモダリティの1つである。 時系列上でのOODの検出と一般化は、その非定常性によって悩まされる傾向がある。 時系列の動的分布のOOD検出と一般化のためのフレームワークであるDIVERSIFYを提案する。
  論文  参考訳（メタデータ） (2023-08-04T12:27:11Z)
• Latent Processes Identification From Multi-View Time Series [17.33428123777779]
  本稿では,データ生成過程を逆転させて識別可能性を高めるために,コントラスト学習技術を用いた新しいフレームワークを提案する。 MuLTIは、最適輸送公式の確立によって、対応する重複変数をマージする置換機構を統合する。
  論文  参考訳（メタデータ） (2023-05-14T14:21:58Z)
• Exploiting modality-invariant feature for robust multimodal emotion recognition with missing modalities [76.08541852988536]
  我々は、欠落したモダリティ・イマジネーション・ネットワーク(IF-MMIN)に不変な特徴を用いることを提案する。 提案モデルは,不確実なモダリティ条件下で,すべてのベースラインを上回り,全体の感情認識性能を不変に向上することを示す。
  論文  参考訳（メタデータ） (2022-10-27T12:16:25Z)
• Identifiable Latent Causal Content for Domain Adaptation under Latent Covariate Shift [82.14087963690561]
  マルチソースドメイン適応(MSDA)は、ラベル付き対象ドメインのラベル予測関数を学習する際の課題に対処する。 本稿では,潜在コンテンツ変数と潜時スタイル変数とともに,ドメイン間の潜時雑音を導入し,複雑な因果生成モデルを提案する。 提案手法は、シミュレーションと実世界の両方のデータセットに対して、例外的な性能と有効性を示す。
  論文  参考訳（メタデータ） (2022-08-30T11:25:15Z)
• Learning Sequential Latent Variable Models from Multimodal Time Series Data [6.107812768939553]
  マルチモーダルデータの確率的潜在状態表現を協調的に学習するための自己教師付き生成モデリングフレームワークを提案する。 提案手法が予測品質と表現品質を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2022-04-21T21:59:24Z)
• Learning Conditional Invariance through Cycle Consistency [60.85059977904014]
  本稿では,データセットの変動の有意義な要因と独立な要因を識別する新しい手法を提案する。 提案手法は,対象プロパティと残りの入力情報に対する2つの別個の潜在部分空間を含む。 我々は,より意味のある因子を同定し,よりスペーサーや解釈可能なモデルに導く合成および分子データについて実証する。
  論文  参考訳（メタデータ） (2021-11-25T17:33:12Z)
• Learning Disentangled Representations with Latent Variation Predictability [102.4163768995288]
  本稿では,潜在不整合表現の変動予測可能性について述べる。 逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。 本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
  論文  参考訳（メタデータ） (2020-07-25T08:54:26Z)
• Variational Conditional Dependence Hidden Markov Models for Skeleton-Based Action Recognition [7.9603223299524535]
  本稿では、時間変化の時間依存性パターンをキャプチャする問題に対処するために、従来の逐次モデリング手法を再検討する。 我々は、過去のフレームへの依存を動的に推定するHMMの異なる定式化を提案する。 フォワード・バックワード・アルゴリズムに基づく抽出可能な推論アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2020-02-13T23:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。