論文の概要: Towards Relaxed Multimodal Inputs for Gait-based Parkinson's Disease Assessment
- arxiv url: http://arxiv.org/abs/2510.15748v1
- Date: Fri, 17 Oct 2025 15:35:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-20 20:17:34.684872
- Title: Towards Relaxed Multimodal Inputs for Gait-based Parkinson's Disease Assessment
- Title(参考訳): 歩行型パーキンソン病評価のための多重モーダル入力の緩和に向けて
- Authors: Minlin Zeng, Zhipeng Zhou, Yang Qiu, Zhiqi Shen,
- Abstract要約: マルチモーダルアプローチは、様々なデータソースからの補完情報を効果的に統合することで、強力な性能を示している。
本稿では,マルチモーダル学習を多目的最適化(MOO)問題として定式化するパーキンソン評価システムを提案する。
- 参考スコア(独自算出の注目度): 16.259031478185523
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Parkinson's disease assessment has garnered growing interest in recent years, particularly with the advent of sensor data and machine learning techniques. Among these, multimodal approaches have demonstrated strong performance by effectively integrating complementary information from various data sources. However, two major limitations hinder their practical application: (1) the need to synchronize all modalities during training, and (2) the dependence on all modalities during inference. To address these issues, we propose the first Parkinson's assessment system that formulates multimodal learning as a multi-objective optimization (MOO) problem. This not only allows for more flexible modality requirements during both training and inference, but also handles modality collapse issue during multimodal information fusion. In addition, to mitigate the imbalance within individual modalities, we introduce a margin-based class rebalancing strategy to enhance category learning. We conduct extensive experiments on three public datasets under both synchronous and asynchronous settings. The results show that our framework-Towards Relaxed InPuts (TRIP)-achieves state-of-the-art performance, outperforming the best baselines by 16.48, 6.89, and 11.55 percentage points in the asynchronous setting, and by 4.86 and 2.30 percentage points in the synchronous setting, highlighting its effectiveness and adaptability.
- Abstract(参考訳): パーキンソン病の評価は近年、特にセンサーデータや機械学習技術の出現によって、関心が高まっている。
これらのうち、様々なデータソースからの補完情報を効果的に統合することで、マルチモーダルアプローチは強力な性能を示した。
しかし、2つの大きな制限は、(1)訓練中にすべてのモダリティを同期させる必要性、(2)推論中にすべてのモダリティに依存すること、の2つの実践的応用を妨げている。
これらの問題に対処するために,マルチモーダル学習を多目的最適化(MOO)問題として定式化するパーキンソン評価システムを提案する。
これは、トレーニングと推論の両方においてより柔軟なモダリティ要件を可能にするだけでなく、マルチモーダル情報融合時のモダリティ崩壊問題にも対処する。
また、個別のモダリティの不均衡を軽減するため、カテゴリー学習を強化するために、マージンベースのクラス再バランス戦略を導入する。
我々は3つの公開データセットに対して、同期および非同期両方の設定で広範な実験を行う。
その結果、我々のフレームワーク-Towards Relaxed InPuts (TRIP)-achieves state-of-the-artパフォーマンスは、同期設定では16.48、6.89、11.55ポイント、同期設定では4.86、2.30ポイントで最高のベースラインを上回り、その有効性と適応性を強調した。
関連論文リスト
- MAESTRO : Adaptive Sparse Attention and Robust Learning for Multimodal Dynamic Time Series [7.657107258507061]
既存のマルチモーダル学習アプローチの重要な制約を克服する新しいフレームワークであるMAESTROを紹介する。
MAESTROのコアとなるのは、タスクの関連性に基づいた動的イントラモーダル相互作用とクロスモーダル相互作用である。
3つのアプリケーションにまたがる4つの多様なデータセットに基づいて,MAESTROを10のベースラインに対して評価した。
論文 参考訳(メタデータ) (2025-09-29T03:07:06Z) - Reducing Unimodal Bias in Multi-Modal Semantic Segmentation with Multi-Scale Functional Entropy Regularization [66.10528870853324]
高精度な予測タスクのための新しいセンサからのマルチモーダル入力の再利用とバランスが重要である。
1つの大きな制限は、マルチモーダルフレームワークが容易に学習可能なモダリティに過度に依存する傾向があることである。
本稿では,機能的エントロピーに基づくプラグ・アンド・プレイ正規化項を提案する。
論文 参考訳(メタデータ) (2025-05-10T12:58:15Z) - Balancing Multimodal Training Through Game-Theoretic Regularization [26.900302082724295]
マルチモーダル学習は、データソース間の依存関係をキャプチャすることで、よりリッチな情報抽出を約束する。
しかし、現在のトレーニング手法は、しばしばモダリティの競争によって性能が低下する。
本稿では、相互情報分解(MI)に触発されたMCR(Multimodal Competition Regularizer)を提案する。
論文 参考訳(メタデータ) (2024-11-11T19:53:05Z) - On-the-fly Modulation for Balanced Multimodal Learning [53.616094855778954]
マルチモーダル学習は、異なるモーダルからの情報を統合することでモデル性能を向上させることが期待されている。
広く使われている共同トレーニング戦略は、不均衡で最適化されていないユニモーダル表現につながる。
そこで本研究では,OGM(On-the-fly Prediction Modulation)とOGM(On-the-fly Gradient Modulation)の戦略を提案する。
論文 参考訳(メタデータ) (2024-10-15T13:15:50Z) - Learning Unseen Modality Interaction [54.23533023883659]
マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。
我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。
異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
論文 参考訳(メタデータ) (2023-06-22T10:53:10Z) - Efficient Multimodal Transformer with Dual-Level Feature Restoration for
Robust Multimodal Sentiment Analysis [47.29528724322795]
マルチモーダルセンシング分析(MSA)が近年注目を集めている。
著しい進歩にもかかわらず、堅牢なMSAへの道にはまだ2つの大きな課題がある。
デュアルレベル特徴回復 (EMT-DLFR) を用いた高効率マルチモーダル変圧器 (Efficient Multimodal Transformer) を提案する。
論文 参考訳(メタデータ) (2022-08-16T08:02:30Z) - On Modality Bias Recognition and Reduction [70.69194431713825]
マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。
本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。
本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
論文 参考訳(メタデータ) (2022-02-25T13:47:09Z) - Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal
Sentiment Analysis [96.46952672172021]
Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。
モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
論文 参考訳(メタデータ) (2021-07-28T23:33:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。