論文の概要: BriMA: Bridged Modality Adaptation for Multi-Modal Continual Action Quality Assessment

• arxiv url: http://arxiv.org/abs/2602.19170v1
• Date: Sun, 22 Feb 2026 13:00:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-24 17:42:02.514871
• Title: BriMA: Bridged Modality Adaptation for Multi-Modal Continual Action Quality Assessment
• Title（参考訳）: BriMA: マルチモード連続行動品質評価のためのブリッジモード適応
• Authors: Kanglei Zhou, Chang Li, Qingyi Pan, Liyuan Wang,
• Abstract要約: アクション品質アセスメント(AQA)は、スポーツ分析、リハビリテーションアセスメント、ヒューマンスキルアセスメントにおいて、アクションがどれだけうまく実行されるかを評価することを目的としている。 BriMA(Bridged Modality Adaptation)は,マルチモーダル連続型AQAに対して,モダリティを欠く条件下での革新的なアプローチである。 BriMAは、タスクに依存しない表現とタスク固有の表現の両方を用いて、欠落したモダリティを再構築するメモリ誘導ブリッジインパクションモジュールと、モダリティ歪みと分散ドリフトに基づく情報サンプルの優先順位付けを行うモダリティ対応リプレイ機構で構成されている。
• 参考スコア（独自算出の注目度）: 25.689906499244533
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Action Quality Assessment (AQA) aims to score how well an action is performed and is widely used in sports analysis, rehabilitation assessment, and human skill evaluation. Multi-modal AQA has recently achieved strong progress by leveraging complementary visual and kinematic cues, yet real-world deployments often suffer from non-stationary modality imbalance, where certain modalities become missing or intermittently available due to sensor failures or annotation gaps. Existing continual AQA methods overlook this issue and assume that all modalities remain complete and stable throughout training, which restricts their practicality. To address this challenge, we introduce Bridged Modality Adaptation (BriMA), an innovative approach to multi-modal continual AQA under modality-missing conditions. BriMA consists of a memory-guided bridging imputation module that reconstructs missing modalities using both task-agnostic and task-specific representations, and a modality-aware replay mechanism that prioritizes informative samples based on modality distortion and distribution drift. Experiments on three representative multi-modal AQA datasets (RG, Fis-V, and FS1000) show that BriMA consistently improves performance under different modality-missing conditions, achieving 6--8\% higher correlation and 12--15\% lower error on average. These results demonstrate a step toward robust multi-modal AQA systems under real-world deployment constraints.
• Abstract（参考訳）: アクション品質アセスメント(AQA)は、スポーツ分析、リハビリテーションアセスメント、ヒューマンスキルアセスメントにおいて、アクションがどれだけうまく実行されるかを評価することを目的としている。 マルチモーダルAQAは最近、相補的な視覚的およびキネマティックなキューを活用することで大きな進歩を遂げているが、実世界の展開は、しばしば非定常的なモダリティの不均衡に悩まされる。 既存のAQA手法はこの問題を見逃し、訓練を通して全てのモダリティが完全で安定であり続けると仮定し、実用性を制限する。 この課題に対処するため,BriMA (Bridged Modality Adaptation) を導入する。 BriMAは、タスクに依存しない表現とタスク固有の表現の両方を用いて、欠落したモダリティを再構築するメモリ誘導のブリッジング計算モジュールと、モダリティ歪みと分散ドリフトに基づいて情報的サンプルを優先順位付けするモダリティ対応のリプレイ機構で構成されている。 代表的な3つのマルチモーダルAQAデータセット(RG, Fis-V, FS1000)による実験により, BriMAは平均で6～8倍の相関性,12～15倍の誤差を達成し,異なるモダリティ欠落条件下での連続的な性能向上を示す。 これらの結果は、実世界の展開制約下での堅牢なマルチモーダルAQAシステムへのステップを示す。

関連論文リスト

• MCE: Towards a General Framework for Handling Missing Modalities under Imbalanced Missing Rates [5.554190182819137]
  マルチモーダル学習は多種多様なパターン認識アプリケーションにおいて大きな進歩を遂げている。 モダリティの欠如、特に不均衡な失業率で対処することは、依然として大きな課題です。 欠落率の高いモダリティは更新を少なくし、一貫性のない学習の進歩と表現上の劣化につながる。 既存の手法は通常、グローバルなデータセットレベルのバランスに重点を置いており、しばしばモダリティユーティリティのクリティカルなサンプルレベルのバリエーションと、機能品質の劣化の根底にある問題を見落としている。
  論文  参考訳（メタデータ） (2025-10-12T10:26:18Z)
• Learning to Fuse: Modality-Aware Adaptive Scheduling for Robust Multimodal Foundation Models [0.0]
  モーダリティ・アウェア・アダプティブ・フュージョン・スケジューリング(MA-AFS)は、各モーダリティの寄与をインスタンス単位で動的に調節することを学ぶ。 本研究は, 適応融合の重要性を強調し, 信頼性と不確実性を考慮したマルチモーダル学習に向けた有望な方向性を開く。
  論文  参考訳（メタデータ） (2025-06-15T05:57:45Z)
• Diagnosing and Mitigating Modality Interference in Multimodal Large Language Models [26.005367102695317]
  マルチモーダル大規模言語モデルでは,非関連信号とタスク関連情報を区別することが困難である。 無関係なモダリティからの急激な情報は、しばしば大幅な性能低下をもたらすことを示す。 本稿では,摂動と対向的摂動を併用した摂動に基づくデータ拡張を含む,MLLMを微調整する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2025-05-26T07:31:32Z)
• The Multimodal Paradox: How Added and Missing Modalities Shape Bias and Performance in Multimodal AI [0.0]
  マルチモーダル学習は、高い意思決定において、単調な学習よりも優れていることが証明されている。 パフォーマンス向上は、マルチモーダルシステムを評価するためのゴールドスタンダードのままだが、バイアスやロバスト性に関する懸念はしばしば見過ごされている。
  論文  参考訳（メタデータ） (2025-05-05T20:42:44Z)
• Towards Modality Generalization: A Benchmark and Prospective Analysis [68.20973671493203]
  本稿では,モダリティ・ジェネリゼーション(MG)について述べる。 マルチモーダルアルゴリズムを特徴とする包括的ベンチマークを提案し,一般化に着目した既存手法を適用した。 私たちの研究は、堅牢で適応可能なマルチモーダルモデルを進化させる基盤を提供し、現実的なシナリオで目に見えないモダリティを扱えるようにします。
  論文  参考訳（メタデータ） (2024-12-24T08:38:35Z)
• Progressive Multimodal Reasoning via Active Retrieval [64.74746997923967]
  多段階多モーダル推論タスクは、大規模言語モデル(MLLM)に重大な課題をもたらす 本稿では,MLLMの推論能力の向上を目的とした汎用フレームワークAR-MCTSを提案する。 我々は,AR-MCTSがサンプリングの多様性と精度を最適化し,信頼性の高いマルチモーダル推論を実現することを示す。
  論文  参考訳（メタデータ） (2024-12-19T13:25:39Z)
• Exploring Missing Modality in Multimodal Egocentric Datasets [89.76463983679058]
  モダリティが欠如している場合でも,MMT(Missing Modality Token)という新しい概念を導入してパフォーマンスを維持する。 テストセットの半分がモダル不完全である場合、元の$sim 30%$ dropから$sim 10%$に減らします。
  論文  参考訳（メタデータ） (2024-01-21T11:55:42Z)
• Exploiting modality-invariant feature for robust multimodal emotion recognition with missing modalities [76.08541852988536]
  我々は、欠落したモダリティ・イマジネーション・ネットワーク(IF-MMIN)に不変な特徴を用いることを提案する。 提案モデルは,不確実なモダリティ条件下で,すべてのベースラインを上回り,全体の感情認識性能を不変に向上することを示す。
  論文  参考訳（メタデータ） (2022-10-27T12:16:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。