論文の概要: Harmony: A Unified Framework for Modality Incremental Learning

• arxiv url: http://arxiv.org/abs/2504.13218v1
• Date: Thu, 17 Apr 2025 06:35:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-28 20:56:51.681057
• Title: Harmony: A Unified Framework for Modality Incremental Learning
• Title（参考訳）: Harmony: モダリティインクリメンタル学習のための統一フレームワーク
• Authors: Yaguang Song, Xiaoshan Yang, Dongmei Jiang, Yaowei Wang, Changsheng Xu,
• Abstract要約: 本稿では,連続的に進化するモーダルシーケンスを横断するインクリメンタル学習が可能な統一モデルの実現可能性について検討する。 本研究では,適応的アライメントと知識保持を実現するために,Harmonyという新しいフレームワークを提案する。 提案手法は適応性のある特徴変調と累積的モーダルブリッジングを導入する。
• 参考スコア（独自算出の注目度）: 81.13765007314781
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Incremental learning aims to enable models to continuously acquire knowledge from evolving data streams while preserving previously learned capabilities. While current research predominantly focuses on unimodal incremental learning and multimodal incremental learning where the modalities are consistent, real-world scenarios often present data from entirely new modalities, posing additional challenges. This paper investigates the feasibility of developing a unified model capable of incremental learning across continuously evolving modal sequences. To this end, we introduce a novel paradigm called Modality Incremental Learning (MIL), where each learning stage involves data from distinct modalities. To address this task, we propose a novel framework named Harmony, designed to achieve modal alignment and knowledge retention, enabling the model to reduce the modal discrepancy and learn from a sequence of distinct modalities, ultimately completing tasks across multiple modalities within a unified framework. Our approach introduces the adaptive compatible feature modulation and cumulative modal bridging. Through constructing historical modal features and performing modal knowledge accumulation and alignment, the proposed components collaboratively bridge modal differences and maintain knowledge retention, even with solely unimodal data available at each learning phase.These components work in concert to establish effective modality connections and maintain knowledge retention, even when only unimodal data is available at each learning stage. Extensive experiments on the MIL task demonstrate that our proposed method significantly outperforms existing incremental learning methods, validating its effectiveness in MIL scenarios.
• Abstract（参考訳）: インクリメンタルラーニング(Incremental learning)は、モデルがデータストリームの進化から継続的に知識を取得しながら、以前に学習した能力を維持することを目的としている。 現在の研究は主に、モダリティが一貫した、一様増進学習と多様増進学習に焦点を当てているが、現実のシナリオは、しばしば全く新しいモダリティのデータを提示し、さらなる課題を提起する。 本稿では,連続的に進化するモーダルシーケンスを横断するインクリメンタル学習が可能な統一モデルの実現可能性について検討する。 この目的のために,各学習段階が異なるモダリティからのデータを含む,MIL(Modality Incremental Learning)と呼ばれる新しいパラダイムを導入する。 この課題に対処するために,モダルアライメントと知識保持を実現するために設計された新しいフレームワークであるHarmonyを提案し,モデルがモダルアライメントの差を小さくし,異なるモダリティ列から学習し,最終的に統一されたフレームワーク内の複数のモダリティをまたいだタスクを完了させる。 提案手法は適応性のある特徴変調と累積的モーダルブリッジングを導入する。 歴史的モーダルな特徴の構築と、モーダルな知識蓄積とアライメントの実施を通じて、提案したコンポーネントは、各学習フェーズで利用可能な唯一の非モーダルデータであっても、協調的にモーダルな違いをブリッジし、知識の保持を維持する。 MILタスクに対する大規模な実験により,提案手法は既存の漸進的学習法を著しく上回り,MILシナリオにおける有効性を検証した。

関連論文リスト

• Continual Learning for Multiple Modalities [6.23075162128532]
  複数のモダリティに対応する新しい連続学習フレームワークを提案する。 我々は、そのリッチなセマンティック情報を利用して、様々なモダリティをテキストと整合させるモデルを訓練する。 モダリティに関する以前の知識のオーバーライトを軽減するため,モダリティ内およびモダリティ間の知識を集約する手法を提案する。
  論文  参考訳（メタデータ） (2025-03-11T05:50:13Z)
• LLMs Can Evolve Continually on Modality for X-Modal Reasoning [62.2874638875554]
  既存の手法は、モーダル固有の事前訓練とジョイント・モーダルチューニングに大きく依存しており、新しいモーダルへと拡張する際の計算上の負担が大きくなった。 PathWeaveは、Modal-Path sWitchingとExpAnsion機能を備えた柔軟でスケーラブルなフレームワークである。 PathWeaveは最先端のMLLMと互換性があり、パラメータトレーニングの負担を98.73%削減する。
  論文  参考訳（メタデータ） (2024-10-26T13:19:57Z)
• Diagnosing and Re-learning for Balanced Multimodal Learning [8.779005254634857]
  本稿では,不均衡なマルチモーダル学習問題を克服するための診断・再学習手法を提案する。 各モードの学習状態は、その一様表現空間の分離性に基づいて推定される。 このように、少ない情報モダリティの過度な強調は避けられる。
  論文  参考訳（メタデータ） (2024-07-12T22:12:03Z)
• ReconBoost: Boosting Can Achieve Modality Reconcilement [89.4377895465204]
  我々は、調和を達成するために、モダリティ代替学習パラダイムについて研究する。 固定モードを毎回更新するReconBoostと呼ばれる新しい手法を提案する。 提案手法はFriedman's Gradient-Boosting (GB) アルゴリズムに似ており,更新された学習者が他者による誤りを訂正できることを示す。
  論文  参考訳（メタデータ） (2024-05-15T13:22:39Z)
• Multimodal Representation Learning by Alternating Unimodal Adaptation [73.15829571740866]
  MLA(Multimodal Learning with Alternating Unimodal Adaptation)を提案する。 MLAは、それを交互に一助学習プロセスに変換することで、従来の共同マルチモーダル学習プロセスを再構築する。 共有ヘッドを通じてモーダル間相互作用をキャプチャし、異なるモーダル間で連続的な最適化を行う。 実験は5つの多様なデータセットで行われ、完全なモダリティを持つシナリオと、欠落したモダリティを持つシナリオを含む。
  論文  参考訳（メタデータ） (2023-11-17T18:57:40Z)
• Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding [62.70450216120704]
  教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。 我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。 UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
  論文  参考訳（メタデータ） (2023-11-06T13:56:57Z)
• Learning Unseen Modality Interaction [54.23533023883659]
  マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。 我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。 異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
  論文  参考訳（メタデータ） (2023-06-22T10:53:10Z)
• On Uni-Modal Feature Learning in Supervised Multi-Modal Learning [21.822251958013737]
  マルチモーダルデータの特徴(つまり学習された表現)を,1)ユニモーダルな特徴と2)相互モーダルな相互作用からしか学べないペア化された特徴にまとめる。 簡単な誘導戦略により、様々なマルチモーダルデータセット上の他の複雑なレイトフュージョン法や中間フュージョン法に匹敵する結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-05-02T07:15:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。