論文の概要: Continual Learning for Multiple Modalities

• arxiv url: http://arxiv.org/abs/2503.08064v1
• Date: Tue, 11 Mar 2025 05:50:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:45:40.336162
• Title: Continual Learning for Multiple Modalities
• Title（参考訳）: マルチモーダルの連続学習
• Authors: Hyundong Jin, Eunwoo Kim,
• Abstract要約: 複数のモダリティに対応する新しい連続学習フレームワークを提案する。 我々は、そのリッチなセマンティック情報を利用して、様々なモダリティをテキストと整合させるモデルを訓練する。 モダリティに関する以前の知識のオーバーライトを軽減するため,モダリティ内およびモダリティ間の知識を集約する手法を提案する。
• 参考スコア（独自算出の注目度）: 6.23075162128532
• License:
• Abstract: Continual learning aims to learn knowledge of tasks observed in sequential time steps while mitigating the forgetting of previously learned knowledge. Existing methods were proposed under the assumption of learning a single modality (e.g., image) over time, which limits their applicability in scenarios involving multiple modalities. In this work, we propose a novel continual learning framework that accommodates multiple modalities (image, video, audio, depth, and text). We train a model to align various modalities with text, leveraging its rich semantic information. However, this increases the risk of forgetting previously learned knowledge, exacerbated by the differing input traits of each task. To alleviate the overwriting of the previous knowledge of modalities, we propose a method for aggregating knowledge within and across modalities. The aggregated knowledge is obtained by assimilating new information through self-regularization within each modality and associating knowledge between modalities by prioritizing contributions from relevant modalities. Furthermore, we propose a strategy that re-aligns the embeddings of modalities to resolve biased alignment between modalities. We evaluate the proposed method in a wide range of continual learning scenarios using multiple datasets with different modalities. Extensive experiments demonstrate that ours outperforms existing methods in the scenarios, regardless of whether the identity of the modality is given.
• Abstract（参考訳）: 連続学習は、先行学習した知識の忘れを軽減しつつ、連続的な時間ステップで観察されたタスクの知識を学習することを目的としている。 既存の手法は、時間とともに単一のモダリティ(例えば画像)を学ぶという仮定のもとに提案され、複数のモダリティを含むシナリオにおける適用性を制限する。 本研究では,複数のモダリティ(画像,ビデオ,音声,深度,テキスト)に対応する新しい連続学習フレームワークを提案する。 我々は、そのリッチなセマンティック情報を利用して、様々なモダリティをテキストと整合させるモデルを訓練する。 しかし、これは、各タスクの異なる入力特性によって悪化する、事前学習された知識を忘れるリスクを増大させる。 モダリティに関する以前の知識のオーバーライトを軽減するため,モダリティ内およびモダリティ間の知識を集約する手法を提案する。 集約された知識は、各モダリティ内の自己規則化を通じて新たな情報を同化し、関連するモダリティからの貢献を優先することで、モダリティ間の知識を関連付けることにより得られる。 さらに,モダリティ間の偏りを解消するため,モダリティの埋め込みを再調整する戦略を提案する。 提案手法は,様々なモードを持つ複数のデータセットを用いて,幅広い連続学習シナリオで評価する。 大規模な実験では、モダリティのアイデンティティが与えられるかどうかに関わらず、シナリオにおける既存の手法よりも優れていることを示した。

関連論文リスト

• Explaining and Mitigating the Modality Gap in Contrastive Multimodal Learning [7.412307614007383]
  マルチモーダル学習モデルは、共有表現空間を学習することにより、画像やテキストなどの様々なモダリティをブリッジするように設計されている。 これらのモデルはしばしばモダリティギャップを示し、異なるモダリティが共有表現空間内の異なる領域を占める。 トレーニング中にモダリティギャップを生じ、持続させる上で、不整合データペアと学習可能な温度パラメータの臨界的役割を同定する。
  論文  参考訳（メタデータ） (2024-12-10T20:36:49Z)
• M2Distill: Multi-Modal Distillation for Lifelong Imitation Learning [9.15567555909617]
  M2Distillは、生涯の模倣学習のためのマルチモーダル蒸留に基づく方法である。 我々は、前段階から現在の段階まで、様々なモダリティにわたる潜在表現のシフトを規制する。 学習したポリシーが、新しいスキルをシームレスに統合しながら、以前に学習したタスクを実行する能力を維持していることを保証します。
  論文  参考訳（メタデータ） (2024-09-30T01:43:06Z)
• Multimodal Representation Learning by Alternating Unimodal Adaptation [73.15829571740866]
  MLA(Multimodal Learning with Alternating Unimodal Adaptation)を提案する。 MLAは、それを交互に一助学習プロセスに変換することで、従来の共同マルチモーダル学習プロセスを再構築する。 共有ヘッドを通じてモーダル間相互作用をキャプチャし、異なるモーダル間で連続的な最適化を行う。 実験は5つの多様なデータセットで行われ、完全なモダリティを持つシナリオと、欠落したモダリティを持つシナリオを含む。
  論文  参考訳（メタデータ） (2023-11-17T18:57:40Z)
• Learning Unseen Modality Interaction [54.23533023883659]
  マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。 我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。 異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
  論文  参考訳（メタデータ） (2023-06-22T10:53:10Z)
• Online Continual Learning via the Knowledge Invariant and Spread-out Properties [4.109784267309124]
  継続的な学習の鍵となる課題は破滅的な忘れ方だ。 知識不変性とスプレッドアウト特性(OCLKISP)を用いたオンライン連続学習法を提案する。 提案手法を,CIFAR 100, Split SVHN, Split CUB200, Split Tiny-Image-Netの4つのベンチマークで実証的に評価した。
  論文  参考訳（メタデータ） (2023-02-02T04:03:38Z)
• A Unified Continuous Learning Framework for Multi-modal Knowledge Discovery and Pre-training [73.7507857547549]
  本稿では,継続的学習フレームワークにおける知識発見とマルチモーダル事前学習の統合を提案する。 知識発見のために、事前訓練されたモデルを用いてグラフ上のクロスモーダルリンクを識別する。 モデル事前トレーニングでは、モデル更新をガイドする外部知識として知識グラフが使用される。
  論文  参考訳（メタデータ） (2022-06-11T16:05:06Z)
• Relational Experience Replay: Continual Learning by Adaptively Tuning Task-wise Relationship [54.73817402934303]
  本稿では,2段階の学習フレームワークである経験連続再生(ERR)を提案する。 ERRは、すべてのベースラインの性能を一貫して改善し、現在の最先端の手法を超えることができる。
  論文  参考訳（メタデータ） (2021-12-31T12:05:22Z)
• Learning Invariant Representation for Continual Learning [5.979373021392084]
  継続的学習の重要な課題は、エージェントが新しいタスクに直面したときに、以前に学んだタスクを壊滅的に忘れることです。 連続学習のための学習不変表現(IRCL)という新しい擬似リハーサル法を提案する。 共有不変表現を分離することは、タスクのシーケンスを継続的に学習するのに役立つ。
  論文  参考訳（メタデータ） (2021-01-15T15:12:51Z)
• Behavior Priors for Efficient Reinforcement Learning [97.81587970962232]
  本稿では,情報とアーキテクチャの制約を,確率論的モデリング文献のアイデアと組み合わせて行動の事前学習を行う方法について考察する。 このような潜伏変数の定式化が階層的強化学習(HRL)と相互情報と好奇心に基づく目的との関係について論じる。 シミュレーションされた連続制御領域に適用することで,フレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2020-10-27T13:17:18Z)
• Learning From Multiple Experts: Self-paced Knowledge Distillation for Long-tailed Classification [106.08067870620218]
  我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。 提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。 提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-01-06T12:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。