論文の概要: Multi-modal Learning with Missing Modality via Shared-Specific Feature Modelling

• arxiv url: http://arxiv.org/abs/2307.14126v1
• Date: Wed, 26 Jul 2023 11:45:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-27 12:28:43.881005
• Title: Multi-modal Learning with Missing Modality via Shared-Specific Feature Modelling
• Title（参考訳）: 共有特徴モデルによるモダリティの欠如を伴うマルチモーダル学習
• Authors: Hu Wang, Yuanhong Chen, Congbo Ma, Jodie Avery, Louise Hull, Gustavo Carneiro
• Abstract要約: 本稿では、競合するアプローチよりもはるかにシンプルで効果的である共有特徴モデリング(ShaSpec)手法を提案する。 ShaSpecは、トレーニングと評価で利用可能なすべての入力モダリティを活用するように設計されている。 医用画像のセグメンテーションとコンピュータビジョンの分類において実験を行い、ShaSpecは競合する手法よりも大きなマージンで優れていることを示した。
• 参考スコア（独自算出の注目度）: 17.98304357665003
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The missing modality issue is critical but non-trivial to be solved by multi-modal models. Current methods aiming to handle the missing modality problem in multi-modal tasks, either deal with missing modalities only during evaluation or train separate models to handle specific missing modality settings. In addition, these models are designed for specific tasks, so for example, classification models are not easily adapted to segmentation tasks and vice versa. In this paper, we propose the Shared-Specific Feature Modelling (ShaSpec) method that is considerably simpler and more effective than competing approaches that address the issues above. ShaSpec is designed to take advantage of all available input modalities during training and evaluation by learning shared and specific features to better represent the input data. This is achieved from a strategy that relies on auxiliary tasks based on distribution alignment and domain classification, in addition to a residual feature fusion procedure. Also, the design simplicity of ShaSpec enables its easy adaptation to multiple tasks, such as classification and segmentation. Experiments are conducted on both medical image segmentation and computer vision classification, with results indicating that ShaSpec outperforms competing methods by a large margin. For instance, on BraTS2018, ShaSpec improves the SOTA by more than 3% for enhancing tumour, 5% for tumour core and 3% for whole tumour.
• Abstract（参考訳）: モダリティの欠如は重要な問題であるが、マルチモーダルモデルによって解決されるのは自明ではない。 マルチモーダルタスクにおける欠落モダリティ問題に対処する現在の手法は、評価中のみ欠落モダリティを処理するか、特定の欠落モダリティ設定を扱うために別のモデルを訓練する。 さらに、これらのモデルは特定のタスクのために設計されており、例えば、分類モデルはセグメンテーションタスクに容易に適応できない。 本稿では、上記の問題に対処する競合するアプローチよりもはるかにシンプルで効果的である共有特徴モデリング(ShaSpec)手法を提案する。 ShaSpecは、トレーニング中に利用可能なすべての入力モダリティを活用し、共有機能と特定の機能を学び、入力データをより良く表現することで評価するように設計されている。 これは、分散アライメントとドメイン分類に基づく補助的なタスクに依存する戦略と、残りの特徴融合手順によって達成される。 また、ShaSpecの設計の単純さにより、分類やセグメンテーションといった複数のタスクへの適応が容易になる。 医用画像のセグメンテーションとコンピュータビジョンの分類において実験を行い、ShaSpecは競合する手法よりも大きなマージンで優れていることを示した。 例えば、BraTS2018では、ShaSpecは腫瘍を増強するためのSOTAを3%以上改善し、腫瘍コアを5%、腫瘍全体を3%改善した。

関連論文リスト

• HyperMM : Robust Multimodal Learning with Varying-sized Inputs [4.377889826841039]
  HyperMMは、さまざまなサイズの入力で学習するために設計されたエンドツーエンドフレームワークである。 本稿では,条件付きハイパーネットワークを用いたユニバーサル特徴抽出器のトレーニング手法を提案する。 アルツハイマー病の診断と乳癌の分類の2つの課題において,本手法の利点を実験的に実証した。
  論文  参考訳（メタデータ） (2024-07-30T12:13:18Z)
• Concrete Subspace Learning based Interference Elimination for Multi-task Model Fusion [86.6191592951269]
  一般的な事前訓練された大規模モデルから微調整されたマージングモデルは、様々なタスクに特化しているが、様々なタスクでうまく機能するマルチタスクモデルを構築するための安価でスケーラブルな戦略として実証されている。 本稿では、共通低次元部分空間を同定し、その共有情報トラック干渉問題を性能を犠牲にすることなく利用するための連続緩和(Concrete)部分空間学習法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T07:24:54Z)
• Long-Tailed Classification Based on Coarse-Grained Leading Forest and Multi-Center Loss [20.10399273585125]
  Long-tailed (LT) 分類は、現実世界では避けられない問題であり、困難な問題である。 不変特徴学習を用いて多粒度分類モデルを構築することを目的とした,新しい長鎖分類フレームワークを提案する。 提案手法は既存のベンチマークである ImageNet-GLT と MSCOCO-GLT の両方で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-10-12T10:51:23Z)
• CAD: Co-Adapting Discriminative Features for Improved Few-Shot Classification [11.894289991529496]
  少数のラベル付きサンプルを与えられた未確認のクラスに適応できるモデルを学ぶことを目的としている。 最近のアプローチでは、特徴抽出器を事前訓練し、その後、エピソードなメタラーニングのための微調整を行う。 本研究は, 複数ショットの分類において, 横断的および再重み付き識別機能を実現するための戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-25T06:14:51Z)
• APANet: Adaptive Prototypes Alignment Network for Few-Shot Semantic Segmentation [56.387647750094466]
  Few-shotのセマンティックセマンティックセマンティクスは、指定されたクエリイメージに、ラベル付きサポートイメージのみで、新規クラスのオブジェクトをセグメントすることを目的としている。 ほとんどの高度なソリューションは、各クエリ機能を学習したクラス固有のプロトタイプにマッチさせることでセグメンテーションを実行するメトリクス学習フレームワークを利用している。 本稿では,クラス固有およびクラス非依存のプロトタイプを導入することで,適応型プロトタイプ表現を提案する。
  論文  参考訳（メタデータ） (2021-11-24T04:38:37Z)
• Learning Debiased and Disentangled Representations for Semantic Segmentation [52.35766945827972]
  セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。 各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。 提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
  論文  参考訳（メタデータ） (2021-10-31T16:15:09Z)
• Compositional Fine-Grained Low-Shot Learning [58.53111180904687]
  そこで本研究では,ゼロおよび少数ショット学習のための新しい合成生成モデルを構築し,学習サンプルの少ない,あるいは全くない,きめ細かいクラスを認識する。 本稿では, 学習サンプルから属性特徴を抽出し, それらを組み合わせて, 稀で見えないクラスのためのきめ細かい特徴を構築できる特徴合成フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-05-21T16:18:24Z)
• Improving Long-Tailed Classification from Instance Level [34.10943893320389]
  長期分類を改善するために2つのインスタンスレベルコンポーネントを提案する。 1つ目は適応ロジット調整(ALA)損失であり、ロジットに適応調整項を適用する。 2つ目はMixture-of-Experts (MoE)ネットワークで、マルチエキスパートモジュールとインスタンス対応ルーティングモジュールを含んでいる。
  論文  参考訳（メタデータ） (2021-04-13T11:00:19Z)
• MT3: Meta Test-Time Training for Self-Supervised Test-Time Adaption [69.76837484008033]
  ディープラーニングの未解決の問題は、ニューラルネットワークがテスト時間中のドメインシフトに対処する能力である。 メタラーニング、自己監督、テストタイムトレーニングを組み合わせて、目に見えないテスト分布に適応する方法を学びます。 この手法はcifar-10による画像分類ベンチマークの最先端結果を大幅に改善する。
  論文  参考訳（メタデータ） (2021-03-30T09:33:38Z)
• Many-Class Few-Shot Learning on Multi-Granularity Class Hierarchy [57.68486382473194]
  我々は,教師付き学習とメタ学習の両方において,MCFS(Multi-class few-shot)問題について検討した。 本稿では,クラス階層を事前知識として活用し,粗大な分類器を訓練する。 モデル「メモリ拡張階層分類ネットワーク(MahiNet)」は、各粗いクラスが複数の細かなクラスをカバーできる粗い粒度分類を行う。
  論文  参考訳（メタデータ） (2020-06-28T01:11:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。