論文の概要: Multi-modal Learning with Missing Modality via Shared-Specific Feature
Modelling
- arxiv url: http://arxiv.org/abs/2307.14126v1
- Date: Wed, 26 Jul 2023 11:45:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-27 12:28:43.881005
- Title: Multi-modal Learning with Missing Modality via Shared-Specific Feature
Modelling
- Title(参考訳): 共有特徴モデルによるモダリティの欠如を伴うマルチモーダル学習
- Authors: Hu Wang, Yuanhong Chen, Congbo Ma, Jodie Avery, Louise Hull, Gustavo
Carneiro
- Abstract要約: 本稿では、競合するアプローチよりもはるかにシンプルで効果的である共有特徴モデリング(ShaSpec)手法を提案する。
ShaSpecは、トレーニングと評価で利用可能なすべての入力モダリティを活用するように設計されている。
医用画像のセグメンテーションとコンピュータビジョンの分類において実験を行い、ShaSpecは競合する手法よりも大きなマージンで優れていることを示した。
- 参考スコア(独自算出の注目度): 17.98304357665003
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The missing modality issue is critical but non-trivial to be solved by
multi-modal models. Current methods aiming to handle the missing modality
problem in multi-modal tasks, either deal with missing modalities only during
evaluation or train separate models to handle specific missing modality
settings. In addition, these models are designed for specific tasks, so for
example, classification models are not easily adapted to segmentation tasks and
vice versa. In this paper, we propose the Shared-Specific Feature Modelling
(ShaSpec) method that is considerably simpler and more effective than competing
approaches that address the issues above. ShaSpec is designed to take advantage
of all available input modalities during training and evaluation by learning
shared and specific features to better represent the input data. This is
achieved from a strategy that relies on auxiliary tasks based on distribution
alignment and domain classification, in addition to a residual feature fusion
procedure. Also, the design simplicity of ShaSpec enables its easy adaptation
to multiple tasks, such as classification and segmentation. Experiments are
conducted on both medical image segmentation and computer vision
classification, with results indicating that ShaSpec outperforms competing
methods by a large margin. For instance, on BraTS2018, ShaSpec improves the
SOTA by more than 3% for enhancing tumour, 5% for tumour core and 3% for whole
tumour.
- Abstract(参考訳): モダリティの欠如は重要な問題であるが、マルチモーダルモデルによって解決されるのは自明ではない。
マルチモーダルタスクにおける欠落モダリティ問題に対処する現在の手法は、評価中のみ欠落モダリティを処理するか、特定の欠落モダリティ設定を扱うために別のモデルを訓練する。
さらに、これらのモデルは特定のタスクのために設計されており、例えば、分類モデルはセグメンテーションタスクに容易に適応できない。
本稿では、上記の問題に対処する競合するアプローチよりもはるかにシンプルで効果的である共有特徴モデリング(ShaSpec)手法を提案する。
ShaSpecは、トレーニング中に利用可能なすべての入力モダリティを活用し、共有機能と特定の機能を学び、入力データをより良く表現することで評価するように設計されている。
これは、分散アライメントとドメイン分類に基づく補助的なタスクに依存する戦略と、残りの特徴融合手順によって達成される。
また、ShaSpecの設計の単純さにより、分類やセグメンテーションといった複数のタスクへの適応が容易になる。
医用画像のセグメンテーションとコンピュータビジョンの分類において実験を行い、ShaSpecは競合する手法よりも大きなマージンで優れていることを示した。
例えば、BraTS2018では、ShaSpecは腫瘍を増強するためのSOTAを3%以上改善し、腫瘍コアを5%、腫瘍全体を3%改善した。
関連論文リスト
- Concrete Subspace Learning based Interference Elimination for Multi-task
Model Fusion [86.6191592951269]
一般的な事前訓練された大規模モデルから微調整されたマージングモデルは、様々なタスクに特化しているが、様々なタスクでうまく機能するマルチタスクモデルを構築するための安価でスケーラブルな戦略として実証されている。
本稿では、共通低次元部分空間を同定し、その共有情報トラック干渉問題を性能を犠牲にすることなく利用するための連続緩和(Concrete)部分空間学習法を提案する。
論文 参考訳(メタデータ) (2023-12-11T07:24:54Z) - Neural Collapse Terminus: A Unified Solution for Class Incremental
Learning and Its Variants [166.916517335816]
本稿では,3つの課題における不整合ジレンマに対する統一解を提案する。
ラベル空間全体の最大等角的クラス間分離を有する固定構造である神経崩壊終端を提案する。
本手法は,データ不均衡やデータ不足にかかわらず,神経崩壊最適度を漸進的に保持する。
論文 参考訳(メタデータ) (2023-08-03T13:09:59Z) - An Additive Instance-Wise Approach to Multi-class Model Interpretation [53.87578024052922]
解釈可能な機械学習は、ブラックボックスシステムの特定の予測を駆動する要因に関する洞察を提供する。
既存の手法は主に、局所的な加法的あるいはインスタンス的なアプローチに従う説明的入力特徴の選択に重点を置いている。
本研究は,両手法の長所を生かし,複数の対象クラスに対する局所的な説明を同時に学習するためのグローバルフレームワークを提案する。
論文 参考訳(メタデータ) (2022-07-07T06:50:27Z) - CAD: Co-Adapting Discriminative Features for Improved Few-Shot
Classification [11.894289991529496]
少数のラベル付きサンプルを与えられた未確認のクラスに適応できるモデルを学ぶことを目的としている。
最近のアプローチでは、特徴抽出器を事前訓練し、その後、エピソードなメタラーニングのための微調整を行う。
本研究は, 複数ショットの分類において, 横断的および再重み付き識別機能を実現するための戦略を提案する。
論文 参考訳(メタデータ) (2022-03-25T06:14:51Z) - On Modality Bias Recognition and Reduction [70.69194431713825]
マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。
本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。
本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
論文 参考訳(メタデータ) (2022-02-25T13:47:09Z) - Learning Debiased and Disentangled Representations for Semantic
Segmentation [52.35766945827972]
セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。
各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。
提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
論文 参考訳(メタデータ) (2021-10-31T16:15:09Z) - Compositional Fine-Grained Low-Shot Learning [58.53111180904687]
そこで本研究では,ゼロおよび少数ショット学習のための新しい合成生成モデルを構築し,学習サンプルの少ない,あるいは全くない,きめ細かいクラスを認識する。
本稿では, 学習サンプルから属性特徴を抽出し, それらを組み合わせて, 稀で見えないクラスのためのきめ細かい特徴を構築できる特徴合成フレームワークを提案する。
論文 参考訳(メタデータ) (2021-05-21T16:18:24Z) - Improving Long-Tailed Classification from Instance Level [34.10943893320389]
長期分類を改善するために2つのインスタンスレベルコンポーネントを提案する。
1つ目は適応ロジット調整(ALA)損失であり、ロジットに適応調整項を適用する。
2つ目はMixture-of-Experts (MoE)ネットワークで、マルチエキスパートモジュールとインスタンス対応ルーティングモジュールを含んでいる。
論文 参考訳(メタデータ) (2021-04-13T11:00:19Z) - Multi-scale Adaptive Task Attention Network for Few-Shot Learning [5.861206243996454]
少数ショット学習の目標は、ラベル付きサンプルの少ない未確認カテゴリを分類することである。
本稿では,マルチスケール適応タスク注意ネットワーク(MATANet)を提案する。
論文 参考訳(メタデータ) (2020-11-30T00:36:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。