論文の概要: TCGM: An Information-Theoretic Framework for Semi-Supervised Multi-Modality Learning

• arxiv url: http://arxiv.org/abs/2007.06793v1
• Date: Tue, 14 Jul 2020 03:32:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-10 14:09:00.037886
• Title: TCGM: An Information-Theoretic Framework for Semi-Supervised Multi-Modality Learning
• Title（参考訳）: TCGM: 半教師付きマルチモーダル学習のための情報理論フレームワーク
• Authors: Xinwei Sun, Yilun Xu, Peng Cao, Yuqing Kong, Lingjing Hu, Shanghang Zhang, Yizhou Wang
• Abstract要約: 半教師付きマルチモーダル学習のための新しい情報理論アプローチである textbfTotal textbfCorrelation textbfGain textbfMaximization (TCGM) を提案する。 本手法を様々なタスクに適用し,ニュース分類,感情認識,疾患予測など,最先端の成果を達成する。
• 参考スコア（独自算出の注目度）: 35.76792527025377
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fusing data from multiple modalities provides more information to train machine learning systems. However, it is prohibitively expensive and time-consuming to label each modality with a large amount of data, which leads to a crucial problem of semi-supervised multi-modal learning. Existing methods suffer from either ineffective fusion across modalities or lack of theoretical guarantees under proper assumptions. In this paper, we propose a novel information-theoretic approach, namely \textbf{T}otal \textbf{C}orrelation \textbf{G}ain \textbf{M}aximization (TCGM), for semi-supervised multi-modal learning, which is endowed with promising properties: (i) it can utilize effectively the information across different modalities of unlabeled data points to facilitate training classifiers of each modality (ii) it has theoretical guarantee to identify Bayesian classifiers, i.e., the ground truth posteriors of all modalities. Specifically, by maximizing TC-induced loss (namely TC gain) over classifiers of all modalities, these classifiers can cooperatively discover the equivalent class of ground-truth classifiers; and identify the unique ones by leveraging limited percentage of labeled data. We apply our method to various tasks and achieve state-of-the-art results, including news classification, emotion recognition and disease prediction.
• Abstract（参考訳）: 複数のモダリティからデータを抽出することで、機械学習システムのトレーニングにより多くの情報を提供する。 しかしながら、各モダリティを大量のデータでラベル付けすることは、非常に高価で時間がかかるため、半教師付きマルチモーダル学習の重要な問題となる。 既存の手法は、適切な仮定の下でのモダリティ間の非効率的な融合または理論的保証の欠如に苦しむ。 本稿では, 半教師付きマルチモーダル学習のための新しい情報理論的手法, \textbf{t}otal \textbf{c}orrelation \textbf{g}ain \textbf{m}aximization (tcgm)を提案する。 一 ラベルなしデータポイントの異なるモダリティの情報を有効活用して各モダリティの訓練分類を行うことができること。 (ii) ベイズ分類器を同定する理論的保証、すなわちすべてのモダリティの根本的真理を同定すること。 具体的には、すべてのモダリティの分類器に対するtc誘発損失(すなわちtcゲイン)を最大化することで、これらの分類器は協調的に対応する接地型分類器の類型を発見し、ラベル付きデータの限られた割合を活用することでユニークなものを識別することができる。 本手法を様々なタスクに適用し,ニュース分類,感情認識,疾患予測など最新の結果を得る。

関連論文リスト

• An Information Criterion for Controlled Disentanglement of Multimodal Data [39.601584166020274]
  マルチモーダル表現学習は、複数のモーダルに固有の情報を関連付けて分解しようとする。 Disentangled Self-Supervised Learning (DisentangledSSL)は、非角表現を学習するための新しい自己教師型アプローチである。
  論文  参考訳（メタデータ） (2024-10-31T14:57:31Z)
• Cross-Modality Clustering-based Self-Labeling for Multimodal Data Classification [2.666791490663749]
  CMCSL(Cross-Modality Clustering-based Self-Labeling) CMCSLは、深い特徴空間の各モードに属するインスタンスをグループ化し、その結果のクラスタ内で既知のラベルを伝搬する。 MM-IMDbデータセットから抽出した20個のデータセットに対する実験的検討
  論文  参考訳（メタデータ） (2024-08-05T15:43:56Z)
• FedMM: Federated Multi-Modal Learning with Modality Heterogeneity in Computational Pathology [3.802258033231335]
  Federated Multi-Modal (FedMM) は、複数の単一モード特徴抽出器を訓練し、その後の分類性能を向上させる学習フレームワークである。 FedMMは、精度とAUCメトリクスの2つのベースラインを特に上回っている。
  論文  参考訳（メタデータ） (2024-02-24T16:58:42Z)
• Multi-Scale Cross Contrastive Learning for Semi-Supervised Medical Image Segmentation [14.536384387956527]
  医用画像の構造を分割するマルチスケールクロススーパービジョンコントラスト学習フレームワークを開発した。 提案手法は,頑健な特徴表現を抽出するために,地上構造と横断予測ラベルに基づくマルチスケール特徴と対比する。 Diceでは最先端の半教師あり手法を3.0%以上上回っている。
  論文  参考訳（メタデータ） (2023-06-25T16:55:32Z)
• CLCLSA: Cross-omics Linked embedding with Contrastive Learning and Self Attention for multi-omics integration with incomplete multi-omics data [47.2764293508916]
  不均一・高次元マルチオミクスデータの統合は、遺伝データの理解においてますます重要になっている。 マルチオミクスデータ統合を行う際に直面する障害のひとつは、機器の感度とコストによる未ペアリングマルチオミクスデータの存在である。 クロスオミクスを用いたマルチオミクス統合のための深層学習手法を提案する。
  論文  参考訳（メタデータ） (2023-04-12T00:22:18Z)
• CLIP-Driven Fine-grained Text-Image Person Re-identification [50.94827165464813]
  TIReIDは、候補画像のプールから与えられたテキストクエリに対応する画像を取得することを目的としている。 TIReIDにおけるCLIPの強力な知識をフル活用するための,CLIP駆動のきめ細かい情報抽出フレームワーク(CFine)を提案する。
  論文  参考訳（メタデータ） (2022-10-19T03:43:12Z)
• Variational Distillation for Multi-View Learning [104.17551354374821]
  我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。 厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
  論文  参考訳（メタデータ） (2022-06-20T03:09:46Z)
• Leveraging Ensembles and Self-Supervised Learning for Fully-Unsupervised Person Re-Identification and Text Authorship Attribution [77.85461690214551]
  完全ラベル付きデータからの学習は、Person Re-IdentificationやText Authorship Attributionなどのマルチメディアフォレスト問題において困難である。 近年の自己教師型学習法は,基礎となるクラスに意味的差異が有る場合に,完全ラベル付きデータを扱う際に有効であることが示されている。 本研究では,異なるクラスからのサンプルが顕著に多様性を持っていない場合でも,ラベルのないデータから学習できるようにすることにより,個人再認識とテキストオーサシップの属性に対処する戦略を提案する。
  論文  参考訳（メタデータ） (2022-02-07T13:08:11Z)
• Dual-Teacher: Integrating Intra-domain and Inter-domain Teachers for Annotation-efficient Cardiac Segmentation [65.81546955181781]
  本稿では,新しい半教師付きドメイン適応手法,すなわちDual-Teacherを提案する。 学生モデルは、2つの教師モデルによってラベル付けされていない対象データとラベル付けされた情報源データの知識を学習する。 提案手法では, ラベルなしデータとモダリティ間データとを並列に利用でき, 性能が向上することを示した。
  論文  参考訳（メタデータ） (2020-07-13T10:00:44Z)
• Unpaired Multi-modal Segmentation via Knowledge Distillation [77.39798870702174]
  本稿では,不対向画像分割のための新しい学習手法を提案する。 提案手法では,CTおよびMRI間での畳み込みカーネルの共有により,ネットワークパラメータを多用する。 我々は2つの多クラスセグメンテーション問題に対するアプローチを広範囲に検証した。
  論文  参考訳（メタデータ） (2020-01-06T20:03:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。