論文の概要: TAP: The Attention Patch for Cross-Modal Knowledge Transfer from
Unlabeled Data
- arxiv url: http://arxiv.org/abs/2302.02224v1
- Date: Sat, 4 Feb 2023 19:39:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-07 19:29:10.206143
- Title: TAP: The Attention Patch for Cross-Modal Knowledge Transfer from
Unlabeled Data
- Title(参考訳): TAP: ラベルなしデータからのクロスモーダルな知識伝達のための注意パッチ
- Authors: Yinsong Wang, Shahin Shahrampour
- Abstract要約: 我々は、ラベルのないモダリティからデータレベルの知識を転送できるシンプルなニューラルネットワークプラグインであるThe Attention Patch (TAP)を提案する。
ニューラルネットワークにおけるTAP統合は、ラベルのないモダリティを用いて一般化性能を向上させることができることを示す。
- 参考スコア(独自算出の注目度): 11.498089180181365
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: This work investigates the intersection of cross modal learning and semi
supervised learning, where we aim to improve the supervised learning
performance of the primary modality by borrowing missing information from an
unlabeled modality. We investigate this problem from a Nadaraya Watson (NW)
kernel regression perspective and show that this formulation implicitly leads
to a kernelized cross attention module. To this end, we propose The Attention
Patch (TAP), a simple neural network plugin that allows data level knowledge
transfer from the unlabeled modality. We provide numerical simulations on three
real world datasets to examine each aspect of TAP and show that a TAP
integration in a neural network can improve generalization performance using
the unlabeled modality.
- Abstract(参考訳): 本研究は,クロスモーダル学習とセミ教師あり学習の交点について検討し,未ラベルのモーダルから欠落情報を借りることにより,一次モーダルの教師あり学習性能を向上させることを目的とする。
ナダラヤ・ワトソン(NW)カーネル回帰の観点からこの問題を考察し、この定式化が暗黙的にカーネル化されたクロスアテンションモジュールにつながることを示す。
そこで本研究では,ラベルのないモダリティからデータレベル知識の転送を可能にする単純なニューラルネットワークプラグインである attention patch (tap) を提案する。
実世界の3つのデータセット上で数値シミュレーションを行い、TAPのそれぞれの側面を調べ、ニューラルネットワークにおけるTAP統合が、ラベルのないモダリティを用いて一般化性能を向上させることを示す。
関連論文リスト
- Enhancing Cross-Dataset Performance of Distracted Driving Detection With
Score-Softmax Classifier [7.302402275736439]
ディープニューラルネットワークは、車内ドライバのリアルタイム監視を可能にし、気晴らし、疲労、潜在的な危険のタイムリーな予測を容易にする。
最近の研究では、オーバーフィッティングによる信頼性の低いクロスデータセットのエンドツーエンドドライバの動作認識が明らかにされている。
Score-Softmax分類器を導入し、クラス間独立性とクラス内不確実性を高めることでこの問題に対処する。
論文 参考訳(メタデータ) (2023-10-08T15:28:01Z) - Amplifying Pathological Detection in EEG Signaling Pathways through
Cross-Dataset Transfer Learning [10.212217551908525]
実世界の病理分類課題におけるデータとモデルスケーリングとデータセット間の知識伝達の有効性について検討する。
ネガティブトランスファーの可能性の課題を特定し、いくつかの重要なコンポーネントの重要性を強調する。
以上の結果から,小規模で汎用的なモデル(ShallowNetなど)は単一データセット上では良好に動作するが,大規模なモデル(TCNなど)では,大規模かつ多様なデータセットからの転送や学習がより優れていることが示唆された。
論文 参考訳(メタデータ) (2023-09-19T20:09:15Z) - Enhancing Multiple Reliability Measures via Nuisance-extended
Information Bottleneck [77.37409441129995]
トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。
我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。
そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
論文 参考訳(メタデータ) (2023-03-24T16:03:21Z) - Layer-wise Shared Attention Network on Dynamical System Perspective [69.45492795788167]
本稿では,複数のネットワーク層にまたがって単一の注目モジュールを共有するDIAユニットという,新規かつ簡易なフレームワークを提案する。
当社のフレームワークでは,パラメータコストはレイヤ数とは無関係であり,既存の自己注意モジュールの精度をさらに向上する。
論文 参考訳(メタデータ) (2022-10-27T13:24:08Z) - Mutual Information Learned Classifiers: an Information-theoretic
Viewpoint of Training Deep Learning Classification Systems [9.660129425150926]
クロスエントロピー損失は、重度のオーバーフィッティング動作を示すモデルを見つけるのに容易である。
本稿では,既存のDNN分類器のクロスエントロピー損失最小化が,基礎となるデータ分布の条件エントロピーを本質的に学習することを証明する。
ラベルと入力の相互情報を学習することで、DNN分類器を訓練する相互情報学習フレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-03T15:09:19Z) - Interpolation-based Correlation Reduction Network for Semi-Supervised
Graph Learning [49.94816548023729]
補間型相関低減ネットワーク(ICRN)と呼ばれる新しいグラフコントラスト学習手法を提案する。
提案手法では,決定境界のマージンを大きくすることで,潜在特徴の識別能力を向上させる。
この2つの設定を組み合わせることで、豊富なラベル付きノードと稀に価値あるラベル付きノードから豊富な監視情報を抽出し、離散表現学習を行う。
論文 参考訳(メタデータ) (2022-06-06T14:26:34Z) - Probing transfer learning with a model of synthetic correlated datasets [11.53207294639557]
トランスファーラーニングはニューラルネットワークのサンプル効率を大幅に向上させることができる。
我々は、データセット間の相関をモデル化するためのフレームワークとして、合成データの解決可能なモデルを再考する。
本研究では,本モデルが実データを用いた伝達学習の多彩な特徴を捉えることができることを示す。
論文 参考訳(メタデータ) (2021-06-09T22:15:41Z) - Dual-Teacher++: Exploiting Intra-domain and Inter-domain Knowledge with
Reliable Transfer for Cardiac Segmentation [69.09432302497116]
最先端の半教師付きドメイン適応フレームワークである Dual-Teacher++ を提案する。
ソースドメイン(MRなど)からのクロスモダリティ優先度を探索するドメイン間教師モデルと、ラベルのないターゲットドメインの知識を調査するドメイン内教師モデルを含む、新しいデュアル教師モデルを設計する。
このようにして、学生モデルは信頼できる二重ドメイン知識を得て、ターゲットドメインデータのパフォーマンスを向上させることができる。
論文 参考訳(メタデータ) (2021-01-07T05:17:38Z) - Towards Accurate Knowledge Transfer via Target-awareness Representation
Disentanglement [56.40587594647692]
本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。
TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。
各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
論文 参考訳(メタデータ) (2020-10-16T17:45:08Z) - A Transductive Multi-Head Model for Cross-Domain Few-Shot Learning [72.30054522048553]
本稿では,クロスドメインなFew-Shot学習問題に対処するため,TMHFS(Transductive Multi-Head Few-Shot Learning)を提案する。
提案手法は, 4つの異なる対象領域において, 強いベースライン, 微調整を著しく上回っている。
論文 参考訳(メタデータ) (2020-06-08T02:39:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。