論文の概要: TAP: The Attention Patch for Cross-Modal Knowledge Transfer from Unlabeled Data

• arxiv url: http://arxiv.org/abs/2302.02224v1
• Date: Sat, 4 Feb 2023 19:39:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-07 19:29:10.206143
• Title: TAP: The Attention Patch for Cross-Modal Knowledge Transfer from Unlabeled Data
• Title（参考訳）: TAP: ラベルなしデータからのクロスモーダルな知識伝達のための注意パッチ
• Authors: Yinsong Wang, Shahin Shahrampour
• Abstract要約: 我々は、ラベルのないモダリティからデータレベルの知識を転送できるシンプルなニューラルネットワークプラグインであるThe Attention Patch (TAP)を提案する。 ニューラルネットワークにおけるTAP統合は、ラベルのないモダリティを用いて一般化性能を向上させることができることを示す。
• 参考スコア（独自算出の注目度）: 11.498089180181365
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: This work investigates the intersection of cross modal learning and semi supervised learning, where we aim to improve the supervised learning performance of the primary modality by borrowing missing information from an unlabeled modality. We investigate this problem from a Nadaraya Watson (NW) kernel regression perspective and show that this formulation implicitly leads to a kernelized cross attention module. To this end, we propose The Attention Patch (TAP), a simple neural network plugin that allows data level knowledge transfer from the unlabeled modality. We provide numerical simulations on three real world datasets to examine each aspect of TAP and show that a TAP integration in a neural network can improve generalization performance using the unlabeled modality.
• Abstract（参考訳）: 本研究は,クロスモーダル学習とセミ教師あり学習の交点について検討し,未ラベルのモーダルから欠落情報を借りることにより,一次モーダルの教師あり学習性能を向上させることを目的とする。 ナダラヤ・ワトソン(NW)カーネル回帰の観点からこの問題を考察し、この定式化が暗黙的にカーネル化されたクロスアテンションモジュールにつながることを示す。 そこで本研究では,ラベルのないモダリティからデータレベル知識の転送を可能にする単純なニューラルネットワークプラグインである attention patch (tap) を提案する。 実世界の3つのデータセット上で数値シミュレーションを行い、TAPのそれぞれの側面を調べ、ニューラルネットワークにおけるTAP統合が、ラベルのないモダリティを用いて一般化性能を向上させることを示す。

関連論文リスト

• Enhancing Cross-Dataset Performance of Distracted Driving Detection With Score-Softmax Classifier [7.302402275736439]
  ディープニューラルネットワークは、車内ドライバのリアルタイム監視を可能にし、気晴らし、疲労、潜在的な危険のタイムリーな予測を容易にする。 最近の研究では、オーバーフィッティングによる信頼性の低いクロスデータセットのエンドツーエンドドライバの動作認識が明らかにされている。 Score-Softmax分類器を導入し、クラス間独立性とクラス内不確実性を高めることでこの問題に対処する。
  論文  参考訳（メタデータ） (2023-10-08T15:28:01Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• Zero-shot-Learning Cross-Modality Data Translation Through Mutual Information Guided Stochastic Diffusion [5.795193288204816]
  モダリティ間のデータ変換は、画像処理に大きな関心を集めている。 本稿では,MIDiffusion(Multual Information Diffusion Guided cross-modality data translation Model)という,教師なしゼロショット学習手法を提案する。 我々は,MIDiffusionの高度な性能を,有意な生成モデル群と比較して実証的に示す。
  論文  参考訳（メタデータ） (2023-01-31T16:24:34Z)
• Mutual Information Learned Classifiers: an Information-theoretic Viewpoint of Training Deep Learning Classification Systems [9.660129425150926]
  クロスエントロピー損失は、重度のオーバーフィッティング動作を示すモデルを見つけるのに容易である。 本稿では,既存のDNN分類器のクロスエントロピー損失最小化が,基礎となるデータ分布の条件エントロピーを本質的に学習することを証明する。 ラベルと入力の相互情報を学習することで、DNN分類器を訓練する相互情報学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-03T15:09:19Z)
• Inducing Data Amplification Using Auxiliary Datasets in Adversarial Training [7.513100214864646]
  本稿では,プライマリデータセット上でのトレーニングデータ増幅を誘導するバイアス付きマルチドメイン逆トレーニング(BiaMAT)手法を提案する。 提案手法は, 補助データセットを活用することにより, 一次データセット上での対向性の向上を実現することができる。
  論文  参考訳（メタデータ） (2022-09-27T09:21:40Z)
• Information Symmetry Matters: A Modal-Alternating Propagation Network for Few-Shot Learning [118.45388912229494]
  未ラベルサンプルの欠落した意味情報を補うために,モーダル代替伝搬ネットワーク (MAP-Net) を提案する。 我々は,情報伝達がより有益になるように,セマンティクスを介して視覚的関係ベクトルを誘導するリレーガイダンス(RG)戦略を設計する。 提案手法は有望な性能を達成し,最先端の手法よりも優れる。
  論文  参考訳（メタデータ） (2021-09-03T03:43:53Z)
• TraND: Transferable Neighborhood Discovery for Unsupervised Cross-domain Gait Recognition [77.77786072373942]
  本稿では、教師なしクロスドメイン歩行認識のための領域ギャップを橋渡しするTransferable Neighborhood Discovery (TraND) フレームワークを提案する。 我々は、潜在空間におけるラベルなしサンプルの自信ある近傍を自動的に発見するために、エンドツーエンドのトレーニング可能なアプローチを設計する。 提案手法は,CASIA-BとOU-LPの2つの公開データセットに対して,最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-02-09T03:07:07Z)
• Dual-Teacher++: Exploiting Intra-domain and Inter-domain Knowledge with Reliable Transfer for Cardiac Segmentation [69.09432302497116]
  最先端の半教師付きドメイン適応フレームワークである Dual-Teacher++ を提案する。 ソースドメイン(MRなど)からのクロスモダリティ優先度を探索するドメイン間教師モデルと、ラベルのないターゲットドメインの知識を調査するドメイン内教師モデルを含む、新しいデュアル教師モデルを設計する。 このようにして、学生モデルは信頼できる二重ドメイン知識を得て、ターゲットドメインデータのパフォーマンスを向上させることができる。
  論文  参考訳（メタデータ） (2021-01-07T05:17:38Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• A Transductive Multi-Head Model for Cross-Domain Few-Shot Learning [72.30054522048553]
  本稿では,クロスドメインなFew-Shot学習問題に対処するため,TMHFS(Transductive Multi-Head Few-Shot Learning)を提案する。 提案手法は, 4つの異なる対象領域において, 強いベースライン, 微調整を著しく上回っている。
  論文  参考訳（メタデータ） (2020-06-08T02:39:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。