論文の概要: Auto-Transfer: Learning to Route Transferrable Representations

• arxiv url: http://arxiv.org/abs/2202.01011v2
• Date: Thu, 3 Feb 2022 16:21:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-04 11:40:29.459099
• Title: Auto-Transfer: Learning to Route Transferrable Representations
• Title（参考訳）: 自動転送: 経路転送可能な表現への学習
• Authors: Keerthiram Murugesan, Vijay Sadashivaiah, Ronny Luss, Karthikeyan Shanmugam, Pin-Yu Chen, Amit Dhurandhar
• Abstract要約: 本稿では,適切なターゲット表現にソース表現をルートする方法を自動学習する,新しい対向型マルチアームバンディット手法を提案する。 最先端の知識伝達手法と比較すると,5%以上の精度向上が期待できる。
• 参考スコア（独自算出の注目度）: 77.30427535329571
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge transfer between heterogeneous source and target networks and tasks has received a lot of attention in recent times as large amounts of quality labelled data can be difficult to obtain in many applications. Existing approaches typically constrain the target deep neural network (DNN) feature representations to be close to the source DNNs feature representations, which can be limiting. We, in this paper, propose a novel adversarial multi-armed bandit approach which automatically learns to route source representations to appropriate target representations following which they are combined in meaningful ways to produce accurate target models. We see upwards of 5% accuracy improvements compared with the state-of-the-art knowledge transfer methods on four benchmark (target) image datasets CUB200, Stanford Dogs, MIT67, and Stanford40 where the source dataset is ImageNet. We qualitatively analyze the goodness of our transfer scheme by showing individual examples of the important features our target network focuses on in different layers compared with the (closest) competitors. We also observe that our improvement over other methods is higher for smaller target datasets making it an effective tool for small data applications that may benefit from transfer learning.
• Abstract（参考訳）: 不均一なソースとターゲットネットワークとタスクの間の知識転送は、多くのアプリケーションで大量の品質ラベル付きデータを得るのが難しいため、近年多くの注目を集めている。 既存のアプローチでは、ターゲットのディープニューラルネットワーク(DNN)特徴表現を、制限可能なソースのDNN特徴表現に近いものに制限するのが一般的である。 本稿では,ターゲットモデルの作成に意味のある方法で組み合わされた,適切なターゲット表現へのソース表現の経路を自動学習する,新しい敵対的多腕バンディット手法を提案する。 ソースデータセットがImageNetであるCUB200、Stanford Dogs、MIT67、Stanford40の4つのベンチマーク(ターゲット)イメージデータセットに対して、最先端の知識伝達手法と比較して、5%以上の精度向上が見られる。 ターゲットネットワークが注目する重要な機能の個々の例を、(最も近い)競合相手と比較して異なるレイヤで示すことで、転送方式の良さを質的に分析する。 また、より小さなターゲットデータセットでは、他の方法よりも改善が進み、転送学習の恩恵を受ける小さなデータアプリケーションにとって効果的なツールとなることも観察しています。

関連論文リスト

• On the Transferability of Learning Models for Semantic Segmentation for Remote Sensing Data [12.500746892824338]
  近年の深層学習に基づく手法は、リモートセンシング(RS)セマンティックセグメンテーション/分類タスクにおいて従来の学習方法より優れている。 しかし、ソースドメインでトレーニングされたモデルがターゲットドメインに容易に適用できる程度に、その転送可能性に関する包括的な分析は存在しない。 本稿では,従来のディープラーニングモデル(DL)とドメイン適応手法(DA)の有効性について検討する。
  論文  参考訳（メタデータ） (2023-10-16T15:13:36Z)
• CDFSL-V: Cross-Domain Few-Shot Learning for Videos [58.37446811360741]
  ビデオのアクション認識は、いくつかのラベル付き例でのみ、新しいカテゴリを認識するための効果的なアプローチである。 既存のビデオアクション認識の方法は、同じドメインからの大きなラベル付きデータセットに依存している。 本稿では,自己教師付き学習とカリキュラム学習を活用した,クロスドメインな数ショットビデオ行動認識手法を提案する。
  論文  参考訳（メタデータ） (2023-09-07T19:44:27Z)
• Towards Estimating Transferability using Hard Subsets [25.86053764521497]
  HASTEは、ターゲットデータのより厳しいサブセットのみを用いて、ソースモデルの特定のターゲットタスクへの転送可能性を推定する新しい戦略である。 HASTEは既存の転送可能性測定値と組み合わせて信頼性を向上させることができることを示す。 複数のソースモデルアーキテクチャ、ターゲットデータセット、トランスファー学習タスクにまたがる実験結果から、HASTEの修正されたメトリクスは、一貫して、あるいは、アートトランスファービリティーメトリクスの状態と同等であることが示された。
  論文  参考訳（メタデータ） (2023-01-17T14:50:18Z)
• Unsupervised Image Semantic Segmentation through Superpixels and Graph Neural Networks [6.123324869194195]
  ラベル付きデータが不足している多くの実世界のシナリオでは、教師なしのイメージセグメンテーションが重要なタスクである。 本稿では,相互情報最大化(MIM),ニューラルスーパーピクセル,グラフニューラルネットワーク(GNN)をエンドツーエンドに組み合わせて,教師なし学習の最近の進歩を活用する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-10-21T08:35:18Z)
• Graph-Based Neural Network Models with Multiple Self-Supervised Auxiliary Tasks [79.28094304325116]
  グラフ畳み込みネットワークは、構造化されたデータポイント間の関係をキャプチャするための最も有望なアプローチである。 マルチタスク方式でグラフベースニューラルネットワークモデルを学習するための3つの新しい自己教師付き補助タスクを提案する。
  論文  参考訳（メタデータ） (2020-11-14T11:09:51Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• Adversarially-Trained Deep Nets Transfer Better: Illustration on Image Classification [53.735029033681435]
  トランスファーラーニングは、訓練済みのディープニューラルネットワークを画像認識タスクに新しいドメインに適用するための強力な方法論である。 本研究では,非逆学習モデルよりも逆学習モデルの方が優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-11T22:48:42Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。