論文の概要: Universal Representations: A Unified Look at Multiple Task and Domain Learning

• arxiv url: http://arxiv.org/abs/2204.02744v1
• Date: Wed, 6 Apr 2022 11:40:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-07 14:05:08.148500
• Title: Universal Representations: A Unified Look at Multiple Task and Domain Learning
• Title（参考訳）: Universal Representations: 複数のタスクとドメイン学習を統一的に見る
• Authors: Wei-Hong Li, Xialei Liu, Hakan Bilen
• Abstract要約: 本稿では,複数の視覚タスクと視覚領域を共通表現によって統合的に学習することを提案する。 複数の密接な予測問題の学習において、普遍表現が最先端のパフォーマンスを達成することを示す。 また、アブレーションと定性的な研究を通じて複数の分析を行う。
• 参考スコア（独自算出の注目度）: 37.27708297562079
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a unified look at jointly learning multiple vision tasks and visual domains through universal representations, a single deep neural network. Learning multiple problems simultaneously involves minimizing a weighted sum of multiple loss functions with different magnitudes and characteristics and thus results in unbalanced state of one loss dominating the optimization and poor results compared to learning a separate model for each problem. To this end, we propose distilling knowledge of multiple task/domain-specific networks into a single deep neural network after aligning its representations with the task/domain-specific ones through small capacity adapters. We rigorously show that universal representations achieve state-of-the-art performances in learning of multiple dense prediction problems in NYU-v2 and Cityscapes, multiple image classification problems from diverse domains in Visual Decathlon Dataset and cross-domain few-shot learning in MetaDataset. Finally we also conduct multiple analysis through ablation and qualitative studies.
• Abstract（参考訳）: 単一の深層ニューラルネットワークである普遍表現を用いて,複数の視覚タスクと視覚領域を協調的に学習する統一的な考察を提案する。 複数の問題を同時に学習することは、異なる大きさと特性の多重損失関数の重み付け和を最小化することを含み、その結果、各問題に対する別のモデルを学ぶよりも、最適化と貧弱な結果を支配する1つの損失のバランスの取れない状態となる。 そこで本研究では,複数のタスク/ドメイン特化ネットワークの知識を単一ディープニューラルネットワークに抽出し,その表現とタスク/ドメイン特化ネットワークとの整合性を,小容量アダプタを用いて提案する。 我々は,NYU-v2 と Cityscapes の複数の密集予測問題,Visual Decathlon Dataset の様々な領域からの複数の画像分類問題,MetaDataset のクロスドメイン数ショット学習において,普遍的な表現が最先端のパフォーマンスを達成することを示す。 最後に, アブレーションと定性研究を通して, 複数の分析を行った。

関連論文リスト

• A Multitask Deep Learning Model for Classification and Regression of Hyperspectral Images: Application to the large-scale dataset [44.94304541427113]
  ハイパースペクトル画像上で複数の分類タスクと回帰タスクを同時に行うマルチタスク深層学習モデルを提案する。 我々は、TAIGAと呼ばれる大規模なハイパースペクトルデータセットに対するアプローチを検証した。 結果の総合的定性的および定量的分析により,提案手法が他の最先端手法よりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-23T11:14:54Z)
• Multi-Scale and Multi-Layer Contrastive Learning for Domain Generalization [5.124256074746721]
  深部畳み込みニューラルネットワークの一般化能力は、ネットワークの多層的および多スケール的表現を活用することで向上できると論じる。 画像分類器の領域一般化を目的とした,低レベル特徴と高レベル特徴を複数スケールで組み合わせたフレームワークを提案する。 我々のモデルは従来のDG手法よりも優れており、全てのデータセットにおいて競争力と最先端の結果を連続的に生成できることを示す。
  論文  参考訳（メタデータ） (2023-08-28T08:54:27Z)
• Capsules as viewpoint learners for human pose estimation [4.246061945756033]
  カメラが大きな視点変化を受けると、ほとんどのニューラルネットワークがうまく一般化できないことを示す。 本稿では,高速な変分ベイズルーティングとマトリックスカプセルを用いた,エンドツーエンドのポジショニング等価なカプセルオートエンコーダを提案する。 複数のタスクやデータセットに対して、他の望ましい特性を維持しながら、最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-02-13T09:01:46Z)
• Multi-View representation learning in Multi-Task Scene [4.509968166110557]
  我々は,MTMVCSF(Common and Special Features)に基づくマルチタスク多視点学習(multi-Task Multi-View learning)と呼ばれる,新しい半教師付きアルゴリズムを提案する。 AN-MTMVCSFと呼ばれるマルチタスク・マルチタスク・マルチビュー・アルゴリズムが提案されている。 これらのアルゴリズムの有効性は、実世界と合成データの双方でよく設計された実験によって証明される。
  論文  参考訳（メタデータ） (2022-01-15T11:26:28Z)
• Exploring Data Aggregation and Transformations to Generalize across Visual Domains [0.0]
  この論文は、ドメイン一般化(DG)、ドメイン適応(DA)およびそれらのバリエーションの研究に寄与する。 本稿では,機能集約戦略と視覚変換を利用するドメイン一般化とドメイン適応の新しいフレームワークを提案する。 提案手法が確立したDGおよびDAベンチマークにおいて,最先端の競争的アプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-08-20T14:58:14Z)
• Learning distinct features helps, provably [98.78384185493624]
  最小二乗損失で訓練された2層ニューラルネットワークによって学習された特徴の多様性について検討する。 隠蔽層の特徴間の平均的な$L$-distanceで多様性を測定する。
  論文  参考訳（メタデータ） (2021-06-10T19:14:45Z)
• Joint Learning of Neural Transfer and Architecture Adaptation for Image Recognition [77.95361323613147]
  現在の最先端の視覚認識システムは、大規模データセット上でニューラルネットワークを事前トレーニングし、より小さなデータセットでネットワーク重みを微調整することに依存している。 本稿では,各ドメインタスクに適応したネットワークアーキテクチャの動的適応と,効率と効率の両面で重みの微調整の利点を実証する。 本手法は,ソースドメインタスクでスーパーネットトレーニングを自己教師付き学習に置き換え,下流タスクで線形評価を行うことにより,教師なしパラダイムに容易に一般化することができる。
  論文  参考訳（メタデータ） (2021-03-31T08:15:17Z)
• Distribution Alignment: A Unified Framework for Long-tail Visual Recognition [52.36728157779307]
  長尾視覚認識のための分散アライメント戦略を提案する。 次に,二段階学習における一般化された再重み付け法を導入して,事前のクラスバランスをとる。 提案手法は, 4つの認識タスクすべてにおいて, 単純で統一されたフレームワークを用いて最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-03-30T14:09:53Z)
• Deep Partial Multi-View Learning [94.39367390062831]
  クロスパーシャル・マルチビュー・ネットワーク(CPM-Nets)と呼ばれる新しいフレームワークを提案する。 我々はまず、多視点表現に対する完全性と汎用性の形式的な定義を提供する。 そして、理論的に学習された潜在表現の多元性を証明する。
  論文  参考訳（メタデータ） (2020-11-12T02:29:29Z)
• Multi-Task Learning for Dense Prediction Tasks: A Survey [87.66280582034838]
  マルチタスク学習(MTL)技術は、性能、計算、メモリフットプリントに関する有望な結果を示している。 我々は、コンピュータビジョンにおけるMLLのための最先端のディープラーニングアプローチについて、よく理解された視点を提供する。
  論文  参考訳（メタデータ） (2020-04-28T09:15:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。