論文の概要: Factors of Influence for Transfer Learning across Diverse Appearance Domains and Task Types

• arxiv url: http://arxiv.org/abs/2103.13318v1
• Date: Wed, 24 Mar 2021 16:24:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-25 13:54:26.860415
• Title: Factors of Influence for Transfer Learning across Diverse Appearance Domains and Task Types
• Title（参考訳）: 多様な外観領域と課題タイプにおける転校学習に影響する要因
• Authors: Thomas Mensink, Jasper Uijlings, Alina Kuznetsova, Michael Gygli, Vittorio Ferrari
• Abstract要約: 現在の最新のコンピュータビジョンモデルでは、簡単な転送学習が一般的です。 転校学習に関するこれまでの体系的な研究は限られており、作業が期待される状況は十分に理解されていない。 本論文では,非常に異なる画像領域にまたがる転送学習の広範な実験的研究を行う。
• 参考スコア（独自算出の注目度）: 50.1843146606122
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transfer learning enables to re-use knowledge learned on a source task to help learning a target task. A simple form of transfer learning is common in current state-of-the-art computer vision models, i.e. pre-training a model for image classification on the ILSVRC dataset, and then fine-tune on any target task. However, previous systematic studies of transfer learning have been limited and the circumstances in which it is expected to work are not fully understood. In this paper we carry out an extensive experimental exploration of transfer learning across vastly different image domains (consumer photos, autonomous driving, aerial imagery, underwater, indoor scenes, synthetic, close-ups) and task types (semantic segmentation, object detection, depth estimation, keypoint detection). Importantly, these are all complex, structured output tasks types relevant to modern computer vision applications. In total we carry out over 1200 transfer experiments, including many where the source and target come from different image domains, task types, or both. We systematically analyze these experiments to understand the impact of image domain, task type, and dataset size on transfer learning performance. Our study leads to several insights and concrete recommendations for practitioners.
• Abstract（参考訳）: 転送学習は、ソースタスクで学習された知識を再利用して、ターゲットタスクの学習を支援する。 転送学習の単純な形式は、現在の最先端のコンピュータビジョンモデル、すなわち、一般的なものである。 ilsvrcデータセットで画像分類のためのモデルを事前トレーニングし、任意のターゲットタスクで微調整する。 しかし,従来の転帰学習の体系的な研究は限られており,その実施が期待される状況は完全には理解されていない。 本稿では,多種多様な画像領域(消費者写真,自律運転,航空画像,水中,屋内シーン,合成,クローズアップ)とタスクタイプ(セグメンテーション,物体検出,深度推定,キーポイント検出)にまたがる伝達学習の広範な実験を行う。 これらはすべて、現代のコンピュータビジョンアプリケーションに関連する複雑で構造化された出力タスクタイプです。 ソースとターゲットがそれぞれ異なるイメージドメイン、タスクタイプ、あるいはその両方から来ている場合を含む、合計で1200以上の転送実験を実施しました。 画像領域,タスクタイプ,データセットサイズが伝達学習性能に与える影響を理解するために,これらの実験を系統的に解析する。 本研究は,実践者に対するいくつかの洞察と具体的な勧告につながる。

関連論文リスト

• Multi-Task Multi-Scale Contrastive Knowledge Distillation for Efficient Medical Image Segmentation [0.0]
  本論文は,医用画像分割作業におけるニューラルネットワーク間の知識伝達の実現可能性を検討することを目的とする。 データボリュームが制限される医療画像の文脈では、より大きなトレーニング済みネットワークからの知識を活用することが有用である。
  論文  参考訳（メタデータ） (2024-06-05T12:06:04Z)
• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• Learning Transferable Pedestrian Representation from Multimodal Information Supervision [174.5150760804929]
  VAL-PATは、移動可能な表現を学習し、様々な歩行者分析タスクをマルチモーダル情報で強化する新しいフレームワークである。 まず、LUPerson-TAデータセットで事前トレーニングを行い、各画像にはテキストと属性アノテーションが含まれている。 次に、学習した表現を、人物のreID、人物属性認識、テキストベースの人物検索など、さまざまな下流タスクに転送する。
  論文  参考訳（メタデータ） (2023-04-12T01:20:58Z)
• Task Formulation Matters When Learning Continually: A Case Study in Visual Question Answering [58.82325933356066]
  継続的な学習は、以前の知識を忘れずに、一連のタスクでモデルを漸進的にトレーニングすることを目的としている。 本稿では,視覚的質問応答において,異なる設定がパフォーマンスに与える影響について詳細に検討する。
  論文  参考訳（メタデータ） (2022-09-30T19:12:58Z)
• Visuomotor Control in Multi-Object Scenes Using Object-Aware Representations [25.33452947179541]
  ロボット作業におけるオブジェクト指向表現学習の有効性を示す。 本モデルは,サンプル効率のよい制御ポリシーを学習し,最先端のオブジェクト技術より優れている。
  論文  参考訳（メタデータ） (2022-05-12T19:48:11Z)
• X-Learner: Learning Cross Sources and Tasks for Universal Visual Representation [71.51719469058666]
  本稿では,X-Learnerという表現学習フレームワークを提案する。 X-Learnerは、様々なソースによって管理される複数の視覚タスクの普遍的な特徴を学習する。 X-Learnerは、追加のアノテーションやモダリティ、計算コストを使わずに、様々なタスクで強力なパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-03-16T17:23:26Z)
• What Makes Transfer Learning Work For Medical Images: Feature Reuse & Other Factors [1.5207770161985628]
  医学領域への転帰学習が有用であるか否かは,どの要因が決定されるかは定かではない。 転送学習,データサイズ,モデルのキャパシティと帰納バイアス,およびソースとターゲットドメイン間の距離の関係について検討する。
  論文  参考訳（メタデータ） (2022-03-02T10:13:11Z)
• Self-Supervised Visual Representation Learning Using Lightweight Architectures [0.0]
  自己教師付き学習では、マシンによってアノテーションが生成されるデータセットを使用して、プレテキストタスクを解決するためにモデルが訓練される。 我々は、画像データから特徴を抽出する最も顕著な前文タスクを批判的に検討する。 我々は、他の全てのパラメータを均一に保ちながら、様々な自己監督技術の性能について研究する。
  論文  参考訳（メタデータ） (2021-10-21T14:13:10Z)
• A Systematic Evaluation of Domain Adaptation in Facial Expression Recognition [0.0]
  本稿では,表情認識における領域適応の体系的評価について述べる。 我々は、最先端のトランスファー学習技術と、6つの一般的な顔表情データセットを使用する。 その結果,移動学習の精度は高くなく,目的のデータセットと慣用的に異なることがわかった。
  論文  参考訳（メタデータ） (2021-06-29T14:41:19Z)
• What is being transferred in transfer learning? [51.6991244438545]
  事前訓練した重量からトレーニングを行うと、モデルは損失景観の同じ流域に留まることを示す。 事前学習した重みからトレーニングする場合、モデルは損失ランドスケープの同じ流域に留まり、そのようなモデルの異なるインスタンスは特徴空間と類似しており、パラメータ空間は近接している。
  論文  参考訳（メタデータ） (2020-08-26T17:23:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。