論文の概要: Intra-domain and cross-domain transfer learning for time series data --
How transferable are the features?
- arxiv url: http://arxiv.org/abs/2201.04449v1
- Date: Wed, 12 Jan 2022 12:55:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-13 18:17:08.891592
- Title: Intra-domain and cross-domain transfer learning for time series data --
How transferable are the features?
- Title（参考訳）: 時系列データのためのドメイン内およびドメイン間転送学習 -その機能はどの程度転送可能か?
- Authors: Erik Otovi\'c, Marko Njirjak, Dario Jozinovi\'c, Goran Mau\v{s}a,
Alberto Michelini, Ivan \v{S}tajduhar
- Abstract要約: 本研究の目的は,時系列データの異なる領域間において,転送可能がどのような特徴を持つかを評価することである。
伝達学習の効果は,モデルの予測性能と学習時の収束率の観点から観察される。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In practice, it is very demanding and sometimes impossible to collect
datasets of tagged data large enough to successfully train a machine learning
model, and one possible solution to this problem is transfer learning. This
study aims to assess how transferable are the features between different
domains of time series data and under which conditions. The effects of transfer
learning are observed in terms of predictive performance of the models and
their convergence rate during training. In our experiment, we use reduced data
sets of 1,500 and 9,000 data instances to mimic real world conditions. Using
the same scaled-down datasets, we trained two sets of machine learning models:
those that were trained with transfer learning and those that were trained from
scratch. Four machine learning models were used for the experiment. Transfer of
knowledge was performed within the same domain of application (seismology), as
well as between mutually different domains of application (seismology, speech,
medicine, finance). We observe the predictive performance of the models and the
convergence rate during the training. In order to confirm the validity of the
obtained results, we repeated the experiments seven times and applied
statistical tests to confirm the significance of the results. The general
conclusion of our study is that transfer learning is very likely to either
increase or not negatively affect the predictive performance of the model or
its convergence rate. The collected data is analysed in more details to
determine which source and target domains are compatible for transfer of
knowledge. We also analyse the effect of target dataset size and the selection
of model and its hyperparameters on the effects of transfer learning.
- Abstract（参考訳）: 実際、機械学習モデルをうまくトレーニングするのに十分な大きさのタグ付きデータのデータセットを収集することは、非常に必要であり、時には不可能である。
本研究の目的は、時系列データの異なる領域とどの条件下での転送可能かを評価することである。
伝達学習の効果は,モデルの予測性能と学習時の収束率の観点から観察される。
実験では,1500と9000のデータインスタンスの削減したデータセットを用いて実環境を再現した。
同じスケールダウンデータセットを使用して、トランスファー学習でトレーニングされたものと、ゼロからトレーニングされたものという、2つの機械学習モデルをトレーニングしました。
実験には4つの機械学習モデルが使用された。
同じ適用領域(地震学)と、相互に異なる適用領域(地震学、言論、医学、金融)の間で知識の移転が行われた。
トレーニング中のモデルの予測性能と収束率を観察する。
得られた結果の妥当性を確認するため,実験を7回繰り返し,統計的検証を行い,結果の意義を確認した。
本研究の一般的な結論は、トランスファー学習はモデルの予測性能や収束率に悪影響を及ぼす可能性が非常に高いということである。
収集されたデータはより詳細に分析され、どのソースとターゲットドメインが知識の転送に適合しているかを決定する。
また,対象データセットのサイズとモデルとハイパーパラメータの選択がトランスファー学習に与える影響について分析した。
関連論文リスト
- Distilled Datamodel with Reverse Gradient Matching [74.75248610868685]
オフライントレーニングとオンライン評価段階を含む,データ影響評価のための効率的なフレームワークを提案する。
提案手法は, 直接再学習法と比較して, プロセスの大幅な高速化を図りながら, 同等のモデル行動評価を実現する。
論文 参考訳（メタデータ） (2024-04-22T09:16:14Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳（メタデータ） (2023-10-26T17:59:46Z) - Transferability of Representations Learned using Supervised Contrastive
Learning Trained on a Multi-Domain Dataset [5.389242063238166]
コントラスト学習は、クロスエントロピー損失を用いて訓練されたモデルよりも優れた品質表現を学習することが示されている。
本稿では,マルチドメインデータセットで学習したコントラスト学習を用いて学習した表現の伝達可能性について検討する。
論文 参考訳（メタデータ） (2023-09-27T08:34:36Z) - The effect of data augmentation and 3D-CNN depth on Alzheimer's Disease
detection [51.697248252191265]
この研究は、データハンドリング、実験設計、モデル評価に関するベストプラクティスを要約し、厳密に観察する。
我々は、アルツハイマー病(AD)の検出に焦点を当て、医療における課題のパラダイム的な例として機能する。
このフレームワークでは,3つの異なるデータ拡張戦略と5つの異なる3D CNNアーキテクチャを考慮し,予測15モデルを訓練する。
論文 参考訳（メタデータ） (2023-09-13T10:40:41Z) - Transfer Learning between Motor Imagery Datasets using Deep Learning --
Validation of Framework and Comparison of Datasets [0.0]
本稿では,コンピュータビジョンによく用いられる,シンプルなディープラーニングベースのフレームワークを提案する。
精神画像復号処理におけるデータセット間変換学習の有効性を実証する。
論文 参考訳（メタデータ） (2023-09-04T20:58:57Z) - An Exploration of Data Efficiency in Intra-Dataset Task Transfer for
Dialog Understanding [65.75873687351553]
本研究は,対話領域における逐次移動学習における目標タスク訓練データ量の影響について検討する。
非意図的に、我々のデータでは、タスクトレーニングデータのサイズを目標とする場合、シーケンシャルトランスファーラーニングがトランスファーラーニングなしで同じモデルと比較した場合、最小限の効果が示される。
論文 参考訳（メタデータ） (2022-10-21T04:36:46Z) - How Well Do Sparse Imagenet Models Transfer? [75.98123173154605]
転送学習は、大規模な"上流"データセットで事前訓練されたモデルが、"下流"データセットで良い結果を得るために適応される古典的なパラダイムである。
本研究では、ImageNetデータセットでトレーニングされた畳み込みニューラルネットワーク(CNN)のコンテキストにおいて、この現象を詳細に調査する。
スパースモデルでは, 高空間であっても, 高密度モデルの転送性能にマッチしたり, 性能に優れることを示す。
論文 参考訳（メタデータ） (2021-11-26T11:58:51Z) - A Systematic Evaluation of Domain Adaptation in Facial Expression
Recognition [0.0]
本稿では,表情認識における領域適応の体系的評価について述べる。
我々は、最先端のトランスファー学習技術と、6つの一般的な顔表情データセットを使用する。
その結果,移動学習の精度は高くなく,目的のデータセットと慣用的に異なることがわかった。
論文 参考訳（メタデータ） (2021-06-29T14:41:19Z) - Deep Transfer Learning for Infectious Disease Case Detection Using
Electronic Medical Records [0.0]
感染症のパンデミックでは、電子カルテやモデル(これらの記録から得られた)を地域間で共有することが重要である。
あるリージョンのデータ/モデルを別のリージョンに適用する場合、従来の機械学習技術の仮定に反する分散シフトの問題がしばしば発生します。
ディープトランスファー学習アルゴリズムの可能性を探るため、2つのデータベースアルゴリズムとモデルベーストランスファー学習アルゴリズムを感染症検出タスクに応用した。
論文 参考訳（メタデータ） (2021-03-08T01:53:29Z) - What is being transferred in transfer learning? [51.6991244438545]
事前訓練した重量からトレーニングを行うと、モデルは損失景観の同じ流域に留まることを示す。
事前学習した重みからトレーニングする場合、モデルは損失ランドスケープの同じ流域に留まり、そのようなモデルの異なるインスタンスは特徴空間と類似しており、パラメータ空間は近接している。
論文 参考訳（メタデータ） (2020-08-26T17:23:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。